Tensorflow Lite模型部署实战教程是一系列嵌入式Linux平台上的模型部署教程。
这一节将教大家使用现有的yolov5模型进行移动端部署。
1、下载Yolov5工程
git clone https://github.com/ultralytics/yolov5.git
2、安装必要的依赖
pip install -r requirements.txt
3、预训练模型转换
使用以下命令将YOLOv5s模型和预训练的权重转换为 TensorFlow冻结图格式(save_model.pb)
python export.py --weights yolov5s.pt --img-size 256 --include pb
4、打开eIQ门户进入模型工具
5、加载pb文件并进行转换
选择 "启用量化 "并选择 "每通道"。输入和输出类型为 'uint8'。选择'有符号'量化归一化。TF Lite转换器:'MLIR'。
6、主机端detect测试
python detect.py --weights yolov5s.tflite --img-size 256 --source data\images\zidane.jpg
7、主机端精度评估
python val.py --data coco128.yaml --weights .\yolov5s.tflite --imgsz 256 --verbose
8、移动端测试
NPU测试:
./benchmark_model --graph=/home/root/yolov5s.tflite --max_num_runs=50 --external_delegate_path=/usr/lib/libvx_delegate.so
CPU测试:
./benchmark_model --graph=/home/root/yolov5s.tflite --max_num_runs=50 --num_threads=4
CPU平均:150ms,NPU平均:23ms
9.移动端实际测试
python3 yolov5_decode.py yolov5s.tflite coco_label.txt zidane.jpg