Yolov5 C++ GPU部署方式介绍：ONNX Runtime

发布于
漫谈C++

摘要：深度学习模型如何在C++下进行调用，

本文详细阐述了YOLOv5在C++ ONNX Runtime GPU&CPU下进行调用

1. ONNX和Tensorrt区别

ONNX Runtime 是将 ONNX 模型部署到生产环境的跨平台高性能运行引擎，主要对模型图应用了大量的图优化，然后基于可用的特定于硬件的加速器将其划分为子图（并行处理）。

ONNX的官方网站：https://onnx.ai/

ONXX的GitHub地址：https://github.com/onnx/onnx

​

1.2 Tensorrt介绍

C++ 库，用于加速 NVIDIA 的 GPU，可以为深度学习应用提供低延迟、高吞吐率的部署推理，支持 TensorFlow，Pytorch，Caffe2 ，Paddle等框架训练出的神经网络，可以优化网络计算TensorRT官网下载地址：https://developer.nvidia.com/zh-cn/tensorrt

开发者指南：https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html

Github地址：https://github.com/NVIDIA/TensorRT

1.3 Yolov5两种部署方式比较：

Tensorrt 优点：在GPU上推理速度是最快的；缺点：不同显卡cuda版本可能存在不适用情况；

ONNX Runtime优点：通用性好，速度较快，适合各个平台复制；

2.Yolov5 ONNX Runtime部署

源码地址：https://github.com/itsnine/yolov5-onnxruntime

C++ YOLO v5 ONNX Runtime inference code for object detection.

Dependecies:

  • OpenCV 4.x
  • ONNXRuntime 1.7+
  • OS: Tested on Windows 10 and Ubuntu 20.04
  • CUDA 11+ [Optional]

2.1 Cmake工程

​

2.2 填写opencv 和对应路径

2.3 打开工程 手动配置onnxruntime-win-x64-gpu-1.9.0

包含目录：D:\onnxruntime-win-x64-gpu-1.9.0\include

引用目录：D:\onnxruntime-win-x64-gpu-1.9.0\lib

链接器输入：

onnxruntime.lib onnxruntime_providers_cuda.lib onnxruntime_providers_shared.lib

​

2.4 如何得到 .onnx

在GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite下：

代码语言：javascript
复制
python export.py --weights weights/yolov5s.pt --include  onnx --device 0

2.5 主函数代码：

代码语言：javascript
复制
#include <iostream>
#include <opencv2/opencv.hpp>

#include "cmdline.h"

#include "utils.h"

#include "detector.h"


int main(int argc, char* argv[])

{

const float confThreshold = 0.3f;

const float iouThreshold = 0.4f;


bool isGPU = true;
const std::string classNamesPath = &#34;coco.names&#34;;
const std::vector&lt;std::string&gt; classNames = utils::loadNames(classNamesPath);
const std::string imagePath = &#34;bus.jpg&#34;;
const std::string modelPath = &#34;yolov5s.onnx&#34;;

if (classNames.empty())
{
    std::cerr &lt;&lt; &#34;Error: Empty class names file.&#34; &lt;&lt; std::endl;
    return -1;
}

YOLODetector detector {nullptr};
cv::Mat image;
std::vector&lt;Detection&gt; result;

try
{
    detector = YOLODetector(modelPath, isGPU, cv::Size(640, 640));
    std::cout &lt;&lt; &#34;Model was initialized.&#34; &lt;&lt; std::endl;

    image = cv::imread(imagePath);
    result = detector.detect(image, confThreshold, iouThreshold);
}
catch(const std::exception&amp; e)
{
    std::cerr &lt;&lt; e.what() &lt;&lt; std::endl;
    return -1;
}

utils::visualizeDetection(image, result, classNames);

cv::imshow(&#34;result&#34;, image);
// cv::imwrite(&#34;result.jpg&#34;, image);
cv::waitKey(0);

return 0;



}

​

2.6编译得到结果

by CSDN AI小怪兽 http://cv2023.blog.csdn.net

我正在参与2023腾讯技术创作特训营第四期有奖征文，快来和我瓜分大奖！

#2023腾讯·技术创作特训营 第四期