• JetsonNano部署yolo5 c++ onnx

    编译OpenCV最新4.5.x版本

    Jetson Nano自带的OpenCV版本比较低，Jetpack4.6对应的OpenCV版本为4.1的

    而OpenCV当前最新版本已经到了4.5跟4.6了，4.5.x中OpenCV DNN支持了很多新的模型推理跟新的特性都无法在OpenCV4.1上演示，所以我决定从源码编译OpenCV升级版本到 4.5.4，然后我发一个非常好的网站，提供了完整的脚本，于是我直接运行了该脚本就完成了安装，整个安装过程需要等待几个小时，耐心点。这个完整的脚本下载地址如下：

    https://github.com/Qengineering/Install-OpenCV-Jetson-Nano

    关于脚本每一个步骤的解释与说明如下：

    https://qengineering.eu/install-opencv-4.5-on-jetson-nano.html

    这里我也搬运了一下，选择OpenCV4.5.4版本完成编译与安装，对应完整的脚本如下：

    1. #!/bin/bash
    2. set -e
    3.  
    4. echo "Installing OpenCV 4.5.4 on your Jetson Nano"
    5. echo "It will take 2.5 hours !"
    6.  
    7. # reveal the CUDA location
    8. cd ~
    9. sudo sh -c "echo '/usr/local/cuda/lib64' >> /etc/ld.so.conf.d/nvidia-tegra.conf"
    10. sudo ldconfig
    11.  
    12. # install the dependencies
    13. sudo apt-get install -y build-essential cmake git unzip pkg-config zlib1g-dev
    14. sudo apt-get install -y libjpeg-dev libjpeg8-dev libjpeg-turbo8-dev libpng-dev libtiff-dev
    15. sudo apt-get install -y libavcodec-dev libavformat-dev libswscale-dev libglew-dev
    16. sudo apt-get install -y libgtk2.0-dev libgtk-3-dev libcanberra-gtk*
    17. sudo apt-get install -y python-dev python-numpy python-pip
    18. sudo apt-get install -y python3-dev python3-numpy python3-pip
    19. sudo apt-get install -y libxvidcore-dev libx264-dev libgtk-3-dev
    20. sudo apt-get install -y libtbb2 libtbb-dev libdc1394-22-dev libxine2-dev
    21. sudo apt-get install -y gstreamer1.0-tools libv4l-dev v4l-utils qv4l2 
    22. sudo apt-get install -y libgstreamer-plugins-base1.0-dev libgstreamer-plugins-good1.0-dev
    23. sudo apt-get install -y libavresample-dev libvorbis-dev libxine2-dev libtesseract-dev
    24. sudo apt-get install -y libfaac-dev libmp3lame-dev libtheora-dev libpostproc-dev
    25. sudo apt-get install -y libopencore-amrnb-dev libopencore-amrwb-dev
    26. sudo apt-get install -y libopenblas-dev libatlas-base-dev libblas-dev
    27. sudo apt-get install -y liblapack-dev liblapacke-dev libeigen3-dev gfortran
    28. sudo apt-get install -y libhdf5-dev protobuf-compiler
    29. sudo apt-get install -y libprotobuf-dev libgoogle-glog-dev libgflags-dev
    30.  
    31. # remove old versions or previous builds
    32. cd ~ 
    33. sudo rm -rf opencv*
    34. # download the latest version
    35. wget -O opencv.zip https://github.com/opencv/opencv/archive/4.5.4.zip 
    36. wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.5.4.zip 
    37. # unpack
    38. unzip opencv.zip 
    39. unzip opencv_contrib.zip 
    40. # some administration to make live easier later on
    41. mv opencv-4.5.4 opencv
    42. mv opencv_contrib-4.5.4 opencv_contrib
    43. # clean up the zip files
    44. rm opencv.zip
    45. rm opencv_contrib.zip
    46.  
    47. # set install dir
    48. cd ~/opencv
    49. mkdir build
    50. cd build
    51.  
    52. # run cmake
    53. cmake -D CMAKE_BUILD_TYPE=RELEASE \
    54. -D CMAKE_INSTALL_PREFIX=/usr \
    55. -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib/modules \
    56. -D EIGEN_INCLUDE_PATH=/usr/include/eigen3 \
    57. -D WITH_OPENCL=OFF \
    58. -D WITH_CUDA=ON \
    59. -D CUDA_ARCH_BIN=5.3 \
    60. -D CUDA_ARCH_PTX="" \
    61. -D WITH_CUDNN=ON \
    62. -D WITH_CUBLAS=ON \
    63. -D ENABLE_FAST_MATH=ON \
    64. -D CUDA_FAST_MATH=ON \
    65. -D OPENCV_DNN_CUDA=ON \
    66. -D ENABLE_NEON=ON \
    67. -D WITH_QT=OFF \
    68. -D WITH_OPENMP=ON \
    69. -D BUILD_TIFF=ON \
    70. -D WITH_FFMPEG=ON \
    71. -D WITH_GSTREAMER=ON \
    72. -D WITH_TBB=ON \
    73. -D BUILD_TBB=ON \
    74. -D BUILD_TESTS=OFF \
    75. -D WITH_EIGEN=ON \
    76. -D WITH_V4L=ON \
    77. -D WITH_LIBV4L=ON \
    78. -D OPENCV_ENABLE_NONFREE=ON \
    79. -D INSTALL_C_EXAMPLES=OFF \
    80. -D INSTALL_PYTHON_EXAMPLES=OFF \
    81. -D BUILD_opencv_python3=TRUE \
    82. -D OPENCV_GENERATE_PKGCONFIG=ON \
    83. -D BUILD_EXAMPLES=OFF ..
    84.  
    85. # run make
    86. FREE_MEM="$(free -m | awk '/^Swap/ {print $2}')"
    87. # Use "-j 4" only swap space is larger than 5.5GB
    88. if [[ "FREE_MEM" -gt "5500" ]]; then
    89.   NO_JOB=4
    90. else
    91.   echo "Due to limited swap, make only uses 1 core"
    92.   NO_JOB=1
    93. fi
    94. make -j ${NO_JOB} 
    95.  
    96. sudo rm -r /usr/include/opencv4/opencv2
    97. sudo make install
    98. sudo ldconfig
    99.  
    100. # cleaning (frees 300 MB)
    101. make clean
    102. sudo apt-get update
    103.  
    104. echo "Congratulations!"
    105. echo "You've successfully installed OpenCV 4.5.4 on your Jetson Nano"

    直接在终端命令行中执行下载下来得脚本文件就可以完成安装了。安装完整之后得显示：

    验证与导入安装好之后的OpenCV4.5.4版本

    OpenCV C++程序编译与演示 

    自己找个代码把 然后放到jetson编译 最后运行

    CMakeLists.txt文件里面得内容如下：

    1. cmake_minimum_required( VERSION 2.8 )
    2.  
    3. # 声明一个 cmake 工程
    4. project(yolov5_opencv_demo)
    5.  
    6. # 设置编译模式
    7. #set( CMAKE_BUILD_TYPE "Debug" )
    8.  
    9. #添加OPENCV库
    10. #指定OpenCV版本，代码如下
    11. #find_package(OpenCV 4.5.4 REQUIRED)
    12. #如果不需要指定OpenCV版本，代码如下
    13. find_package(OpenCV REQUIRED)
    14.  
    15. include_directories(
    16.     ./src/)
    17.  
    18.  
    19. #添加OpenCV头文件
    20. include_directories(${OpenCV_INCLUDE_DIRS})
    21.  
    22. #显示OpenCV_INCLUDE_DIRS的值
    23. message(${OpenCV_INCLUDE_DIRS})
    24.  
    25. FILE(GLOB_RECURSE TEST_SRC
    26.     src/*.cpp
    27.     )
    28.  
    29. # 添加一个可执行程序
    30. # 语法：add_executable( 程序名 源代码文件 ）
    31. add_executable(target yolov5_opencv.cpp ${TEST_SRC})
    32.  
    33. # 将库文件链接到可执行程序上
    34. target_link_libraries(target  ${OpenCV_LIBS})

    OpenCV + YOLOv5，CUDA加速支持的源码

    1. #include <opencv2/opencv.hpp>
    2. #include <iostream>
    3. #include <fstream>
    4.  
    5. std::string label_map = "classes.txt";
    6. int main(int argc, char** argv) {
    7.     std::vector<std::string> classNames;
    8.     std::ifstream fp(label_map);
    9.     std::string name;
    10.     while (!fp.eof()) {
    11.         getline(fp, name);
    12.         if (name.length()) {
    13.             classNames.push_back(name);
    14.         }
    15.     }
    16.     fp.close();
    17.     std::vector<cv::Scalar> colors;
    18.     colors.push_back(cv::Scalar(0, 255, 0));
    19.     colors.push_back(cv::Scalar(0, 255, 255));
    20.     colors.push_back(cv::Scalar(255, 255, 0));
    21.     colors.push_back(cv::Scalar(255, 0, 0));
    22.     colors.push_back(cv::Scalar(0, 0, 255));
    23.  
    24.     std::string onnxpath = "yolov5s.onnx";
    25.     auto net = cv::dnn::readNetFromONNX(onnxpath);
    26.     net.setPreferableBackend(cv::dnn::DNN_BACKEND_CUDA);
    27.     net.setPreferableTarget(cv::dnn::DNN_TARGET_CUDA);
    28.     cv::VideoCapture capture("example_dsh.mp4");
    29.     cv::Mat frame;
    30.     while (true) {
    31.         bool ret = capture.read(frame);
    32.         if (frame.empty()) {
    33.             break;
    34.         }
    35.         int64 start = cv::getTickCount();
    36.         // 图象预处理 - 格式化操作
    37.         int w = frame.cols;
    38.         int h = frame.rows;
    39.         int _max = std::max(h, w);
    40.         cv::Mat image = cv::Mat::zeros(cv::Size(_max, _max), CV_8UC3);
    41.         cv::Rect roi(0, 0, w, h);
    42.         frame.copyTo(image(roi));
    43.  
    44.         float x_factor = image.cols / 640.0f;
    45.         float y_factor = image.rows / 640.0f;
    46.  
    47.         // 推理
    48.         cv::Mat blob = cv::dnn::blobFromImage(image, 1 / 255.0, cv::Size(640, 640), cv::Scalar(0, 0, 0), true, false);
    49.         net.setInput(blob);
    50.         cv::Mat preds = net.forward();
    51.  
    52.         // 后处理, 1x25200x85
    53.         cv::Mat det_output(preds.size[1], preds.size[2], CV_32F, preds.ptr<float>());
    54.         float confidence_threshold = 0.5;
    55.         std::vector<cv::Rect> boxes;
    56.         std::vector<int> classIds;
    57.         std::vector<float> confidences;
    58.         for (int i = 0; i < det_output.rows; i++) {
    59.             float confidence = det_output.at<float>(i, 4);
    60.             if (confidence < 0.25) {
    61.                 continue;
    62.             }
    63.             cv::Mat classes_scores = det_output.row(i).colRange(5, preds.size[2]);
    64.             cv::Point classIdPoint;
    65.             double score;
    66.             minMaxLoc(classes_scores, 0, &score, 0, &classIdPoint);
    67.  
    68.             // 置信度 0～1之间
    69.             if (score > 0.25)
    70.             {
    71.                 float cx = det_output.at<float>(i, 0);
    72.                 float cy = det_output.at<float>(i, 1);
    73.                 float ow = det_output.at<float>(i, 2);
    74.                 float oh = det_output.at<float>(i, 3);
    75.                 int x = static_cast<int>((cx - 0.5 * ow) * x_factor);
    76.                 int y = static_cast<int>((cy - 0.5 * oh) * y_factor);
    77.                 int width = static_cast<int>(ow * x_factor);
    78.                 int height = static_cast<int>(oh * y_factor);
    79.                 cv::Rect box;
    80.                 box.x = x;
    81.                 box.y = y;
    82.                 box.width = width;
    83.                 box.height = height;
    84.  
    85.                 boxes.push_back(box);
    86.                 classIds.push_back(classIdPoint.x);
    87.                 confidences.push_back(score);
    88.             }
    89.         }
    90.  
    91.         // NMS
    92.         std::vector<int> indexes;
    93.         cv::dnn::NMSBoxes(boxes, confidences, 0.25, 0.50, indexes);
    94.         for (size_t i = 0; i < indexes.size(); i++) {
    95.             int index = indexes[i];
    96.             int idx = classIds[index];
    97.             cv::rectangle(frame, boxes[index], colors[idx%5], 2, 8);
    98.             cv::rectangle(frame, cv::Point(boxes[index].tl().x, boxes[index].tl().y - 20),
    99.                 cv::Point(boxes[index].br().x, boxes[index].tl().y), cv::Scalar(255, 255, 255), -1);
    100.             cv::putText(frame, classNames[idx], cv::Point(boxes[index].tl().x, boxes[index].tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0));
    101.         }
    102.  
    103.         float t = (cv::getTickCount() - start) / static_cast<float>(cv::getTickFrequency());
    104.         putText(frame, cv::format("FPS: %.2f", 1.0 / t), cv::Point(20, 40), cv::FONT_HERSHEY_PLAIN, 2.0, cv::Scalar(255, 0, 0), 2, 8);
    105.  
    106.         char c = cv::waitKey(1);
    107.         if (c == 27) {
    108.             break;
    109.         }
    110.         cv::imshow("OpenCV4.5.4 CUDA + YOLOv5", frame);
    111.     }
    112.     cv::waitKey(0);
    113.     cv::destroyAllWindows();
    114.     return 0;
    115. }

    whaosoft aiot http://143ai.com 

    只是个demo 最好的还是你转成trt的吧~~ 下面就说说trt的

    TRT部署

    软件版本信息​​​​​​​

    JetPack4.6.0(4.6.1到2有bug- 不过老外git上说已修复 就在这几天 22-11-18)CUDA10.2TensorRT8.0.1OpenCV4.5.4 (默认的4.1也可以)

    导出模型py直接导

    导出engine模型文件支持，命令行如下：

    python export.py --weights yolov5.pt --include onnx engine

    这里需要注意的TensorRT版本一致问题。如果engine文件不是在Jetson Nano上生成的，而在其他PC机器上生成，则TensorRT版本必须与Jetson Nano上使用的版本保持一致。

    首先创建编译CMakeLists.txt文件，然后把下面的内容copy进去：​​​​​​​

    首先创建编译CMakeLists.txt文件，然后把下面的内容copy进去：​​​​​​​​​​​​​​

    cmake_minimum_required( VERSION 2.8 )# 声明一个 cmake 工程project(yolov5_tensorrt_demo)# 设置编译模式#set( CMAKE_BUILD_TYPE "Release" )#添加OPENCV库#指定OpenCV版本，代码如下#find_package(OpenCV 4.5.4 REQUIRED)#如果不需要指定OpenCV版本，代码如下find_package(OpenCV REQUIRED)find_package(CUDA REQUIRED)
include_directories(       ./src/)#添加OpenCV头文件include_directories(${OpenCV_INCLUDE_DIRS})# 添加CUDA10.2头文件include_directories(/usr/local/cuda-10.2/include)link_directories(/usr/local/cuda-10.2/lib64)# tensorRTinclude_directories(/usr/local/cuda/include)link_directories(/usr/lib/arrch64-linux-gnu)#显示OpenCV_INCLUDE_DIRS的值message(${OpenCV_INCLUDE_DIRS})
FILE(GLOB_RECURSE TEST_SRC       src/*.cpp       )# 添加一个可执行程序# 语法：add_executable( 程序名 源代码文件 ）add_executable(target main.cpp ${TEST_SRC})# 将库文件链接到可执行程序上target_link_libraries(target  nvinfer)target_link_libraries(target  cudart)target_link_libraries(target  ${OpenCV_LIBS})
​​​​​​​可能出现的错误

    错误一：

    error: 'cudaMalloc' was not declared in this scope

    这个是因为没有添加下面的头文件：​​​​​​​

    #include #include

    添加之后就可以解决。

     错误二：

    Engine文件版本一致导致，原因是我之前导出的是在tensorRT8.4版本，jetsonNano是8.0的，重新在Jetson Nano上导出一下就可以解决。

    代码

    1. #include <fstream>
    2. #include <iostream>
    3. #include <sstream>
    4. #include <opencv2/opencv.hpp>
    5.  
    6. #include "tensorrt_yolov5_demo.h"
    7.  
    8. using namespace cv;
    9.  
    10. std::string label_map = "classes.txt";
    11. int main(int argc, char** argv) {
    12.     std::vector<std::string> classNames;
    13.     std::ifstream fp(label_map);
    14.     std::string name;
    15.     while (!fp.eof()) {
    16.         getline(fp, name);
    17.         if (name.length()) {
    18.             classNames.push_back(name);
    19.         }
    20.     }
    21.     fp.close();
    22.  
    23.     auto detector = std::make_shared<YOLOv5TRTDetector>();
    24.     detector->initConfig("yolov5s.engine", 0.25, 0.25);
    25.     std::vector<DetectResult> results;
    26.     cv::VideoCapture capture("example_dsh.mp4");
    27.     cv::Mat frame;
    28.     while (true) {
    29.         bool ret = capture.read(frame);
    30.         if (!ret) {
    31.             break;
    32.         }
    33.         detector->detect(frame, results);
    34.         for (DetectResult dr : results) {
    35.             cv::Rect box = dr.box;
    36.             cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0));
    37.         }
    38.         cv::imshow("YOLOv5-6.1 + TensorRT8.4 + Jetson Nano - by gloomyfish", frame);
    39.         char c = cv::waitKey(1);
    40.         if (c == 27) { // ESC 退出
    41.             break;
    42.         }
    43.         // reset for next frame
    44.         results.clear();
    45.     }
    46.     cv::waitKey(0);
    47.     cv::destroyAllWindows();
    48.     return 0;
    49. }

  • 相关阅读:
    重装系统 + C盘怎么设置 (如何设置将电脑软件安装在非c 盘)
    String类常见构造方法大全（Java）
    神经网络气温预测
    《工程伦理与学术道德》之《工程活动中的环境伦理》
    卷王杯 easy unserialize
    SpringBoot整合redis实现过期Key监控处理(最简单模式)
    鸿蒙学习笔记（1）基于eTS的入门应用结构简单梳理
    thinkphp withJoin 模式下field 无效
    mybatis
    云原生|kubernetes|kubernetes集群使用私有镜像仓库拉取镜像（harbor或者官方的registry私有镜像仓库）
  • 原文地址：https://blog.csdn.net/qq_29788741/article/details/127900477