【QT开发（8）】QT 中使用tensorrt

在之前的文章《【TensorRT（2）】研究美团tech的yolov6的TensorRT部署》说明了tensorRT 的使用流程。今天尝试将其并入QT 项目中。

项目地址

库地址：https://gitee.com/hiyanyx/qt5.14-cpp_dds_-project/tree/dds_-tensorRT-yolov6/

参考资料：

1、代码参考：https://gitee.com/xiaoyuerCV/tensorrt-yolov6/，已经下载到了目录 ./reference/YOLOv6-Trt8

2、pytorch 权重下载：美团yolov6，已经下载到了目录 ./reference/YOLOv6-main-meituan/deployONNX

原理：下载 pytorch 的权重，yolov6s.pt，转换成 onnx。然后，把onnx 复制到 ./reference/YOLOv6-Trt8。然后trt 里面的c代码会自动把onnx 序列化为 yolov6s.engine 文件。

3、行人视频：reference/YOLOv6-Trt8/xingren.mp4

该分支主要做的工作

1、在 ./src/main/example.cpp 中实现了读取视频文件，然后通过 dds 发送的事情。

2、将 ./reference/YOLOv6-Trt8 作为 库 引入到 c++ 代码工程中，库名字为 deeplib，位置：./deps/deeplib。 具体工作为修改cmakelist文件，生成动态库 deeplib.so，增加deeplib.h 作为yolo检测器的接口（实现了Inferclass这个对象进行检测）。

Task 1:读取视频文件，然后通过 dds 发送的事情

1、在之前的文章【QT开发（6）】0926-QT 中加入 fastDDS 通信库的程序使用说明中说明了dds 的使用方法。

2、我们基于上次的项目，修改 examples.hpp， 在 class Example 增加一个对象成员 cv::VideoCapture video_capture;。 特别说明以下，关于对象成员的初始化可以查看我的博客【C++学习（8）】类对象作为成员变量 和 【C++学习（10）】将一个类作为另一个类的成员: 类对象和类指针； std::unique_ptr 智能管理类指针。成员对象的初始化还是有很多知识点，作为基础知识大家需要学习。

3、修改 examples.cpp对 video_capture 的一些属性进行修改。

video_capture.open("/var/files/yanyixiong/qt5.14-cpp_-empty_-project/deps/deeplib/xingren.mp4");
// 视频mp4解码
  int codec = cv::VideoWriter::fourcc('D', 'I', 'V', 'X');
//获得
  double fps = video_capture.get(cv::CAP_PROP_FPS);
// 宽度
  int width = video_capture.get(cv::CAP_PROP_FRAME_WIDTH);
//高度
  int height = video_capture.get(cv::CAP_PROP_FRAME_HEIGHT);
1
2
3
4
5
6
7
8
9

4、然后在50ms定时器中设置发送dds 信息。如果不明白我说的这个定时器是什么东西，请查看博文【QT开发（6）】0926-QT 中加入 fastDDS 通信库的程序使用说明

我把那篇的截图放一下：

void Example::timer_WorkingStatus_callback()
{
  // Test Env
  std::vector<unsigned char> vec_data;
  cv::Mat frame_pub;
  video_capture.read(frame_pub);

  if (!frame_pub.data ) {
              debug::log("fail to imread");
              return ;
      }
  else
      {
              //cv::imshow("source image", img1);
              //cv::waitKey(1);
              //cv::resize(frame_pub, frame_pub, cv::Size(),0.1, 0.1);
              debug::log("success to imread");
      }

  cv::imencode(".jpg", frame_pub, vec_data);
  auto_msg::msg::FrameData msg1;
  msg1.time_stamp() = get_time_ms();
  msg1.data() = vec_data;
  //msg1.data.insert(msg1.data.end(), vec_data.begin(), vec_data.end());
  simulation_raw_images_pub_->publish(msg1);
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

5、至此，dds 发送视频就完成了。接下来，我们需要接受dds 信息，并用 yolov6 推理。

Task 2.1：将 yolov6 作为deeplib 库。

将 ./reference/YOLOv6-Trt8 作为 库 引入到 c++ 代码工程中，库名字为 deeplib，位置：./deps/deeplib。 具体工作为修改cmakelist文件，生成动态库 deeplib.so，增加deeplib.h 作为yolo检测器的接口（实现了Inferclass这个对象进行检测）。

1、 ./deps/deeplib 修改cmakelists，增加库

ADD_LIBRARY(deeplib SHARED ${SOURCES_FILES})
target_include_directories(deeplib PUBLIC ${SOURCES_PATH})
target_link_libraries(deeplib cuda tensorrt opencv)
1
2
3

2、写deeplib.h 接口程序
写一个对象 Inferclass，包含，构造函数，析构函数，推理接口inferIOmain，以及复制构造函数。
包含 私有成员类指针 Yolov6Detector，这个是在https://gitee.com/xiaoyuerCV/tensorrt-yolov6/里面已经实现的

class Inferclass {
public:
  Inferclass(std::string model_path = "/var/files/yanyixiong/qt5.14-cpp_-empty_-project/deps/deeplib/yolov6s.onnx");
	Inferclass(const Inferclass &S);
	void inferIOmain(cv::Mat input_image);
	~Inferclass();

private:
    std::string model_path ;
    std::unique_ptr<Yolov6Detector> yolov6_detector;

};
1
2
3
4
5
6
7
8
9
10
11
12

在 构造函数 中完成对 Yolov6Detector 对象的初始化。

Inferclass::Inferclass(std::string model_path):model_path(model_path)
{
    std::cout << "Start" << std::endl;
// 导入onnx 地址
  this->yolov6_detector.reset(new Yolov6Detector(model_path));
  if (!this->yolov6_detector->Init()) {
    std::cout << "Failed to initialize Yolov6 detector!";
  }

}
1
2
3
4
5
6
7
8
9
10

析构函数 ,因为我们使用的是std::unique_ptr 类指针，不需要手动new和delete 指针。需要注意的是，如果我们是使用普通指针，一定到在 析构函数里面把 这个类指针释放，否则是内存泄漏！

Inferclass::~Inferclass()
{
    std::cout << "End" << std::endl;
	//-----------------代码-------------------------------
	if(NULL != pA)//此处需要初始化时设置指针为空。
	{
	  delete pA;
	  pA = new A;
	}  else {
	  pA = new A;
	}
	//-----------------代码-------------------------------

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

推理接口 inferIOmain函数：

void Inferclass::inferIOmain(cv::Mat input_image) {
  //cv::Mat input_image;
// 建立目标列表
    std::vector