PaadleInference源码编译操作流程

1  编译环境

（1）操作系统：Ubuntu 18.04；

（2）处理器：I7-10750H；

（3）GPU：GTX 1650Ti Mobile

（4）GPU支持：CUDA10.2，cudnn7.6.5，tensorrt6.0.1；

（5）PaddlePaddle源码版本：2.3；

（6）GCC版本：8.4.0；

（7）cmake版本：3.25.0。

2  编译准备

参考PaddlePaddle官方编译指南。

（1）从gitee获取PaadlePaddle源码。

（2）使用apt安装libopenblas

apt install libopenblas

3  修改PaddlePaddle编译脚本

由于github访问问题，需要修改PaddlePaddle编译脚本，替换git地址为gitee的paddlemirror源。

https://gitee.com/paddle-mirror/

修改源码目录/cmake/external下面的脚本文件中的git源地址。

cryptopp；ctyptopp-cmake（包含在cryptopp的脚本文件）；gflags；glog；gloo；lapack；protobuf；utf8proc；warpctc；xbyak；xxhash；zlib

4  编译

（1）配置

1）GPU不使用TensorRT

cmake .. -DPY_VERSION=3 \

        -DWITH_TESTING=OFF \

        -DWITH_GPU=ON \

        -DWITH_NCCL=OFF \

        -DON_INFER=ON \

-DWITH_MKL=OFF \

        -DWITH_PYTHON=OFF \

        -DCUDA_CUDART_LIBRARY=/usr/local/cuda/lib64/libcudart.so \

        -DCUDA_ARCHITECTURES=7.5 \

        ..

2）GPU使用TensorRT

cmake .. -DPY_VERSION=3 \

        -DWITH_TESTING=OFF \

        -DWITH_GPU=ON \

        -DWITH_NCCL=OFF \

        -DON_INFER=ON \

-DWITH_MKL=OFF \

        -DWITH_PYTHON=OFF \

        -DCUDA_CUDART_LIBRARY=/usr/local/cuda/lib64/libcudart.so \

        -DCUDA_ARCHITECTURES=7.5 \

-DWITH_TENSORRT=ON \

-DTENSORRT_ROOT=/usr \

        ..

（2）设置ulimit

sudo sh -c "ulimit -n 102400 && exec su $LOGNAME"

（3）编译

编译openblas需要进行如下配置：

export OPENBLAS_NUM_THREADS=4

export GOTO_NUM_THREADS=4

export OMP_NUM_THREADS=4

正式编译PaddlePaddle

make -j4 TARGET=SKYLAKEX DYNAMIC_ARCH=1

编译PaddleInference

make inference_lib_dist -j4

5  编译PaddleInference例程

使用PaddleDetection/deploy/cpp下的例程源码。复制出来一份。

（1）修改script/build.sh

# 是否使用GPU(即是否使用 CUDA)

WITH_GPU=ON

# 是否使用MKL or openblas，TX2需要设置为OFF

WITH_MKL=OFF

# TensorRT 的include路径

TENSORRT_INC_DIR=/usr/include/x86_64-linux-gnu

# TensorRT 的lib路径

TENSORRT_LIB_DIR=/usr/lib/x86_64-linux-gnu

# Paddle 预测库路径

PADDLE_DIR=~/Paddle-release-2.3/build_cuda/paddle_inference_install_dir

# CUDA 的 lib 路径

CUDA_LIB=/usr/local/cuda/lib64

# CUDNN 的 lib 路径

CUDNN_LIB=/usr/lib/x86_64-linux-gnu

#opencv路径

OPENCV_DIR=/usr/local/lib/cmake/opencv4

注意：由于我已经安装opencv4，PaddlePaddle官方默认下载使用opencv3，所以我把自动下载代码注释掉，直接设置OPENCV_DIR。

修改CMakeLists.txt

if (WIN32)

  include_directories("${PADDLE_DIR}/paddle/fluid/inference")

  include_directories("${PADDLE_DIR}/paddle/include")

  link_directories("${PADDLE_DIR}/paddle/fluid/inference")

  find_package(OpenCV REQUIRED PATHS ${OPENCV_DIR} NO_DEFAULT_PATH)

else ()

  find_package(OpenCV REQUIRED PATHS ${OPENCV_DIR} NO_DEFAULT_PATH)

 # find_package(OpenCV REQUIRED PATHS ${OPENCV_DIR}/share/OpenCV NO_DEFAULT_PATH)

  include_directories("${PADDLE_DIR}/paddle/include")

  link_directories("${PADDLE_DIR}/paddle/lib")

endif ()

include_directories(${OpenCV_INCLUDE_DIRS})

另一处是：

set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -g -O2 -fopenmp -std=c++11")

优化编译应使用大写字母“O”。

然后运行./scripts/build.sh进行编译。

编译报错，提示opencv3的一些宏未定义，引入opencv头文件，使用opencv4的宏。

预测video时，提示VideoWriter指定的视频编码类型有误。修改main.cc文件，将编码类型改为-1，运行时将打印支持的视频编码类型。使用支持的视频编码类型的ID即可。

如果需要使用摄像头，需要修改：

if (FLAGS_model_dir.empty() ||

(FLAGS_image_file.empty() && FLAGS_image_dir.empty() &&

(FLAGS_camera_id == -1) &&

FLAGS_video_file.empty()))

测试命令（摄像头）

./build/main --model_dir=/home/user/PaddleDetection/inference_model/yolov3_darknet53_270e_coco --camera_id=0 --device=GPU --run_mode=trt_int8

测试命令（视频文件）

./build/main --model_dir=/home/user/PaddleDetection/inference_model/yolov3_darknet53_270e_coco --video_file=/home/user/zhangchen/test_media/videos/VID_20220612_085102.mp4 --device=GPU --run_mode=trt_int8

测试命令（图片）

./build/main --model_dir=/home/user/PaddleDetection/inference_model/yolov3_darknet53_270e_coco --image_file=/home/user/zhangchen/test_media/images/heying.jpeg --device=GPU

经测试，使用trt_int8模式比默认的paddle模式（GPU）快50%左右。

识别1920×1080分辨率视频：

trt_int8模式推理每帧70±5ms，整体每帧90±5ms；

paddle（GPU）模式推理每帧110±5ms，整体每帧130±5ms。

trt缺点：启动慢，约1分钟。