Triton推理服务器吞吐量测试

---

前言

性能分析器是优化模型性能的重要工具，决定如何在单个 GPU 上最好地运行多个模型。

---

安装测试环境

拉取镜像

docker pull nvcr.io/nvidia/tritonserver:22.08-py3-sdk
1

测试

启动测试环境

docker run -it --rm --net=host  -v/data/project/triton_deploy/models:/models -v/data/project/triton_deploy/plugins:/plugins nvcr.io/nvidia/tritonserver:22.08-py3-sdk
1

这里需要根据自己的路径修改models与plugins路径

对比同一模型不同并发数的吞吐量

perf_analyzer -m model_name --concurrency-range 1:4 --percentile=95 -i grpc
1

model_name为测试的模型名称

对比同一模型不同实例数的吞吐量

将instance_group [ { count: 4}]添加到模型配置的末尾文件，然后重新启动 Triton

perf_analyzer -m model_name --concurrency-range 1:4 --percentile=95 -i grpc
1

这里看起来好像与默认实例相比没什么变化，不知道是不是因为我用的是yolov5x模型的原因，不太清楚！

---

总结

除了启用模型实例，还是可以设置启用动态批处理器，这两项也可以同时启用，可以根据自己的配置进行设置比较。通过模型分析器部分介绍了一种工具，可帮助我们了解模型的GPU 内存利用率，以便决定如何在单个 GPU 上最好地运行多个模型。
参考文档：https://github.com/triton-inference-server/server/blob/main/docs/user_guide/optimization.md
如果阅读本文对你有用，欢迎一键三连呀！！！
2022年9月15日20:12:35