RDMA测试集：preftest安装与使用

RDMA测试集：preftest安装与使用

perftest是一组基于uverbs编写的测试程序，是RDMA性能相关的benchmark。可用于软硬件调优以及功能测试。

源码位置

linux-rdma/perftest: Infiniband Verbs Performance Tests (github.com)

perftest测试软件包含的测试集如下：

perftest测试集

安装

直接安装preftest

sudo apt install perftest
1

Send带宽测试

服务器端

ib_send_bw -d rxe_0
1

客户端

ib_send_bw -d rxe_0 <server_ip>
1

ib_send_bw是用来测试RDMA Send操作的带宽的程序（infiniband_sendbandwidth），其中表示服务器端的IP，根据自己虚拟机对应关系填写。

可以看到BW peak为测试的峰值带宽信息。

 #bytes     #iterations    BW peak[MB/sec]    BW average[MB/sec]   MsgRate[Mpps]
 MSG大小     迭代次数         峰值速率             平均速率               包转发率
1
2

Send延迟测试

服务器端

ib_send_lat -d rxe_0
1

客户端

ib_send_lat -d rxe_0 <server_ip>
1

ib_send_lat是用来测试RDMA Send操作的延迟的程序（infiniband_sendbandwidth），其中表示服务器端的IP，根据自己虚拟机对应关系填写。

 #bytes #iterations    t_min[usec]    t_max[usec]  t_typical[usec]    t_avg[usec]    t_stdev[usec]   99% percentile[usec]   99.9% percentile[usec]
  MSG大小  迭代次数        延迟最小值      延迟最大值     典型值               
1
2

更改MTU大小

sudo ifconfig ens33 mtu 4200
1

将网卡端口MTU设置为1500，active_mtu将更改为1024

将网卡端口MTU设置为2200，active_mtu将更改为2048

将网卡端口MTU设置为4200，active_mtu将更改为4096

或指定配置项

ib_send_bw -R -d rxe0 -i 1 -a -s 1M -m 512
1

ib_send_bw -R -d rxe0 -i 1 192.168.159.131 -a -s 1M -m 512
1

设置QP数量

ib_send_bw -R -d rxe0 -i 1 -a -s 1M -m 512 -q 2
1

ib_send_bw -R -d rxe0 -i 1 192.168.159.131 -a -s 1M -m 512 -q 2
1

参考

linux-rdma/perftest: Infiniband Verbs Performance Tests (github.com)

在25G以太网环境下使用Perftest对RoCEv2性能进行测试 | 生命不息 折腾不止 (sysu.tech)

RDMA测试工具perftest简介 - 墨天轮 (modb.pro)

监视并排除 IB 设备故障 - Oracle Solaris 管理：设备和文件系统Oracle IB相关命令

🎨
🤔
🥱