SPDK Vhost在线恢复：让I/O飞一会儿

背景

在All in Cloud的趋势下，各大CSPs(Cloud Service Providers)在宣传自家的服务时都会向客户声称提供高可靠，高稳定的服务例如5个9的可用性(99.999%)。但是，仅仅以后端存储举例，技术和产品的升级等等都不可避免的需要他们进行在线升级，并且这个行为要在短时间内完成，这样才能满足5个9的标准。

Virtio是目前被广泛接受的I/O虚拟化的抽象设备接口，通过对virtqueue的定义实现了对不同虚拟化PCI设备的支持，广泛的运用在VM(Virtual Machine)中用来加速包括存储和网络等设备。Vhost是一种用来加速Guest到后端传输的软件解决方案，它基于virtio实现。然而查看已有的解决办法，并没有发现一种很好的支持在线升级的方法。

基于此，本篇文章将介绍SPDK Vhost提供的一种方法，可以灵活，快速的实现在线升级。

Virto和Vhost的简单介绍

Virtio由OASIS(Advancing Open Standard For Information Society)定义，它是半虚拟化协议规范，规定Guest OS和Hypervisor通过定义的队列结构进行数据面通信，本文中的Hypervisor我们都使用QEMU来进行说明，这个队列在Virtio Spec中被定义为Virtqueue，它由三个部分组成如图1所示。

图1 Virtqueue Layout

Virtio offload到host叫做Vhost，它可以在内核态或者用户态实现，在用户态中的实现称作vhost-user，它的解决方案如图2所示。简单的说它就是把Virtqueue offload到Vhost target，这样就实现了Guest OS和Vhost target的直接交互，进一步加速了数据的传递。

图2 SPDK Vhost

SPDK Vhost Live Recovery

以前的解决办法

主要是通过热迁移的方式，工作方式如图3所示。它的工作流程是当Server1中的Vhost target需要升级时，就把Server1中的VMs服务迁移到Server2中，等到Server1 Vhost target升级完成，再把VMs重新迁移回来。

图3 Live Migration

但是这种方法有着很明显的局限性和缺陷，例如：

1. 需要Server1和Server2 共享存储，否则热迁移是无意义的，后端的存储都改变了。很明显对于本地机器这种方式是不行的，而现在大热的bare metal也是不行的。

2. 比较耗时，它需要服务从Server1移动到Server2，然后等到Server1升级结束后再从Server2迁移回来。当VMs数量较多时耗时也会增加。

所以，我们需要一种更高效，更灵活的热升级办法。

SPDK Vhost的实现

Vhost-user protocol中提供了一种很好的方法叫做inflight I/O tracking。利用这个特性，vhost target会记录每一笔I/O request, 这样当vhost target升级重启后，可以继续处理升级前没有完成的I/O requests，保证不会有丢失。为了方便理解Vhost-user protocol，在这里稍微扩展一下vhost-user的实现。Vhost target 和 QEMU启动后通过 Unix domain socket进行通信，会协商包括virtio device features，vhost-user protocol features等特性，然后是memory table，virtqueue base address等等流程，如图4所示。Vhost target依据协商的结果提供相应的服务。

图4 inflight I/O tracking

SPDK Live recovery的工作流程如下图5所示：

图5 Recovery Workflow

这种方式和热迁移的方法相比有明显的优势，例如：

• 更快，更好的升级。少了热迁移来回拷贝的时间。
• 更少的限制，针对单机也可以很好的支持，也不需要共享的存储。
• 对性能没有影响。Inflight buffer只需要存request descriptor的index就行。

测试

目前相关patch都已经在spdk 20.01中发布了。这项功能还需要QEMU的配合，而QEMU部分的patch也已经合入了。测试这项功能也非常简单，如下，先启动SPDK Vhost然后启动QEMU，注意的是一定要配置reconnect参数，然后在QEMU中跑fio测试，测试过程中可以杀死spdk vhost进程然后重启，可以看到QEMU中的测试在spdk vhost进程重启后继续正常运行。

SPDK Vhost ROOT_DIR=spdk source code：
./app/vhost/vhost
./scripts/rpc.py bdev_nvme_attach_controller -b Nvme0 -tpcie -a 0000:60:00.0
./scripts/rpc.py vhost_create_blk_controllervhost.1 Nvme0n1
QEMU:
qemu-system-x86_64 \
--enable-kvm \
-cpu host -smp 2 \
-m 4G \
-object memory-backend-file,id=mem,size=4G,mem-path=/dev/hugepages,share=on\
-numa node,memdev=mem \
-objectmemory-backend-file,id=mem1,size=2M,mem-path=/dev/hugepages,share=on \
 -drivefile=ubuntu-19.04.qcow2,if=none,id=disk \
 -deviceide-hd,drive=disk,bootindex=0 \
 -chardev socket,id=spdk_vhost_blk0,path=/xxxx/vhost.1,reconnect=1\

原文链接：http://t.csdn.cn/2tzZs

更多DPDK学习资料有需要的可以自行添加进入学习交流君 羊 793599096 免费获取，或自行报名学习，免费订阅，永久学习，关注我持续更新哦！！！

学习地址：http://ke.qq.com/course/5066203?flowToken=1043717