深度学习及其在 WiFi 人体感知中的应用

论文题目：Deep Learning and Its Applications to WiFi Human Sensing: A Benchmark and A Tutorial

论文作者：Jianfei Yang, Xinyan Chen, Dazhuo Wang, Han Zou, Chris Xiaoxuan Lu, Sumei Sun, Fellow, IEEE and Lihua Xie, Fellow, IEEE

工作单位：新加坡南洋理工大学，英国爱丁堡大学等

发表刊物：arxiv， pp. 1-17，2022

Abstract

近年来，WiFi感知技术发展迅速。通过传播模型和深度学习方法的支持，实现了许多具有挑战性的应用，如基于WiFi的人类活动识别和姿势识别。然而，同用于视觉识别和自然语言处理的深度学习技术相比，目前还没有足够全面的用于WiFi感知的公共benchmark。本文重点介绍了深度学习在WiFi感知方面的最新进展，并提出了SenseFi以研究各种深度学习模型在WiFi感知方面的有效性。这些先进的模型从不同的感知任务、WiFi平台、识别精度、模型大小、计算复杂度、特征迁移和无监督学习的适应性等方面进行了比较。也被认为是基于深度学习的，从CSI硬件平台到感知算法的WiFi感知教程。大量的实验为实际感知应用中的深度模型设计、学习策略技能和训练技巧方面提供了经验。此工作是第一个在WiFi感知研究中使用开源库进行深度学习的benchmark。开源库链接

I. Introduction

随着移动互联网的普及，WiFi接入点(AP)已经成为智能环境中无处不在的基础设施。目前，AP不仅是一个纯粹的WiFi路由器，还被广泛认为是一种“传感器设备”。在不断增长的兴趣需求的推动下，一个新的WiFi标准，IEEE 802.11bf任务组(TGbf)将在MAC层和物理层(PHY)对当前的WiFi标准进行修订，并在2024年底正式将WiFi传感作为常规WiFi服务的一部分[15]。

近年来，研究发现WiFi信号以信道状态信息(CSI)的形式存在[1]，[2]，对于各种无需设备的人类感知任务非常有前景，如占用检测[3]，活动识别[4]，[5]，[6]，[7]，跌倒检测[8]，手势识别[9]，[10]，人类识别[11]，[12]，以及人计数[13]，[14]。此外，由于WiFi信号位于电磁频谱的不可见波段(2.4GHz或5GHz)，基于WiFi-CSI的人体感知本质上比摄像头更有利于隐私保护。

现有的WiFi感知方法可以分为基于模型(model)的方法和基于学习(learning)的方法。基于模型的方法依赖于描述WiFi信号传播的物理模型，如菲涅尔区[16]。基于模型的方法帮助我们理解潜在的WiFi传感机制，设计周期性或单一运动的感知方法，如呼吸[17]，[18]，[19]和跌倒[8]，[20]，[21]。然而，当涉及到由一系列不同的动作组成的复杂的人类活动时，基于模型的方法仍存在不足之处。例如，人的步态包括手臂、腿和身体的协同运动，它们之间的差异很难用物理模型来描述。 相比之下，通过向机器学习[22]或深度学习网络中输入大量数据，[9]，[5]，基于学习的方法在复杂的感知任务中表现出色。各种深度神经网络被设计用于包括活动识别[23]，姿势识别[9]，人类识别[11]，[12]，人群计数[13]，[14]在内的许多应用。虽然深度学习模型具有较强的函数逼近能力，但它们需要大量的标记数据，采集成本昂贵，并遭受由环境动态变化[25]造成的信号分布转移的负面影响。

大多数SOTA(state-of-the-art)深度学习模型是为计算机视觉[26]和自然语言处理任务开发的[27]，它们展示了处理高维和多模态数据问题的能力。这些方法从数据预处理、网络设计和学习目标等方面启发了深度学习在WiFi传感中的应用。可以看到，越来越多的用于WiFi感知的深度模型[28]，[29]应运而生，并克服了上述传统统计学习方法无法解决的障碍。然而，目前的工作主要旨在通过裁剪深度神经网络来实现高精度的特定感知任务，而不是探索各种深度学习模型与不同设备和CSI工具收集的不同WiFi感知数据之间的内在张力。

目前还不清楚WiFi感知研究论文的显著结果是来自深度模型设计还是WiFi平台。因此，深度学习与WiFi感知研究还存在一些显著的差距:

1. 如何将目前主流的模型(如fully-connected layer, convolutional layer, recurrent neural unit, transformer block)集成到一个协同框架中，定制一个WiFi感知任务的深度神经网络?
2. 当在多个WiFi感知平台和数据模态上公平地比较主流模型时，它们的表现如何?
3. 如何在识别精度和效率之间取得平衡?

To answer these questions, this work proposes SenseFi, a benchmark and model zoo library for WiFi CSI sensing using deep learning. 具体内容如下：

1. 介绍了目前流行的深度学习模型，包括多层感知器(MLP)、卷积神经网络(CNN)、循环神经网络(RNN)、RNN的变体、CSI transformers和CNN-RNN，并总结了它们是如何有效地进行CSI特征学习和无线感知任务。
2. 在三个WiFi人类活动识别数据上对这些模型进行了研究和benchmark，这些数据包括通过Intel 5300 CSI工具[1]和Atheros CSI工具[2]，[22]采集的原始CSI数据和被处理过的CSI数据。根据数据，对主流模型的准确性和效率进行了比较和讨论，以显示它们在实际应用中的可行性。
3. 研究了不同的WiFi感知任务如何通过迁移学习相互受益，以及如何使用无监督学习来利用无标签的特征，从而降低注释成本。 这些特点总结如图1。所有的源代码都写在一个库中，以便研究人员可以方便地开发和评估他们的模型。

本文贡献

• 分析总结了计算机视觉和自然语言处理中广泛应用的深度学习模型在网络结构和特征提取方面对WiFi感知的优势。
• 选择两个公共数据集(UT-HAR[30]和Widar[31])和两个新采集的数据集(NTU-Fi HAR和Human-ID)，并基于这些数据集对上述深度学习方法进行基准测试，评估其对WiFi感知的可行性。
• 探索跨不同感知任务转移知识的迁移学习方案，并在所有模型中对其进行benchmark。
• 研究无监督学习方案，对比学习没有数据注释的特征提取器，并在所有模型中进行benchmark。
• 开发SenseFi库并开源基准代码。这是第一个对先进的WiFi传感深度模型和学习方案进行benchmark的工作，它为未来的研究提供了全面而重要的证据和工具。