使用HoloLens 2调用深度相机和前置摄像头

实验要在HoloLens 2上做仿真，HoloLens的SLAM做得很好，它的SLAM过程中是没有用深度相机的，完全依靠左右两侧的4个鱼眼相机，深度相机只在场景建模时候用。HoloLens和人眼的解决方案一样，分两个阶段，先是把场景里3D点的位置确定出来，后面的跟踪就只用特征点的图像坐标和IMU来处理。HoloLens 2研究者模式可以访问深度摄像头、灰度摄像头和IMU上的原始流数据。

一、平台环境

1、PC环境

• 系统版本：Windows 10 SDK 10.0.18362.0
• Visual Studio 版本 ：Visual Studio 2019 16.11.18
• MRTK版本：2.7
• Unity版本：2019.3.11
• 开发者模式

2、HoloLens 2环境

• 开发者模式
• 打开研究者模式(Research mode)

二、工程展开

1、下载工程

在GitHub官方例程下载数据

2、解压文件

Docs是指南，Samples是代码示例

3、生成文件

HoloLens2ForCV-main -> Samples -> SensorVisualization找到SensorVisualization.sln文件，选择 Debug模式和ARM64的架构，然后生成（Build）

4、通过 USB 构建和部署，请选择设备(Device)

5、调试程序开始部署

在HoloLens 2上启动 SensorVisualization 应用，显示可视化传感器

三、总结

这个示例是一个全息UWP应用程序，演示了在设备上实时可视化传感器流。它显示了来自两个前头部跟踪摄像头的帧的可视化，深度和AB帧的深度摄像头，以及IMU加速度的可视化为3d坐标系的长度。