基于全景相机的视觉里程计算法研究

一、视觉里程计

视觉里程计技术首先建立相机的成像模型，接着通过标定算法计算相机参数，最后建立相邻图像的关联并估计相机运动轨迹。

1.1相机在空间中运动的描述

描述相机在三维空间中的运动状态，即求解相机在空间中不同时刻下的位姿关系。相机的位姿变换描述了相机的旋转与平移，其中相机的旋转可以由旋转矩阵、四元数等方式描述，相机的平移则由平移向量表示。

1.2 相机的标定

张正友的平面标定算法是介于传统标定算法和自标定算法之间的一种算法。该算法既避免了传统算法对标定器材要求高和操作复杂等缺点，并且相较于自标定算法精度更高，因此张正友标定法广泛地应用于计算机视觉领域，但张正友标定法适用于畸变较小的普通相机，对于畸变严重的超广角镜头和鱼眼镜头则需要同时考虑相机位姿。
通过标定算法可以求解得到相机的内参、外参以及畸变系数。
其中外部参数是指镜头在空间中所处的位置，在计算机视觉中称为相机坐标系到世界坐标系的坐标转换

相机的内参外参解释

1.3相机位姿估计

相机位姿估计是指通过在不同角度对同一场景拍摄若干张图像，估计其中相机运动的过程。根据传感器的不同，相机位姿估计算法也有所不同：使用单目相机作为传感器，采集得到的是二维图像信息，可以通过对极几何求解相机位姿；当使用 RGB-D 相机或双目相机作为传感器时，能同时采集得到二维图像信息以及深度信息，可以从中恢复出稠密空间点，进而通过迭代最近点(Iterative Closest Point,ICP)算法求解；对于任意传感器，通过对之前的信息计算得到 3D 空间点，并建立与当前图像上 2D点的映射关系，则可以通过 PnP(Perspective-n-Points)算法估计相机位姿。

对极几何、迭代最近点、PnP算法

1.4视觉里程计

特征点法、光流法、直接法

二、全景相机标定算法

2.1鱼眼相机的内参标定

1）通过理想鱼眼镜头的几何成像模型估计镜头内部参数的初始值，并求解镜头
在空间中的位姿；
2）通过观测值与计算值之间的距离建立与鱼眼镜头内参相关的代价函数；
3）通过迭代优化代价函数来求解鱼眼镜头成像模型的内部参数。

2.2全景相机的立体标定（鱼眼镜头>2）

在全景相机中，镜头与镜头之间的相对位姿关系是固定的，是全景相机固有属性。将所有镜头之间的相对位姿参数化表示为旋转矩阵和平移向量的集合，并与各个镜头的内部参数共同构成全景相机的相机参数。
全景相机是由多个鱼眼镜头组成的相机结构，各个镜头均能恢复相机的运动轨迹，同时各个镜头遵循同一刚体运动的约束。
考虑到各个镜头恢复的运动轨迹均满足同一运动约束，因此通过对各个镜头恢复的运动轨迹进行加权平均得到相邻时刻全景相机的位姿变化，并以此作为初始值带入全景相机位姿与路标点共同建立的重投影误差模型，最终通过光束平差法求解出全景相机的运动轨迹。