• ORB-SLAM2 ---- ORBextractor::ComputeKeyPointsOctTree函数

    目录

    1.这个函数要做什么

    2.代码解析1- 循环变量的定义及三层循环

    2.1 代码

    2.2 循环变量的含义

    2.2.1 level循环的minBorderX、minBorderY、maxBorderX、maxBorderY

    2.2.2 level循环的vToDistributeKeys、width 、height、nCols、nRows、wCell、hCell

    2.2.3  第二层第三层遍历中的iniX、maxX、iniY、maxY

    3.代码解析2- 三个循环做了什么 

    3.代码解析2 - 平均分配关键点

    4.代码解析3 -计算这些特征点的方向信息

    1.这个函数要做什么

            将每层图像金字塔图像分成一个个小块、并对对每一块用FAST算法提取特征点，由于提取的特征点数目肯定很多，我们需要按照ORBExtrator构造函数中要求的每层应该提取的特征点数目进行特征点筛选并分散特征点（离散化特征点并让特征点分布均匀），得到最终所有图像金字塔提取到的关键点，并且求出这些特征点的角度信息。

            我们定义了双层的vector容器存储所有的特征点，注意此处为二维的vector，第一维存储的是金字塔的层数，第二维存储的是那一层金字塔图像里提取的所有特征点。
        vector < vector > allKeypoints; 
        然后我们调用函数使用四叉树的方式计算每层图像的特征点并进行分配。回忆一下，我们是要将配置文件规定的特征点数目分配到各个金字塔层中，我们在上篇文章已经讲述了怎么把nFeatures个特征点分配到nLevels中，然而只是规定了数目，具体怎么分布没定，再通俗易懂的说，上一步（下面链接）我们只是创建了金字塔规定了每层金字塔分配多少，但它还是个空金字塔，这个函数我们将此空金字塔填满！

    ORB-SLAM2 ---- ORBextractor::ComputePyramid函数_Courage2022的博客-CSDN博客

    1. # ORB Extractor: Number of features per image
    2. ORBextractor.nFeatures: 1000
    3.  
    4. # ORB Extractor: Scale factor between levels in the scale pyramid 	
    5. ORBextractor.scaleFactor: 1.2
    6.  
    7. # ORB Extractor: Number of levels in the scale pyramid	
    8. ORBextractor.nLevels: 8

    2.代码解析1- 循环变量的定义及三层循环

    2.1 代码

    1. //计算四叉树的特征点，函数名字后面的OctTree只是说明了在过滤和分配特征点时所使用的方式
    2. void ORBextractor::ComputeKeyPointsOctTree(
    3. 	vector >& allKeypoints)	//所有的特征点，这里第一层vector存储的是某图层里面的所有特征点，
    4. 												//第二层存储的是整个图像金字塔中的所有图层里面的所有特征点
    5. {
    6. 	//allKeypoints是存放不同层数的所有特征点,有nlevel层，初始化一下
    7.     allKeypoints.resize(nlevels);
    8. 	//图像cell的尺寸，是个正方形，可以理解为边长in像素坐标
    9.     const float W = 30;
    10.  
    11.     // 对每一层图像做处理
    12.     for (int level = 0; level < nlevels; ++level)
    13.     {
    14. 		//计算这层图像的坐标边界，算上扩充的3
    15.         const int minBorderX = EDGE_THRESHOLD-3;			
    16.         const int minBorderY = minBorderX;					
    17.         const int maxBorderX = mvImagePyramid[level].cols-EDGE_THRESHOLD+3;
    18.         const int maxBorderY = mvImagePyramid[level].rows-EDGE_THRESHOLD+3;
    19.  
    20. 		//存储需要进行平均分配的特征点
    21.         vector vToDistributeKeys;
    22.  
    23. 		//一般地都是过量采集，所以这里预分配的空间大小是nfeatures*10
    24.         vToDistributeKeys.reserve(nfeatures*10);
    25.  
    26. 		//计算进行特征点提取的图像区域尺寸
    27.         const float width = (maxBorderX-minBorderX);
    28.         const float height = (maxBorderY-minBorderY);
    29.  
    30. 		//计算网格在当前层的图像有的行数和列数
    31.         const int nCols = width/W;
    32.         const int nRows = height/W;
    33.  
    34. 		//计算每个图像网格所占的像素
    35.         const int wCell = ceil(width/nCols);         
    36.         const int hCell = ceil(height/nRows);
    37.  
    38. 		//开始遍历图像网格，还是以行开始遍历的
    39.         for(int i=0; i
    40.         {
    41. 			//计算当前网格初始行坐标
    42.             const float iniY =minBorderY+i*hCell;
    43.             float maxY = iniY+hCell+6;
    44.  
    45. 			//如果初始的行坐标就已经超过了有效的图像边界了，下一行
    46.             if(iniY>=maxBorderY-3)
    47.                 continue;
    48. 			//如果图像的大小导致不能够正好划分出来整齐的图像网格，那么就把提取特征点的区域缩小一些
    49.             if(maxY>maxBorderY)
    50.                 maxY = maxBorderY;
    51.  
    52. 			//开始列的遍历
    53.             for(int j=0; j
    54.             {
    55.                 const float iniX =minBorderX+j*wCell;
    56.                 float maxX = iniX+wCell+6;				
    57.                 if(iniX>=maxBorderX-3)
    58.                     continue;
    59.                 if(maxX>maxBorderX)
    60.                     maxX = maxBorderX;
    61. 				//这个容器存储提取到的特征点
    62.                 vector vKeysCell;
    63. 				//FAST提取特征点，调用opencv的库函数来检测FAST角点
    64.                 FAST(mvImagePyramid[level].rowRange(iniY,maxY).colRange(iniX,maxX),	//待检测的图像，这里就是当前遍历到的图像块
    65.                      vKeysCell,			//存储角点位置的容器
    66. 					 iniThFAST,			//检测阈值
    67. 					 true);				//使能非极大值抑制
    68.  
    69. 				//如果这个图像块中使用默认的FAST检测阈值没有能够检测到角点
    70.                 if(vKeysCell.empty())
    71.                 {
    72. 					//那么就使用更低的阈值来进行重新检测
    73.                     FAST(mvImagePyramid[level].rowRange(iniY,maxY).colRange(iniX,maxX),	//待检测的图像
    74.                          vKeysCell,		//存储角点位置的容器
    75. 						 minThFAST,		//更低的检测阈值
    76. 						 true);			//使能非极大值抑制
    77.                 }
    78.  
    79.                 //当图像cell中检测到FAST角点的时候执行下面的语句
    80.                 if(!vKeysCell.empty())
    81.                 {
    82. 					//遍历其中的所有FAST角点
    83.                     for(vector::iterator vit=vKeysCell.begin(); vit!=vKeysCell.end();vit++)
    84.                     {
    85. 						//NOTICE 到目前为止，这些角点的坐标都是基于图像cell的，现在我们要先将其恢复到当前的【坐标边界】下的坐标
    86. 						//这样做是因为在下面使用八叉树法整理特征点的时候将会使用得到这个坐标
    87. 						//在后面将会被继续转换成为在当前图层的扩充图像坐标系下的坐标
    88.                         (*vit).pt.x+=j*wCell;
    89.                         (*vit).pt.y+=i*hCell;
    90. 						//然后将其加入到”等待被分配“的特征点容器中
    91.                         vToDistributeKeys.push_back(*vit);
    92.                     }//遍历图像cell中的所有的提取出来的FAST角点，并且恢复其在整个金字塔当前层图像下的坐标
    93.                 }//当图像cell中检测到FAST角点的时候执行下面的语句
    94.             }//开始遍历图像cell的列
    95.         }//开始遍历图像cell的行
    96.  
    97.         //声明一个对当前图层的特征点的容器的引用
    98.         vector & keypoints = allKeypoints[level];
    99. 		//并且调整其大小为欲提取出来的特征点个数（当然这里也是扩大了的，因为不可能所有的特征点都是在这一个图层中提取出来的）
    100.         keypoints.reserve(nfeatures);
    101.  
    102.         // 根据mnFeatuvector & keypoints = allKeypoints[level];resPerLevel,即该层的兴趣点数,对特征点进行剔除
    103. 		//返回值是一个保存有特征点的vector容器，含有剔除后的保留下来的特征点
    104.         //得到的特征点的坐标，依旧是在当前图层下来讲的
    105.         keypoints = DistributeOctTree(vToDistributeKeys, 			//当前图层提取出来的特征点，也即是等待剔除的特征点
    106. 																	//NOTICE 注意此时特征点所使用的坐标都是在“半径扩充图像”下的
    107. 									  minBorderX, maxBorderX,		//当前图层图像的边界，而这里的坐标却都是在“边缘扩充图像”下的
    108.                                       minBorderY, maxBorderY,
    109. 									  mnFeaturesPerLevel[level], 	//希望保留下来的当前层图像的特征点个数
    110. 									  level);						//当前层图像所在的图层
    111.  
    112. 		//PATCH_SIZE是对于底层的初始图像来说的，现在要根据当前图层的尺度缩放倍数进行缩放得到缩放后的PATCH大小 和特征点的方向计算有关
    113.         const int scaledPatchSize = PATCH_SIZE*mvScaleFactor[level];
    114.  
    115.         // Add border to coordinates and scale information
    116. 		//获取剔除过程后保留下来的特征点数目
    117.         const int nkps = keypoints.size();
    118. 		//然后开始遍历这些特征点，恢复其在当前图层图像坐标系下的坐标
    119.         for(int i=0; i
    120.         {
    121. 			//对每一个保留下来的特征点，恢复到相对于当前图层“边缘扩充图像下”的坐标系的坐标
    122.             keypoints[i].pt.x+=minBorderX;
    123.             keypoints[i].pt.y+=minBorderY;
    124. 			//记录特征点来源的图像金字塔图层
    125.             keypoints[i].octave=level;
    126. 			//记录计算方向的patch，缩放后对应的大小， 又被称作为特征点半径
    127.             keypoints[i].size = scaledPatchSize;
    128.         }
    129.     }
    130.  
    131.     // compute orientations
    132.     //然后计算这些特征点的方向信息，注意这里还是分层计算的
    133.     for (int level = 0; level < nlevels; ++level)
    134.         computeOrientation(mvImagePyramid[level],	//对应的图层的图像
    135. 						   allKeypoints[level], 	//这个图层中提取并保留下来的特征点容器
    136. 						   umax);					//以及PATCH的横坐标边界
    137. }

    2.2 循环变量的含义

    2.2.1 level循环的minBorderX、minBorderY、maxBorderX、maxBorderY

            我们定义了第一层（对图像金字塔的每一个level ）循环变量minBorderX、minBorderY、maxBorderX、maxBorderY，如下图所示：

            因此图像的坐标边界就是原图像扩充了3个像素值，为什么扩充像素值上篇文章我已经说过，不再赘述！ 

    2.2.2 level循环的vToDistributeKeys、width 、height、nCols、nRows、wCell、hCell

    2.2.3  第二层第三层遍历中的iniX、maxX、iniY、maxY

            假设我们第一次循环，各变量如下图所示：

            那为什么要加6呢？还是因为边缘匹配特征点的缘故，我们在图像外面加个3像素的壳子、确保边缘的部分可以提取出特征点！ 

    3.代码解析2- 三个循环做了什么 

            第一层for循环：算出每一层的循环遍变量、供下面两层使用

            第二层for循环：对每一行进行遍历，算出初始与最大行坐标，上一层的maxY和下一层的iniY如图所示，这样是因为有6的缘故。

             此外，如果初始化的iniY大于边界-3，说明已经超过图像边界了，为什么是-3呢，因为我们用FAST提取关键点时为了避免边界无法提取的情况，要在外面加上个半径为3的外壳，这也是为什么加6的原因。如果iniY大于边界-3的话，那就说明壳子到边界了。

            此外，如果该网格的最大Y坐标超越了边界坐标，就让最大的Y坐标变成边界坐标。

            列的遍历也是如此。

            在最内层循环中，我们用一个容器vector vKeysCell存储当前网格提取出的特征点。调用opencv的内置函数提取特征点。

    1. FAST(mvImagePyramid[level].rowRange(iniY,maxY).colRange(iniX,maxX),	//待检测的图像，这里就是当前遍历到的图像块
    2.                      vKeysCell,			//存储角点位置的容器
    3. 					 iniThFAST,			//检测阈值
    4. 					 true);				//使能非极大值抑制
    5.  
    6. 				//如果这个图像块中使用默认的FAST检测阈值没有能够检测到角点
    7.                 if(vKeysCell.empty())
    8.                 {
    9. 					//那么就使用更低的阈值来进行重新检测
    10.                     FAST(mvImagePyramid[level].rowRange(iniY,maxY).colRange(iniX,maxX),	//待检测的图像
    11.                          vKeysCell,		//存储角点位置的容器
    12. 						 minThFAST,		//更低的检测阈值
    13. 						 true);			//使能非极大值抑制
    14.                 }

            这里我们先用了高标准的阈值提取特征点...如果提取不出来（可能是边缘的图像或者灰度变化不大的图像）我们再用低标准的阈值提取特征点，存放在vKeysCell容器中。

            

    1.  //当图像cell中检测到FAST角点的时候执行下面的语句
    2.                 if(!vKeysCell.empty())
    3.                 {
    4. 					//遍历其中的所有FAST角点
    5.                     for(vector::iterator vit=vKeysCell.begin(); vit!=vKeysCell.end();vit++)
    6.                     {
    7. 						//NOTICE 到目前为止，这些角点的坐标都是基于图像cell的，现在我们要先将其恢复到当前的【坐标边界】下的坐标
    8. 						//这样做是因为在下面使用八叉树法整理特征点的时候将会使用得到这个坐标
    9. 						//在后面将会被继续转换成为在当前图层的扩充图像坐标系下的坐标
    10.                         (*vit).pt.x+=j*wCell;
    11.                         (*vit).pt.y+=i*hCell;
    12. 						//然后将其加入到”等待被分配“的特征点容器中
    13.                         vToDistributeKeys.push_back(*vit);
    14.                     }//遍历图像cell中的所有的提取出来的FAST角点，并且恢复其在整个金字塔当前层图像下的坐标
    15.                 }//当图像cell中检测到FAST角点的时候执行下面的语句

            在第三层循环的最后，我们要恢复从opencv提取特征点的坐标到我们的金字塔图像中，并将提取到的特征点放入vToDistributeKeys容器中。

    3.代码解析2 - 平均分配关键点

            由于我们在上步中对每一个小方格的进行特征点提取、会出现小方格特征点分布不均匀，比如某一个小方格特征点及其不均匀有很多...。另外，我们在ORBExtrator构造函数中定义了每层应该提取出的特征点数目。因此我们要做的是离散化特征点并让特征点分布均匀。

    1.         //声明一个对当前图层的特征点的容器的引用
    2.         vector & keypoints = allKeypoints[level];
    3. 		//并且调整其大小为欲提取出来的特征点个数（当然这里也是扩大了的，因为不可能所有的特征点都是在这一个图层中提取出来的）
    4.         keypoints.reserve(nfeatures);
    5.  
    6.         // 根据mnFeatuvector & keypoints = allKeypoints[level];resPerLevel,即该层的兴趣点数,对特征点进行剔除
    7. 		//返回值是一个保存有特征点的vector容器，含有剔除后的保留下来的特征点
    8.         //得到的特征点的坐标，依旧是在当前图层下来讲的
    9.         keypoints = DistributeOctTree(vToDistributeKeys, 			//当前图层提取出来的特征点，也即是等待剔除的特征点
    10. 																	//NOTICE 注意此时特征点所使用的坐标都是在“半径扩充图像”下的
    11. 									  minBorderX, maxBorderX,		//当前图层图像的边界，而这里的坐标却都是在“边缘扩充图像”下的
    12.                                       minBorderY, maxBorderY,
    13. 									  mnFeaturesPerLevel[level], 	//希望保留下来的当前层图像的特征点个数
    14. 									  level);						//当前层图像所在的图层
    15.  
    16. 		//PATCH_SIZE是对于底层的初始图像来说的，现在要根据当前图层的尺度缩放倍数进行缩放得到缩放后的PATCH大小 和特征点的方向计算有关
    17.         const int scaledPatchSize = PATCH_SIZE*mvScaleFactor[level];
    18.  
    19.         // Add border to coordinates and scale information
    20. 		//获取剔除过程后保留下来的特征点数目
    21.         const int nkps = keypoints.size();
    22. 		//然后开始遍历这些特征点，恢复其在当前图层图像坐标系下的坐标
    23.         for(int i=0; i
    24.         {
    25. 			//对每一个保留下来的特征点，恢复到相对于当前图层“边缘扩充图像下”的坐标系的坐标
    26.             keypoints[i].pt.x+=minBorderX;
    27.             keypoints[i].pt.y+=minBorderY;
    28. 			//记录特征点来源的图像金字塔图层
    29.             keypoints[i].octave=level;
    30. 			//记录计算方向的patch，缩放后对应的大小， 又被称作为特征点半径
    31.             keypoints[i].size = scaledPatchSize;
    32.         }
    33.     }

            allkeyPoints容器存储了最终提取的特征点结果，我们声明了临时变量keypoints声明一个对当前图层的特征点的容器的引用，将其重调整其大小为欲提取出来的特征点个数，然后利用DistributeOctTree算法将特征点分布平均化并剔除，恢复特征点在原来坐标系下的坐标。

    DistributeOctTree函数解析：

    ORB-SLAM2 ---- ORBextractor::DistributeOctTree函数_Courage2022的博客-CSDN博客 

    4.代码解析3 -计算这些特征点的方向信息

    1.     // compute orientations
    2.     //然后计算这些特征点的方向信息，注意这里还是分层计算的
    3.     for (int level = 0; level < nlevels; ++level)
    4.         computeOrientation(mvImagePyramid[level],	//对应的图层的图像
    5. 						   allKeypoints[level], 	//这个图层中提取并保留下来的特征点容器
    6. 						   umax);

    (1条消息) ORB-SLAM2 ---- IC_Angle函数_Courage2022的博客-CSDN博客

  • 相关阅读:
    SQL中LIKE和REGEXP简单对比
    3. 常用服务器工具安装
    vue中data属性为什么是一个函数?
    python代码是如何执行的？
    SpringAOP的原理及仿写
    解决表单action属性传参时值为null的问题
    UDP-B-L-阿拉伯糖二钠盐，UDP-b-L-arabinopyranose disodium salt，15839-78-8
    Using The CuDLA API To Run A TensorRT Engine
    三星为其基于 RISC-V的 Tizen平台移植.NET
    Netty 集群（Java）
  • 原文地址：https://blog.csdn.net/qq_41694024/article/details/126297695