一种高效且鲁棒的网格化特征提取和匹配方法

叶培楚，杨伟钧，曾宪贤

（1.广州极飞科技股份有限公司，广东广州 510663；
2.广州城市职业学院机电工程学院，广东广州 510405；
3.广东技术师范大学计算机学院，广东 广州 510665；
4.香港中文大学（深圳） 广东省大数据计算基础理论与方法重点实验室，广东深圳 518000）

在农业三维重建任务中，特征提取和匹配一直是影响效率和精度的重要一环［1⁃3］。

当提取的特征出现空间分布不均匀时，因空间信息无法有效地利用，使得三维重建中的运动估计出现较大的偏差，导致精度下降［4⁃5］。

特征匹配结果通常包含较多冗余的配对，比如较小区域内，如5×5 的图像块中存在多个匹配结果，这会使得三维重建任务的计算效率受到极大的影响。

农业场景中常用的特征点包括 SIFT、SURF、FAST 和 ORB，其中SIFT 的使用频次最高，在对特征数量有约束的情况下，SIFT 使用最大响应值作为判断依据，选取响应值最大的期望特征点数量，仅仅保证了特征点的质量为全局最高，但无法保证特征点的空间分布均匀性，使得三维重建的精度无法进一步提高。常用的特征匹配方法为FLANN 和暴力匹配法，随后经过RANSAC 进行错误匹配对过滤，得到较多的匹配结果。

然而，三维重建任务只要少量且准确的匹配对即可完成运动估计任务，因此过多的无效匹配对，会降低三维重建的计算效率和精度［6⁃8］。

基于网格化的特征提取，通过使用网格化方法实现特征提取的空间均匀分布，并对每个网格进行自适应阈值调整，确保每个图像块都能提取到足够数量的特征点，从而确保三维重建充分利用空间信息［9⁃10］。

通过将网格化方法迁移到匹配对筛选任务中，同时引入特征响应值作为重要指标，进行特征匹配对的筛选，只保留少量且准确的特征匹配结果，提高三维重建的效率和精度［11⁃12］。

尺度不变特征变换（Scale Invariant Feature Transform， SIFT）因其尺度不变性和旋转不变性等较强的辨识性能，被广泛应用于三维重建、图像识别等任务中。

然而，SIFT 特征提取基于响应值排序的方式进行固定特征数量筛选的方法，在纹理不均匀的场景中会出现特征点扎堆的情况，即特征点的空间分布不均匀。

三维重建的运动估计期望特征点在空间的分布足够均匀，才能保证重建精度的可靠性。

本研究提出的网格化特征提取方法可以实现特征的空间分布均匀化，自适应阈值调整可以保证每个区域都能提取到足够特征点数量。

（一）网格化特征提取

为了实现特征点的空间分布均匀化，引入了网格化的方法，通过将图像划分成多个网格，对每一个网格提取期望数量的高质量特征点。

图1 网格化特征提取

假设期望提取的特征数量为N，图像尺寸为W×H，划分的网格尺寸为G×G，为了确保空间分布的均匀性，根据期望特征数量N，将图像划分成N 个整个图像划分成N 个G×G 的小图像块，对每个图像块分别进行SIFT 特征提取，每个图像块可以提取到多个特征点，假设有c 个特征点，记为：

其中表示第i 个特征，（x，y）表示特征点的位置，s 表示特征点的尺度，o 表示特征点的主方向，r表示特征点的响应值和对应的描述向量d。

基于特征响应值对图像块中所有特征点进行排序，获取图像块中响应值最大的特征点，即：

从而获得每个网格中质量最高的特征点，保证了特征提取的质量和空间分布均匀性。

（二）自适应阈值

在SIFT 特征提取的时候，需要设置边缘化响应阈值δ 用于控制特征点数量，该阈值主要是通过控制最小梯度差异，实现关键点的筛选。

在不同的纹理场景中，网格化特征提取的结果不同：在纹理非常理想的情况下，每个网格可以提取的特征数量非常多，需要耗费大量的计算资源，因此提高响应阈值δ＝2×δ，减少每个网格提取的特征点数量；
在纹理非常差的情况下，使用固定阈值会导致网格中提取不到任何特征点，影响特征点的空间新进行特征提取，以获得足够数量的特征点。

假设网格中提取的特征数量为c，则：

其中，α 表示每个网格中最大的特征点数量，当网格中提取的特征点数量c＞α，表示场景的纹理非常好，需要提高阈值参数δ ＝2δ，减少特征点数量；
β 表示每个网格中最小的特征点数量，当网格中提取的特征点数量c＜β，表示场景的纹理比较实验中，通常设置 α ＝ 10， β ＝ 2。

通过使用自适应阈值调整的策略，在不同的纹理场景中，实现网格化特征提取的可靠性和高效性。

现有特征匹配方法通过FLANN 匹配或暴力匹配法获取最佳的匹配结果，三维重建任务中相邻两张图像之间的共视区域较多，存在较多的图像匹配对。

然而，三维重建的运动估计仅需要少量且足够准确的特征匹配对，就能实现较为准确和高效的结算结果。

因此，对匹配对进行筛选，获取高质量的匹配对是非常重要的。

图2 网格化匹配筛选

（一）特征响应筛选

假设期望的匹配数量为M，参考网格化特征提取的网格计算方式对图像进行网格划分，任意di表示描述子匹配距离。

对于任意一个网格，如图有网格均值进行排序，并选择特征响应均值最大的匹配对作为最优匹配结果：

特征响应值是反应特征质量的重要指标，对于匹配对的筛选，基于网格化的方式，要求筛选出来的匹配对所关联的两个特征点的质量是网格中最优的。

（二）匹配距离筛选

在基于特征均值响应值进行网格化匹配对筛选时，部分网格可能不存在特征匹配对，会导致最终筛选出来的匹配对数量少于期望值，因此需要对最终的匹配对进行补充。

在上述的筛选过程中，将ˇm ＝｛ ˇm1，ˇm2，…，ˇmK｝

期望匹配对数为M，且满足M ＜K。

基于平均响应值筛选得到的匹配对数为Q，且满足Q ＜M，记为：

则提取结果不满足期望数量，缺少的匹配对数量为V ＝M － Q，不满足最大响应均值的匹配对数量为 L ＝ K － Q ，记为：

基于匹配距离＾d 对匹配对进行由小到大排序：

其中sort｛·｝表示对输入数据进行由小到大的排序，匹配距离越短，表示匹配对质量越高，基于匹配距离获取前L 个匹配对，获得高质量的匹配对结果，从而提高三维重建任务的计算效率。

为了验证本文提出的方法的可靠性，首先对原始SIFT 特征提取方法和本文提出的网格化特征提取的方法进行比较，如图3 所示，原始的SIFT 特征提取方法在纹理分布不均匀的场景中会出现特征点扎堆的情况，大量的区域无法提取到特征点；
相反，对于本文提出的高质量的网格化SIFT 特征提取方法，可以在整个图像中的所有位置都提取到特征点，并且特征点的分布非常均匀，对于农业场景的三维重建精度有较大的助益。

图3 网格化特征提取结果

此外，在农业三维重建的任务中，重复纹理场景如小麦地、玉米地、香蕉林等极端场景，传统的SIFT 特征无法提取到足够多的特征点，使得重建任务失败，农业植保无人机无法获取作业场景的三维环境信息，路径规划和农药喷洒等任务无法实施，严重影响植保工作的进行。

而三维重建失败的主要原因是现有的SIFT 特征提取方案无法对重复纹理场景提取足够有效地特征点，为了验证本文方案在重复纹理场景中的效果，选取了两组小麦地的图像，与SIFT 特征提取的结果进行对比，如图4 所示。

从实验结果中可以发现SIFT 特征提取方法无法提取到任何特征，而本文的方法可以提取到非常多的特征点，并且可以有效确保空间分布的均匀性。

显然，本文提出的方案可以在小麦地这类重复纹理场景中获得比传统SIFT 特征提取方法更好的特征点。

图4 重复纹理网格化特征提取

为了进一步验证网格化SIFT 特征提取方法所提取的特征质量，本文使用同样的匹配方法对原始的SIFT 特征提取方法和本文提出的网格化特征提取方法进行对比，本文采用最近邻比例法作为统一的匹配方法，其中比例分数设置为0.8，使用随机采样一致性（RANSAC）进行错误匹配对过滤，匹配结果如图5 所示。

图5 网格化特征对应的匹配结果

如图5 所示，本文提出来的网格化特征提取方法所提取的特征质量较高，匹配效果明显优于原始的特征提取方法，特别是在空间均匀性上，如图5 两幅图的最左侧，SIFT 特征匹配结果显然没有任何匹配对，而本文提出的网格化特征提取方法却有非常多的匹配对，显然本文的方案可以充分利用所有空间信息。

为了验证本文提出的高质量网格化匹配对筛选方法，在网格化SIFT 特征提取和匹配后的结果进行匹配对筛选，如图6 所示，初始的特征匹配对数量非常多，并且在同一个局部邻域内包含多个特征匹配对，这会导致三维重建过程中引入冗余数据，影响解算效率和精度。

通过使用本文提出的网格化匹配对筛选策略，结合网格化和最大平均响应值两个方法，充分综合空间分布均匀性和特征质量，在原始匹配对中筛选出期望数量的高质量匹配对，使得最终的匹配对数量明显减少，但整体的匹配趋势和空间分布基本不变，极大提高了三维重建的效率和精度。

图6 网格化匹配对筛选

特征提取方法在农业场景三维重建中具有非常重要的作用。

本文提出的特征提取方法通过引入网格化筛选和自适应阈值调整方法，可以有效地从图像中获取高质量并且空间分布均匀的特征点，对于三维重建任务中的运动估计阶段提供更加准确和丰富的信息，使得三维重建的精度更高。通过网格化的方法，结合特征点响应值以及匹配分数等特征对匹配对进行筛选，获取高质量的特征匹配结果，提高三维重建的精度和效率。

三维重建的精度和效率严重依赖于特征提取和匹配模块，当特征匹配结果足够准确时，通过合理的方法剔除冗余的特征匹配对可以有效提高三维重建的效率。

未来考虑将本文提出的方法应用到实际的三维重建系统中，进一步提高农业场景重建的精度和效率。

猜你喜欢响应值三维重建网格化以党建网格化探索“户长制”治理新路子奋斗(2021年9期)2021-10-25基于荧光光谱技术的不同食用淀粉的快速区分科教导刊·电子版(2021年1期)2021-03-28基于Mimics的CT三维重建应用分析软件(2020年3期)2020-04-20提高环境监测数据准确性初探环境与发展(2019年11期)2019-02-12紫外荧光法测硫各气路流量对响应值的影响山东化工(2019年1期)2019-01-24城市大气污染防治网格化管理信息系统设计环境保护与循环经济(2017年2期)2017-09-26基于关系图的无人机影像三维重建光学精密工程(2016年6期)2016-11-07化解难题，力促环境监管网格化见实效中国环境监察(2016年12期)2016-10-24三维重建结合3D打印技术在腔镜甲状腺手术中的临床应用腹腔镜外科杂志(2016年12期)2016-06-01网格化城市管理信息系统VPN方案选择与实现工业设计(2016年4期)2016-05-04