一种无人机影像匹配像对提取方法

无人机(unmanned aerial vehicle, UAV)低空摄影测量具有现势性强、分辨率高、采集方式灵活、传感器多样化等优点,近年来在应急测绘[1]、城市三维重建[2]、滑坡地形重建[3]、文物三维重建[4]等领域得到了越来越广泛的应用。然而,由于低空UAV一般搭载非量测相机,且受平台不稳定性及传感器多样化等诸多因素影响,获取的影像尺度不一致,且数据量庞大,为影像匹配带来极大挑战。此外,近年来新兴的仿地飞行、环绕飞行、贴近飞行等数据获取方式,更使传统的影像匹配方法难以满足需求。 影像匹配作为三维自动重建的基础环节,其效率与稳健性对重建结果起着决定性作用。尤其针对复杂地形条件下的三维重建,可以获取的有效匹配像对越多,影像连接成功的概率也越高。总体上可将其分为2个环节: ①提取匹配像对,即从大数据量的遥感影像中按照一定方法提取具有重叠区的一对影像; ②按照影像匹配算法对提取的像对进行双像匹配提取匹配像对,获取同名点列表。近年来,针对多角度、大倾角的无人机影像,文献[5,6,7]在尺度不变特征变换(scale-invariant feature transform,SIFT)[8]和仿射尺度不变特征变换(affine-scale-invariant feature transform, ASIFT)[9]算法基础上提出了相应的匹配策略,同时借助图形处理器(graphics processing unit, GPU) [10]并行运算,这一类方法均可快速完成像对的同名点匹配。然而,如何从大量影像中提取匹配像对的研究还处于比较初级的研究阶段。 在UAV影像匹配像对提取方面,文献[11,12]采用穷举遍历策略,对影像集中任意两两影像进行匹配。该类方法可靠性最高,但存在大量盲目的无效运算,效率太低; 文献[13]利用影像初始地理位置信息,计算当前影像与其相邻影像的空间距离,进而采用固定阈值范围内的像对进行匹配; 文献[14]则通过动态搜索的方法确定阈值,提高了匹配的可靠度,但当测区内存在多层次、不同分辨率的UAV影像时,其获取的搜索阈值无法保证为全局最优值; 文献[7,15-16]则利用影像的定位定向系统(positioning and orientation system, POS)测量数据、传感器结构设计参数及内方位元素、测区地形信息等先验常识,计算每张影像的脚印图,进而利用脚印图的拓扑关系,判定像对是否具有重叠区。由于该类方法计算量小,且对常规数据获取方式具有不错的适应性,因此是目前低空UAV影像匹配像对提取的主要方法。然而,从原理可知,该类方法高度依赖先验常识的准确性,因此,当测区地形信息不确定(如滑坡、山谷、独立地物等)、或者传感器设计参数无法准确得知时(如多镜头倾斜相机、组合倾摆相机),该类方法便无法准确计算出像对的相关性。文献[17]则从影像内容信息出发,利用提取的特征信息构建视觉词袋(bag of visual words, BoW)模型,进而利用影像检索方式确定待匹配像对; 文献[18]在生成BoW模型过程当中,计算海明嵌(hamming embedding, HE)来提升影像检索的准确度; 文献[19]则提出了一种霍夫投票算法加速影像检索过程。由于这类方法一般面向的都是无序、无地理信息的网络图像数据,其检索结果与影像是否具有重叠区没有明确关系,且计算量过大,难以直接使用。 针对上述问题,本文提出一种顾及影像地理空间信息的BoW模型方法来确定待匹配像对,对地形条件、影像获取方式、传感器类型均无限制条件,进而减少影像匹配过程当中的冗余计算,以解决UAV影像匹配像对的高效、准确提取问题。 1 方法原理 本文提出的UAV影像匹配像对提取方法流程为: ①按照文献[8]和[10]所述方法,依次完成测区所有影像的SIFT特征提取; ②为了提高影像检索效率,对提取的SIFT特征进行降维,下降生成视觉词汇树的运算量; ③采用文献[20]方法,利用降维后的特征向量构建视觉词汇树; ④检索所有影像,并计算词汇树内单词的检索权重; ⑤在词汇树内,查询与当前影像最相似的影像列表,并计算其与查询列表内影像的空间距离指数,综合相似指数与空间距离指数对检索列表进行排序,最后利用综合指数计算查询深度阈值,将阈值之前的查询影像与当前影像组合形成匹配像对。具体方法流程如图1所示。 2 实验与分析 2.1 实验数据与配置参数 为验证本文方法在多采集方式、多传感器类型、多地形条件下提取匹配像对的可行性、精度与效率,共收集了5组实验数据进行实验。数据集的详细信息如表1所示。 基于Windows10 64位操作系统,采用VC++2015开发了海量UAV影像自动空三处理软件MRI,用于测试本文方法的适应性。硬件平台为Dell Precision 3630工作站,CPU i7-8700K 3.7 GHz,内存64 G DDR4,硬盘512 G SSD,显卡为英伟达 Titan XP 12 G。 2.2 结果与分析 为了评价低维特征对影像检索效率及精度造成的影响,对表1中5组影像提取的原始128维特征向量进行降维,分别降至96维、64维、32维,并按照文献[19]方法对影像进行检索。检索过程当中,生成词汇树的聚类中心数量统一设置为影像数量的200倍,检索深度统一设置为100,构建词汇树的影像从数据集中随机提取,其数量设置为数据集影像数量的20%,且最大影像数量不高于500幅。评价检索方法精度时,首先采用穷举法完成5组影像匹配,然后以其匹配结果为基准,评价其他检索方法的查询精度。 评价影像查询精度通常采用查准率和查全率(图4)。查准率通过计算查询深度内准确的查询影像与查询深度的比值构成,它反映了查询过程当中准确像对的比例,查准率越低,意味着匹配环节引入错误匹配像对数量越高,相应的匹配耗时也越高。查全率则通过计算查询深度内准确的查询影像与穷举法匹配中得到的所有准确影像数量比值构成,它反映了当前特征条件下,能提取到的匹配像对的完整度,查全率越低,意味着稀疏重建时的可靠性越低,容易丢片。因此,查准率与查全率之间相互制约,在查全率相当的前提下,查准率越高,则算法的效率越高。除了计算128维、96维、64维、32维特征的检索精度外,按照本文方法分别计算32维和64维的综合检索因子检索精度,分别用32G和64G表述。从图4(a)中可知,总体上,影像查询的查准率随着特征维度下降而递减,当特征维度降到32维时,其影像查准率明显下降。反观图4(b),此时的查全率却最高。其原因主要是32维的影像特征丢失了过多的细节信息,使特征之间的可分性下降,在引入大量错误匹配像对基础上,也将大量弱连接的像对引入匹配环节。虽然提升了整体的查全率,但后续的匹配环节效率太低。因此,综合考虑效率与精度,将特征下降至64维进行影像检索是合适的。