改进的SIFT特征提取和匹配算法
来源:小侦探旅游网
第19卷第6期 光学精密工程 Optics and Precision Engineering Vo1.1 9 No.6 2011年6月 Jun.2O11 文章编号1004—924X(2011)06—1391—07 改进的SIFT特征提取和匹配算法 曾 峦 ,王元钦 。,谭久彬 (1.哈尔滨工业大学超精密光电仪器工程研究所,黑龙江哈尔滨150080; 2.装备指挥技术学院,北京101416) 摘要:针对月球影像和尺度不变特征变换(SIFT)算法的特点,在改进SIFT特征提取算法的基础上,提出了一种稳健的 图像自动匹配策略。首先,自动调整SIFT算法中的对比度控制系数,提高关键点提取的均衡性;然后,用SIFT描述向 量之间的欧氏距离最小值与次小值的比值作为阈值,进行粗匹配,并利用匹配对主方向角度差直方图剔除部分伪匹配; 最后,自动计算随机采样次数、误差容忍度等参数,使用改进的随机选取一致性(RANSAC)方法确定透视变换模型初始 参数,并用该模型和误差容忍度对匹配集合中的匹配对进行校验,选取出正确的匹配对。实验结果表明,在图像有一定 程度的视点、光照、旋转、比例、模糊和对比度变化等情形下.该算法稳定、可靠。该方法能有效解决图像匹配门限的选择 问题,真正实现了无人工干预的自动匹配。 关键词:图像处理;月球图像;SIFT特征;图像匹配 文献标识码:A doi:10.3788/OPE.2011l906.1391 中图分类号:TP391.41 Improved algorithm for SIFT feature extraction and matching ZENG Luan ’ .WANG Yuan—qin ~.TAN Jiu—bin (1.Institute of Ultra—precision Optical&Electronic Instrument Engineering, Harbin Institute of Technology,Harbin 150008,China; 2.Academy of Equipment Command and Technology,Beijing 101416,China) *CorrP 0 author,E-mail:zengluan@sina.corn Abstract:A robust automated image matching strategy based on an improved SIFT feature extraction algorithm was proposed according to the characteristics of SIFT algorithm and lunar images.Firstly, the extraction equilibrium of key points was improved by automatically adjusting the coefficient of con— trolling contrast in the SIFT algorithm.Then,the coarse matching was carried out by using the ratio of the minimum and the second minimum Euclidean distance between the description vectors of SIFT as a threshold and the part incorrect matching of the coarse matching set was removed by principal di— rection angle difference histogram of matches.Final ly,the initial parameters of perspective transfor— mation model were determined by using modified RANSAC method,automatically calculated random sampling numbers,and parameters of error tolerance.Moreover,the model and the error tolerance were used to calibrate the matching pairs in the matching set and to select the correct matching pairs. The experimental results prove that the proposed method iS stable and reliable under some variations 收稿日期:2010—12—29;修订日期:2011—01—25. 基金项目:总装备部试验技术研究项目(No.2009SY4110005) 光学精密工程 第1 9卷 for view points,illumination,rotation,scale and out of focus and it can select the matching threshold of images automatically without manual intervention. Key words:image processing;lunar image;Scale Invariant Feature Transform(SIFT)feature;image matching 引 言 2003年3月,我国正式启动了名为“嫦娥工 程”的月球探测计划。随着探月工程的进一步深 入,月球影像拼接在探月工程中愈发重要,需要不 断探索新的技术和方法来进一步提高拼接处理的 精度和稳定性。这些方法和技术主要指(1)特征 点自动提取技术,进一步提高算法的准确性和稳 定性;(2)同名像点自动识别技术,进一步提高识 别率,并提高自动删除误匹配同名像点的稳定性; (3)卫星轨道及姿态校准技术,进一步提高数据处 理精度;(4)图像自动拼接与镶嵌技术,做到在任 何情况下可进行无缝拼接,一次性生成月球全 图 。 由于月球上没有植被,只有月面高地、环形 山和低凹地带,月面高地和环形山的反照率(为 17 )比低凹地带(反照率为6 )要高得多,所以 其影像除纹理特征不明显外,同一轨道的影像其 亮度和对比度也有较明显的差别,加上相邻轨道 的影像受阳光投影方向的影响,影像左半部分比 右半部分的亮度和对比度明显要高一些,使得月 球图像不易提取到特征点,使用区域灰度匹配也 比较困难,因此拼接过程中需要对亮度进行归一 化处理,从而增加了相邻两轨影像的拼接难度。 因此,要稳定地提取特征点,准确地进行同名像点 的自动匹配,精确地实现图像自动拼接,需要对月 球图像特征提取、自动匹配和平滑拼接技术进行 深入研究。 本文针对月球影像的特点,在改进SIFT特 征提取算法的基础上,提出了一种稳健的图像自 动匹配方法。该方法能在图像匹配过程中根据图 像质量自动计算匹配阈值,从而提高算法的稳健 性和自动化水平。 2特征提取和匹配 图像配准是图像拼接的核心,它一般可分为 两大类 :一类是基于频率域的配准方法,如 Fourier变换和小波变换方法等;另一类是基于空 域的配准方法,它主要包括基于区域的配准算 法和基于特征的配准算法。随着一些良好特征提 取算子的出现,基于特征的配准算法应用更加广 泛,对于图像的变形,亮度变化具有较好的鲁棒 性,且计算量小、速度较快,是目前研究最多、应用 最广的匹配方法。但当前已有的基于特征的图像 配准方法存在一个共同的问题 ],即它们所采用 的特征点的不变性一般较差,通常不具备对仿射 或透视投影变换的不变性。SIFT方法所提取的 特征点不仅对图像缩放、平移和旋转变换具有不 变性,且对光照变化以及仿射和投影变换也具有 部分不变性,非常适合于遥感图像的配准 。但 SIFT方法对低对比度的图像提取的特征点很少, 匹配阶段通常使用关键点之间的欧式距离最小值 与次小值之比作为匹配阈值,该阈值需要人工根 据图像质量来确定,不能完全实现自动配准。 有不少人提出了双向匹配的策略n ,它虽可 以进一步提高SIFT特征匹配的准确性,但这种 方法仍需人工选择双向的两个匹配阈值,无法实 现阈值的自动选择。文献[7]提出基于置信度的 匹配算法,其实质仍是特征对的欧式距离最小值 与次小值之比作为匹配阈值。文献E8]加入了全 局信息来提高匹配准确率,但也需人工选择匹配 阈值。由Fishler和Bolles提出的随机选取一致 性(RANSA )算法 ,虽然能有效地估计匹配点 的内点和外点,剔除伪匹配,但误差容忍度、随机 抽取样本集的次数和一致集的大小等参数仍需人 工根据图像质量和特征点数量来确定。 针对月球影像和SIFT方法的特点,本文提 出一种稳健的匹配策略,具体如下: 第一步,自动调整SIFT算法中对比度阈值 控制系数,提高算法对低对比度图像的适应性。 由于归一化图像熵(用 表示)能够比较好地表示 图像的灰度分布特性,而SIFT算法中通常把 D()G金字塔分为”阶,每阶又分为 4-2个用于 检测极值的层,检测到的候选特征点的对比度与 s有关, 越大候选特征点的对比度越低。考虑到 第6期 曾 峦,等:改进的SIFT特征提取和匹配算法 SIFT算法中,当 一3时,对比度阈值控制系数一 般取值在0.01~0.03之间,故可用下式来计算对 比度阈值控制系数c 。 fe/lOs(2一P),ct>0.0l … 旋转和缩放变换。本文选择透视投影变换作为图 像变换模型,把它写成8参数方程组的形式,变换 关系为: 一 f! ± “一{1 .1 0 0. 1 ,4o, ct 0 0’. 01 (1’ 即图像对比度较大时,加大对比度阈值控制系数, _}I Ly 】十l . (2) 使提取到的特征点不会过多;相反。则减小对比度 l 。一 .川7 十2鲁2l 8 l 1-l 这是一个有8个参数的非线性方程,可以通 阈值控制系数,保持适当的特征点数目;由于图像 对比度太低时,使用了固定阈值,故当归一化图像 熵小于0.2时提取到的特征点就很少。 第二步,使用欧式距离最小值与次小值的比 率进行粗匹配,选取一个基本阈值来剔除非常有 疑义的匹配对。根据I.owe的实验n。],比率值取 0.8时,可以去除90 的误匹配,但正确匹配也会 丢失5 左右,此值增大时,误匹配数量急剧上 升;此值取0.7时,可以去除96 的误匹配,而正 确匹配则丢失8 左右,此值减少时,误匹配数量 降速减缓,正确匹配数量降速增加。因此,粗匹配 时,比率值可在0.6~0.8之间选择,本文选择比 率值为0.8对特征进行匹配,以尽可能多地保留 正确匹配对。 第三步,计算粗匹配集合中每对特征向量的 主方向角度差,统计其直方图。在理想情况下,如 果匹配对是正确的,其主方向差值应该基本相同, 考虑到各种变换关系带来的误差,在直方图最大 值处规定一个邻域作为匹配判据之一,匹配对的 主方向角度差值落入此范围,认为是可能的匹配 对,本文以主方向角度差直方图主峰值所在的包 络为邻域范围,用于剔除部分伪匹配,提高正确匹 配的概率。 第四步,使用改进的RANSAC方法,自动稳 健估计透视变换模型初始参数,具体过程见下一 节。 第五步,用初始透视变换模型对粗匹配集合 中所有的匹配对进行校验,如果特征点的变换坐 标与实际坐标之问的距离值小于某一阈值时(此 阈值自动计算,方法见下一节),认为是正确匹配 对,将该点保留;否则,将该点剔除,从而得到正确 匹配对集合。 3 变换参数稳健估计方法 3.1 图像变换参数的线性求解 图像拼接一般是采用对应匹配(homographic mapping)模型。即原始图像是由针孔相机拍摄 的投射图像,主要存在绕光学中心的透视、平移、 过直接线性变换来求解。构建误差函数如下式所 示: 一 JIn7 1 1_ V1 1Il 一 盥 二丝 l ,,l7j’十 1 1 1"l8 V1 -TI l (3) 记: 7 +/7"/8 Ly|+1一A,上式化为 I△ 一并 A_ ̄/7l。+ 1 。一 一 s~署 , f△ 一 m一+ Ⅲj+六 一 一 s一 Y2 (4) 误差方程用矩阵表示为: V—C△+L, (5) 其中: 一[△ △ ] 、 L一~_去I[ Y。] c一六[ Y。l。1 0 0 ;一- y2ex 1l-一 x。e y 1] △==L 1 2 3 4 5 6 m7 8J 对应的法方程为: C CA+ L一0, (6) 使用4对以上的匹配点坐标,通过最小二乘法求 解相应的正规方程组来解算出这8个参数。 △一一Ec c] L, (7) 由于这个方程组是非线性方程组,求解时,先令A —l,求出Ⅲ ~ 的初值;再用此初值,求出新的 A值,进行多次迭代,求出稳定的Ⅲ ~Ⅲ 值,一 般迭代3~5次即可得到变换参数的稳定值,本文 选择迭代5次。直接线性变换法求解过程相当稳 定,避免了一般非线性方程求解时初值选取不恰 当会引起迭代发散的问题。 为了减少随机选取的4对点位于同一平面的 可能性,而SIFT匹配对通常较多,故采用随机选 择8对匹配点来求解模型变换参数初值的做法。 初始模型参数计算出来后,用于对其他匹配对的 校验,得到在一定容忍度下符合该模型的所有匹 配对,然后再用这些匹配对求得最终的图像变换 光学精密工程 第19卷 模型参数。 3.2改进的RANSAC算法提纯数据 RANSAC算法的特点是充分利用了所有的 测量数据,并根据阈值把它们分成内点和外点,利 用内点数据比较准确的特点来进行参数估计而剔 除了不准确的数据,RANSAC算法需要事先确 定3个量l…:随机采样的次数、误差容忍度(即内 点与外点的距离阈值)和一致集的大小(即多大的 内点总数)。 3.2.1 随机采样的次数 在估计模型参数的最佳值时,理想情况是搜 索所有可能的组合,找到误差最小一组,但计算量 过大。实际中可以通过确定一个适当的采样次数 N,使得采样的 对匹配点都是内点的概率P足 够高(通常取95 )。设计算模型参数需要的匹 配点对为5,任何一对匹配点是内点的概率为P , 任何一对匹配点是外点的概率为£=1一P 。那 么采样到N次时有 (1一PI) 一1一P, (8) 需要采样的次数N为 N—log(1一P)/log(1一(1~£) ), (9) 本文取 一8,P=0.99,£=O.3,则N一78。 3.2.2误差容忍度的确定 通常的做法是假设特征点提取误差是符合均 值为0,标准差为 的高斯分布,而距离误差的平 方是符合自由度为 的 分布,那么阂值计算 方法为 t 一F2 (d) , (10) 式中a表示符合条件的匹配对是内点的先验概 率,一般取值0.95,通过 分布的查值表可得t 一2.45 ,即利用模型参数变换得到的特征点坐标 值与实际坐标的距离差值小于t时,为内点。 但实际图像很难完全满足假设条件,故本文 采用根据图像的实际情况来确定误差容忍度。随 机选取8个匹配对,计算这8个匹配对的变换坐 标与实际坐标的距离标准差,重复78次,取标准 差最小的那一组匹配对,用于计算变换模型初始 参数,其距离标准差记为 。按照上述准则,选择 2.45 作为基本的判断阈值。 由于最好的8个匹配对往往会集中在图像的 某一区域中,用这8个匹配对求解出来的变换模 型参数去计算图像其他区域的匹配对变换坐标 时,会有较大误差,校验时就需增加判断阈值的误 差门限,如果这8个匹配对能均匀分布在整个图 像区域,判断阂值就取3 ,如果集中在某个小的 区域,就适当扩大判断闽值,取为尼×3a,匹配对 越集中七值就应该越大。 计算8个匹配对分别在两幅图像中 方向 (或者 方向)的最大分布范围^,再与两幅图像 .y方向(或者 方向)的最大宽度 相比较,令走 一w 3.2.3 一致集大小的确定 通常的做法是假设特征点总数为 对,则内 点数为(1--s) 。通过78次运算,寻找内点数接 近(1--e) 的那次组合,来计算变换模型参数,并 通过多次地迭代直到内点的数目基本趋于一致。 这种方法每78次都要计算粗匹配集合中的所有 匹配对的距离误差值,以确定哪些是内点,当粗匹 配对较多时,耗时较长。 本文的做法是78次随机选取8个匹配对,取 距离误差最小的那组用于计算初始变换模型参 数,利用该模型对粗匹配集合中的所有匹配对进 行校验,若匹配对的变换坐标与实际坐标之间的 距离值小于3ka时,认为是正确匹配对,将该匹配 对保留;否则,将该匹配对剔除。此方法耗时较 少,且能根据图像的质量和特征点的情况自动计 算相应的阈值。 4 实验结果与分析 按上述匹配方法,用流行的测试图像 ,对 图1所示的4种典型的情况进行了测试,图1(a) 是旋转了75。和缩小了2倍的图像,图1(b)是亮 度和对比度有大幅度变化的图像,图1(c)是发生 了模糊变化的图像,图l(d)是相机视角发生了 4O。变化的图像,分辨率均为800 pixel×600 pix— el。重复进行了5次测试,图2是其中一次的匹 配结果,表l是测试数据。 图2(a)的正确匹配对数平均为790,匹配对 数最大变化值为3.0,平均匹配效率为8O.78 ; 图2(b)的正确匹配对数平均为315,匹配对数最 大变化值为2.0,平均匹配效率为72.67 ;图2 (c)的正确匹配对数平均为565,匹配对数最大变 第6期 曾 峦,等:改进的SIFT特征提取和匹配算法 1397 processing[J].Journal o,the Academy oy Equip— tional image matching algorithm[J].Mechanical D2ent Command& (knology,2010。21(1):1—5. (in Chinese) E23王成儒,赵娜,张丽丽.基于三角形几何相似性的图 像配准与拼接E3].光电工程,2007,34(8):87 92. WANG CH R,ZHA0 N,ZHANG I I .Image registration and stitching based on triangle geometry similarity[J].()pt‘rE£ec mic Engineering 2007, 34(8):87-92.(in Chinese) [3] 高超,张鑫,王云丽,等.一一种基于SIFT特征的航拍 图像序列自动拼接方法[J].计算机应用,2007,21 (11):2789—2792. ( A()CH,ZHANG X,WANG Y I , “Z..Auto— matic stitching approach of aerial image sequence based on SIF2、features[J].Computer Applica tions,2007,21(】1):2789 2792.(in Chinese) [4] 李晓明,郑链,胡占义.基于SIFT特征的遥感影像 自动配准[J].遥感学报,2006,10(6):885—892. LI X M,ZHENG I ,HU ZH Y.SIFT Based auto matic registration of remotely sensed imagery[J]. Journal of Remote Sensing,2006,10(6):885—892. (in Chinese) [5] 刘焕敏,王华,段慧芬.一-・种改进的SIFT双向匹配 算法[J].兵工自动化,2009,28(6):89 91. I IU H M,WANG H,DUAN H F.A bidirectional matching SIFT algorithm[J].Ordnance Industry Automation,2009,28(6):89~91.(in Chinese) [6]骞森,朱剑英.基于改进的SIFT特征的图像双向匹 配算法[J].机械科学与技术,2007,26(9):1179— 1l82. Q1AN S,ZHU J Y.Improved SIFT based bidirec 作者简介 曾 峦(1963~),男,广东梅县人,教 授,1 983年于中国人民解放军国防科 技大学获得学士学位,2007年于哈尔 滨 1二业大学获得硕士学位,主要从事图 像信号处理及光电测量仪器等方面的 研究。E mail:zengluan@sina.con] 王元钦(1963一),男,黑龙江牡丹江人, 教授,1 983年、2007年于哈尔滨工业大 学分别获得学士、硕士学位,主要从事 雷达信号处理及深空探测等方面的研 究。E—mail:wangyqin@l26.coln Science and Technology for Aeros'pace Engineer— ing,2007,26(9):1179—1182.(in Chinese) [7] 杨晓敏,吴炜,卿粼波,等.图像特征点提取及匹配 技术[J].光学精密工程,2009,17(9):2276 2282. YANG X M,WU W,Q1NG I B, a1..Image feature extraction and matching technologyFJ].Opt.Precision Eng.,2009,17(9):2276 2282.(in Chinese) [8] 纪华,吴元昊,孙宏海,等.结合全局信息的SIFT特 征匹配算法[J].光学精密工程,2009,l 7(2):439— 444. 儿H,WU Y H,SUN H H,ef n£..SIFT feature matching algorithm with global information[J]. Opt.Pre( ision Eng.,2009,】7(9):439—444.(in Cbinese) E9] FISHCHI ER M,BOI 1 ES R.Random sample con— sensus:a paradigm for model fitting with applica— tion to image analysis and automated cartography [J].Communication Association M (hine,198l, 24(6):381—395. [io3 I ()WE D G.Distinctive image features from scg.1e invariant keypoints[J].International Journal oy Computer Vision,2004,60(2):9l ll0. [11] 赵向阳,杜利民.一种全自动稳健的图像拼接融合 算法[J].中国图象图形学报,2004,9(4):417 422. ZHA()X Y,DU I M.An automatic and robust image mosaic algorithm[J].Journal oy’Image and Graphic,2004,9(4):417—422.(in Chinese) [I2] Download from http:?f .robots.ox.ae.uk/~ vgg/research/affine 导师简介 谭久彬(1955一),男,黑龙江哈尔滨人, 教授,博士生导师,1982年、1987年、 1991年于哈尔滨工业大学分别获得学 士、硕士、博士学位,现为哈尔滨工业大 学超精密光电仪器工程研究所所长,主 要从事超精密光电仪器工程、光电信息 检测与处理技术、纳米测量技术与仪器 工程等方面的研究。E mail:jbtan@ hjt.ed1】.en