一种结合互信息和模板匹配的配准方法

林善明;朱小艳;周建华;张学武

【摘 要】传统的互信息法直接对大图进行互信息配准,容易出现局部极值并产生误匹配现象,针对该问题,提出一种将互信息与模板匹配相结合的配准方法,采用互信息为相似度准则进行图像的模板匹配,得到候选的匹配子图,通过待配准大图其余部分与模板和子图的空间关系,得到配准后的大图,分别计算按照各个候选子图配准情况下的待配准图的互信息,得到最大的互信息所对应的子图,确定最终的配准结果.实验结果表明,该方法在对灰度差较大的图像进行配准时,能够获得良好的效果. 【期刊名称】《计算机工程》 【年(卷),期】2010(036)014 【总页数】3页(P198-200)

【关键词】图像配准;互信息;模板匹配 【作 者】林善明;朱小艳;周建华;张学武

【作者单位】河海大学计算机与信息学院,常州,213022;河海大学计算机与信息学院,常州,213022;河海大学计算机与信息学院,常州,213022;河海大学计算机与信息学院,常州,213022 【正文语种】中 文 【中图分类】N945 1 概述

在多源图像配准中，需要将来自于不同传感器的2幅或多幅图像进行对准。有些方法是基于特征的，有些是基于灰度的。互信息法能对多模态图像进行精确的匹配，具有良好的鲁棒性。但是互信息法容易陷入局部极值，导致误匹配。目前已经有多种方法用来改善互信息法的缺点，这些方法可被分为3类：第1类是在计算互信息时不使用传统的shannon熵，而代之以别的熵，如Renyi熵。第2类是使用归一化互信息法，这种方法对图像间重叠区域的变化具有较强的鲁棒性。第3类是将空间信息融入到互信息配准中，如将图像特征的互信息运用到配准中。一般来说空间信息的融入会提高算法的鲁棒性。模板匹配的方法以其计算方法简单，模板选取方便，易于实现等优点而倍受关注。常用的模板匹配法有归一化互相关法、差的平方和相关法和差的绝对值和相关法。模板匹配一般都能找到匹配点，但是计算量大。目前已有多种加速的模板匹配算法。文献[1]提出一种由粗到细的匹配方法，文献[2]提出了分层搜索算法并引入塔形数据结构。其他有一些加速算法首先提取模板与待拼接图像的一些特征，如边缘或角点，再对其进行相似度计算，以去掉不必要的计算量。文献[3]中将特征点和小波变换引入模板匹配，简化了计算，提高了算法的抗噪能力。

上述所有互信息算法都是对整幅图像的灰度信息进行统计，因此，计算量大、配准速度慢。本文结合互信息法和模板匹配，有效弥补了传统的互信息法和模板匹配的不足，且对多源图像匹配效果良好。 2 新的配准方法

图1是本文配准方法的总体框架。首先对右边的图像进行模板提取，提取的模板需要包含尽可能多的特征，以保证配准的可靠性。以互信息为相似度原则进行互信息匹配，得到与模板互信息最大的N个匹配子图，将N个子图与模板进行互相关计算，得到互相关系数最大对应的那个子图，根据2幅图其余部分与模板和子图的空间关系，得到最终的配准后的大图。

图1 配准流程

2.1 基于互信息的模板匹配 2.1.1 互信息的计算

多源图像由于灰度差异，曝光强度不同等等因素的影响，其配准拼接存在很大的困难。

多源图像的灰度分布具有一定的相似性，互信息由于能够测度2张图片的灰度统计信息，一经提出便在这个领域得到广泛的应用。

一个事件的信息测量通常都定义为与那个事件发生概率相关的一个值，发生概率为pn的事件En的自信息可定义为

假设有一系列的事件 E={E1,E2,… ,En,… ,EN}，其发生概率分别为 P={ p1,p2,… ,pn,… ,pN}，这些事件的平均信息可以由香农熵[4]来表示：

在图像处理中，每一个像素可以被当成一个事件，整个图像可以被作为整个事件；因此，一幅图像的香农熵反映了这幅图像灰度分布的复杂度。但是在通常情况下，不能得到一系列的事E的发生概率P={p1,p2,…,pn,…,pN}，但是可以估计其发生概率，记为 Q={q1,q2,…,qn,…,qN}，Q与P的接近程度即相关熵可以用Kullback-Leibler距离[5]来测度：

互信息是用来测量一系列事件包含另一系列事件信息的多少。给定2组事件E={E1,E2,…,En,… ,EN}和F={F1,F2,…,Fm,… ,FM}，它们的发生概率分别为P={p1,p2,…,pn,…,pN }和Q={q1,q2,… ,qm,… ,qM}，互信息被定义为联合分布和边缘分布之间的相关熵：

当事件E与F独立无关时，p( En,Fm)=pn qm，2组事件的互信息为0。 图像配准情况下，待配准图像的联合概率密度 p( En,Fm)通过待配准图像的联合直方图函数 h( En,Fm)归一化求得：

其中，M和N分别代表待配准图像的灰度级数，在灰度图配准中，M=N=256。联合直方图 h( En,Fm)通过计算2幅图像经过变换T(在刚性配准条件下，变换只包括平移和旋转；非刚性配准情况下，变换包括缩放等复杂变换)重叠后重叠部分对应点x的灰度对(E( x),F( T( x))的出现次数来计算的。

当2幅图像的配准程度达到最大时，它们的重叠部分的相关程度达到最大，此时它们的互信息也达到最大。 2.1.2 模版匹配

模板匹配中传统的相似度测度准则，不但计算量大，而且都有一个共同的缺点，就是对2幅图像的灰度变化很敏感，对于相机参数，曝光强度等很多因素都有差别的图像来讲，其应用更是受到了很大的局限。本文将互信息测度原则，代替传统的相似度测度原则，并结合图像的边缘信息进行模板匹配。首先通过图像中一个结构矩阵Jp在每个像素上的特征值分析来进行边缘提取[6]：

其中，特征向量w1和w2分别代表了灰度变化方向的最大值和最小值，特征向量u1和u2分别代表了向量w1和w2的规模。边缘上的像素具有各向异性的特性，2个特征值差别较大。因此，以下面的限制条件将边缘点从噪声和别的像素点区分开来：

其中(u1-u2)和(u1-u2)/(u1+u2)分别代表了边缘强度和边缘可信度。阈值Th的取为一个3× 3窗的平均值，窗计算公式为

其中，M和N分别代表了图像窗的宽度和高度。和mx, y的值分别如下：

模板的提取可以在重叠范围内采用如式(11)的灰度差的绝对值和的方法，灰度差的绝对值和愈大代表信息含量愈多。或者减小计算量采用半人工干预的办法，在重叠范围内选取特征信息较多的区域作为模板。

其中，x∈(0,X-M+1),y∈(0,Y-M+1)；S(x,y)为灰度差的绝对值和；T(i,j)为右图中与左图重叠区域各点的灰度值；M为要提取的模板的大小。

经过遍历，得到左图对应位置点的子图与模板的互信息，互信息越大，代表它们的匹配度越大。

但是当模板选取不当或者左图相对于模板不是全局统计时，即左图中与模板相似的部分比较多，模板在图中不具有唯一性，容易产生误匹配，很可能得到多个与模板互信息最大值很接近的子图。此时，不能保证模板匹配后的可靠性，需要进一步确定最终的配准子图。可以选定与模板互信息值最大的N个子图，N的确定依据具体待匹配图的灰度统计特性的情况而定。 2.2 最终匹配子图的确定

此时已确定了N个候选子图，只需要根据各个子图所对应的坐标位置将和模板的坐标位置将 2张大图进行空间变换，得到配准后的大图。此时，进一步对各个配准后的大图进行互信息计算，将此时互信息最大的情况确定为最终的配准结果。 3 实验结果

对一幅 480×400灰度图进行顺时针旋转 5°变换，并对其进行直方图均衡化处理，首先以互信息为相似度测量准则，将其进行模板匹配，模板需要进行旋转变换，得到匹配位置子图和模板的互信息，选出5个候选子图。

将候选子图所对应的配准情况进行互信息计算，得到最终匹配结果。为减少计算量，本文采取人工选取模板(下同)。模板从源图中提取，大小为50×50，模板选取的起始位置是(350,280) (下同)，效果如图2所示。 图2 实验效果1

对2幅480×400的有重叠图像进行配准，源图像2进行过直方图均衡化，初步匹配后选出5个候选子图，进一步计算互信息量，得到最终的配准结果。效果如图3所示。 图3 实验效果2

由实验结果可以看出，本文方法克服了传统的互信息法出现多个局部极值造成误匹配的缺点，得到的结果准确、可靠，配准效果较传统的模板匹配效果更好。 表1是用模板匹配、互信息配准、归一化互信息配准及本文提出的方法的匹配率对比结果，其中，前3组角度旋转实验的第2幅待配准源图像是将第1幅待配准源图像进行直方图均衡化处理得到，再分别旋转1°、3°和5°。第4组实验只有平移变换。模板匹配模板的选取采用人工选取。

表1 匹配率比较 (%)算法 旋转1° 旋转3° 旋转5° 平移变换NCC 93.5 92.4 90.3 99.0 SSD 30.0 27.0 23.4 83.5 SAD 32.0 27.8 15.0 80.0 MI 95.7 93.3 90.0 93.0 NMI 97.7 96.1 92.0 95.5本文的算法 100.0 99.0 92.2 100.0 4 结束语

本文既利用模板匹配简单的特点，又利用互信息可匹配多源图像对灰度差异不敏感的特点，对差异较大图像的匹配相较于传统的互信息法直接将2张大图进行配准，计算量减小很多。本文只做了刚性配准的实验，在非刚性配准的条件下，模板要随图像进行缩放、矫正等较复杂的变换，这是今后研究的方向。 参考文献

[1]VanderBrug G J.Two-stage Template Matching[J].IEEE Trans.on

Computers,1977,26(4): 384-393.

[2]Tanimoto S L.Template Matching in Pyramids[J].Computer Graphics and Image Processing,1981,16(4): 356-369.

[3]蒋加伏,谭 蓉,杨鼎强.基于轮廓特征和小波变换的图像拼接[J].计算机工程,2009,35(3): 225-226.

[4]Shannon C E.A Mathematical Theory of Communication[J].ACM SIGMOBILE Mobile Computing and Communications Review,2001,5(1): 3-55.

[5]Cover T M.Elements of Information Theory[M].New York,USA:[s.n.],1991. [6]Harris C.A Combined Corner and Edge Detector[C]//Proc.of the 4th Alvey Vision Conference.Manchester,UK: [s.n.],1988.