数据融合原理与方法

数据融合(data fusion)原理与方法2007年01月21日 星期日 18:41数据融合（data fusion）原理与方法

数据融合（data fusion）最早被应用于军事领域。

现在数据融合的主要应用领域有：多源影像复合、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等等。在遥感中，数据融合属于一种属性融合，它是将同一地区的多源遥感影像数据加以智能化合成，产生比单一信息源更精确、更完全、更可靠的估计和判断......

一. 数据融合基本涵义

数据融合（data fusion）最早被应用于军事领域。

现在数据融合的主要应用领域有：多源影像复合、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等等。在遥感中，数据融合属于一种属性融合，它是将同一地区的多源遥感影像数据加以智能化合成，产生比单一信息源更精确、更完全、更可靠的估计和判断。相对于单源遥感影象数据，多源遥感影象数据所提供的信息具有以下特点：

1.冗余性：表示多源遥感影像数据对环境或目标的表示、描述或解译结果相同；

2.互补性：指信息来自不同的自由度且相互独立

3.合作性：不同传感器在观测和处理信息时对其它信息有依赖关系；

4.信息分层的结构特性：数据融合所处理的多源遥感信息可以在不同的信息层次上出现，这些信息抽象层次包括像素层、特征层和决策层，分层结构和并行处理机制还可保证系统的实时性。

实质： 在统一地理坐标系中将对同一目标检测的多幅遥感图像数据采用一定的算法，生成一幅新的、更能有效表示该目标的图像信息。

目的：将单一传感器的多波段信息或不同类别传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，加以互补，改善遥感信息提取的及时性和可靠性，提高数据的使用效率。

二、数据融合原理及过程

一般来说，遥感影像的数据融合分为预处理和数据融合两步

1.预处理：

主要包括遥感影像的几何纠正、大气订正、辐射校正及空间配准

（1）几何纠正、大气订正及辐射校正的目的主要在于去处透视收缩、叠掩、阴影等地形因素以及卫星扰动、天气变化、大气散射等随机因素对成像结果一致性的影响；

（2）影像空间配准的目的在于消除由不同传感器得到的影像在拍摄角度、时相及分辨率等方面的差异。

影像的空间配准时遥感影像数据融合的前提空间配准一般可分为以下步骤 :

(1）特征选择：在欲配准的两幅影像上，选择如边界、线状物交叉点、区域轮廓线等明显的特征。

（2）特征匹配：采用一定配准算法，找处两幅影像上对应的明显地物点，作为控制点。

（3）空间变化：根据控制点，建立影像间的映射关系。

（4）插值：根据映射关系，对非参考影像进行重采样，获得同参考影像配准的影像。

空间配准的精度一般要求在1~2个像元内。空间配准中最关键、最困难的一步就是通过特征匹配寻找对应的明显地物点作为控制点。

2.数据融合

根据融合目的和融合层次智能地选择合适的融合算法，将空间配准的遥感影像数据（或提取的图像特征或模式识别的属性说明）进行有机合成，得到目标的更准确表示或估计 。

对于各种算法所获得的融合遥感信息，有时还需要做进一步的处理，如\"匹配处理\"和\"类型变换\"等，以便得到目标的更准确表示或估计。

三、数据融合分类及方法

1 数据融合方法分类

遥感影像的数据融合方法分为三类：基于像元（pixel）级的融合、基于特征(feature)级的融合、基于决策(decision)级的融合。融合的水平依次从低到高。

1.1 像元级融合

像元级融合是一种低水平的融合。

像元级融合的流程为：经过预处理的遥感影像数据——数据融合——特征提取——融合属性说明。

优点：保留了尽可能多的信息，具有最高精度。

局限性：

1. 效率低下。由于处理的传感器数据量大，所以处理时间较长，实时性差。

2. 分析数据限制。为了便于像元比较，对传感器信息的配准精度要求很高，而且要求影像来源于一组同质传感器或同单位的。

3.分析能力差。不能实现对影像的有效理解和分析

4.纠错要求。由于底层传感器信息存在的不确定性、不完全性或不稳定性，所以对融合过程中的纠错能力有较高要求。

5.抗干扰性差。

像元级融合所包含的具体融合方法有：代数法、IHS变换、小波变换、主成分变换（PCT）、K-T变换等

1.2 特征级融合

特征级融合是一种中等水平的融合。在这一级别中，先是将各遥感影像数据进行特征提取，提取的特征信息应是原始信息的充分表示量或充分统计量，然后按特征信息对多源数据进行分类、聚集和综合，产生特征矢量，而后采用一些基于特征级融合方法融合这些特征矢量，作出基于融合特征矢量的属性说明。

特征级融合的流程为：经过预处理的遥感影像数据——特征提取——特征级融合——（融合）属性说明。

1.3 决策级融合

决策级融合是最高水平的融合。融合的结果为指挥、控制、决策提供了依据。在这一级别中，首先对每一数据进行属性说明，然后对其结果加以融合，得到目标或环境的融合属性说明。

决策级融合的优点时具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强。而由于对预处理及特征提取有较高要求，所以决策级融合的代价较高。

决策级融合的流程：经过预处理的遥感影像数据——特征提取——属性说明——属性融合——融合属性说明。

2 数据融合方法介绍

2.1 代数法

代数法包括加权融合、单变量图像差值法、图像比值法等。

（1）加权融合法

（2）单变量图象差值法

（3）图象比值法

2.2 图像回归法（Image Regression）

图像回归法是首先假定影像的像元值是另一影像的一个线性函数，通过最小二乘法来进行回归，然后再用回归方程计算出的预测值来减去影像的原始像元值，从而获得二影像的回归残差图像。经过回归处理后的遥感数据在一定程度上类似于进行了相对辐射校正，因而能减弱多时相影像中由于大气条件和太阳高度角的不同所带来的影响。

2.3 主成分变换（PCT）

也称为W-L变换，数学上称为主成分分析（PCA）。PCT是应用于遥感诸多领域的一种方法，包括高光谱数据压缩、信息提取与融合及变化监测等。PCT的本质是通过去除冗余，将其余信息转入少数几幅影像（即主成分）的方法，对大量影像进行概括和消除相关性。PCT使用相关系数阵或协方差阵来消除原始影像数据的相关性，以达到去除冗余的目的。对于融合后的新图像来说各波段的信息所作出的贡献能最大限度地表现出来。

PCT的优点是能够分离信息，减少相关，从而突出不同的地物目标。另外，它对辐射差异具有自动校正的功能，因此无须再做相对辐射校正处理。

2.4 K-T变换

即Kauth-Thomas变换，简称K-T变换，又形象地成为\"缨帽变换\"[14]。它是线性变换的一种，它能使座标空间发生旋转，但旋转后的坐标轴不是指向主成分的方向，而是指向另外的方向，这些方向与地面景物有密切的关系，特别是与植物生长过程和土壤有关。以此，这种变换着眼于农作物生长过程而区别于其他植被覆盖，力争抓住地面景物在多光谱空间的特征。通过这种变换，既可以实现信息压缩，又可以帮助解译分析农业特征，因此

有很大的实际应用意义。

目前对这个变换在多源遥感数据融合方面的研究应用主要集中在MSS与TM两种遥感数据的应用分析方面。

2.5 小波变换

小波变换是一种新兴的数学分析方法，已经受到了广泛的重视。小波变换是一种全局变换，在时间域和频率域同时具有良好的定位能力，对高频分量采用逐渐精细的时域和空域步长，可以聚焦到被处理图像的任何细节，从而被誉为\"数学显微镜\"。

小波变换常用于雷达影像SAR与TM影像的融合。它具有在提高影像空间分辨率的同时又保持色调和饱和度不变的优越性。

2.6 IHS变换

3个波段合成的RGB颜色空间是一个对物体颜色属性描述系统，而IHS色度空间提取出物体的亮度I，色度H，饱和度S，它们分别对应3个波段的平均辐射强度、3个波段的

数据向量和的方向及3个波段等量数据的大小。RGB颜色空间和IHS色度空间有着精确的转换关系。

以TM和SAR为例，变换思路是把TM图像的3个波段合成的RGB假彩色图像变换到IHS色度空间，然后用SAR图像代替其中的I值，再变换到RGB颜色空间，形成新的影像。

2.7 贝叶斯（Bayes）估计

2.8 D-S推理法(Dempster-Shafter)

2.9 人工神经网络（ANN）

2.10 专家系统

遥感数据融合存在问题及发展趋势

遥感影像数据融合还是一门很不成熟的技术，有待于进一步解决的关键问题有：

（1）空间配准模型

（2）建立统一的数学融合模型

（3）提高数据预处理过程的精度

（4）提高精确度与可信度

随着计算机技术、通讯技术的发展，新的理论和方法的不断出现，遥感影像数据融合技术将日趋成熟，从理论研究转入到实际更广泛的应用，最终必将向智能化、实时化方向发展，并同GIS结合，实现实时动态融合用于更新和监测。

图像融合效果的评价方法2007年01月21日 星期日 18:44 当前融合效果的评价问题一直未得到很好的解决，原因是：同一融合算法，对不同类型的图像，其融合效果不同；同一融合算法，对同一图像，观察者感兴趣的部分不同，则认为效果不同；不同的应用方面，对图像各项参数的要求不同，导致选取的评价方法不同。

因而，需要寻找一种比较客观评价融合图像效果的方法，使计算机能够自动选取适合当前图像的、效果最佳的算法。从而为不同场合下选择不同较优算法提供依据。

1客观评价

1.1基于信息量的评价

1.1.1 熵[3]

图像的熵是衡量图像信息丰富程度的一个重要指标。如果融合图像的熵越大，说明融合图像的信息量增加。

1.1.2交叉熵

交叉熵直接反映了两幅图像对应像素的差异，是对两幅图像所含信息的相对衡量。

1.1.3相关熵（互信息）

相关熵（互信息）是信息论中的一个重要基本概念，它可作为两个变量之间相关性的量度，或一个变量包含另一个变量的信息量的量度，因此，融合图像与原始图像的相关熵（互信息）越大越好。

1.1.4偏差熵

偏差熵反映了两幅图像像素偏差的程度，同时也反映了两幅图像信息量的偏差度，分别有：单一偏差熵、总体平方平均偏差熵、总体算术平均偏差熵、总体几何平均偏差熵、总体调和平均偏差熵。

1.1.5联合熵

联合熵也是信息论中的一个重要基本概念，它可作为三幅图像之间相关性的量度，同时也反映了三幅图像之间的联合信息，因此，融合图像与原始图像的联合熵越大越好。

1.2基于统计特性的评价

1.2.1均值

1.2.2标准差

标准差反映了灰度相对于灰度均值的离散情况，标准差越大，则灰度级分布越分散，有标准差、对数标准差。

1.2.3偏差度

偏差度用来反映融合图像与原始图像在光谱信息上的匹配程度，如果偏差指数较小，则说明融合后的图像R在提高空间分辨率的同时，较好地保留了F的光谱信息，有：绝对偏差度、相对偏差度。

1.2.4均方差

1.2.5平均等效视数

平均等效视数[8]可以用来衡量噪声的抑制效果、边缘的清晰度和图像的保持性。

1.2.6 协方差

1.3基于信噪比的评价

图像融合后去噪效果的评价原则为：（1）信息量是否提高；（2）噪声是否得到抑制；（3）均匀区域噪声的抑制是否得到加强；（4）边缘信息是否得到保留；（5）图像均值是否提高。因此可以从下面几个方面评价。

1.3.1信噪比

1.3.2峰值信噪比

1.4基于梯度值的评价

1.4.1清晰度（平均梯度）

清晰度[11]反映图像质量的改进，同时还反映出图像中微小细节反差和纹理变换特征。

1.4.2 空间频率

空间频率反映了一幅图像空间域的总体活跃程度。

1.7基于小波能量的评价[14~15]

对图像进行小波分解后，对小波系数处理，然后重构得到融合图像，这种方法融合图像的效果评价可以采用小波系数平均能量的办法。

2 评价指标的选取

评价指标的选取一般根据融合的目的选取，图像融合的目的主要有以下几个方面。

2.1 去噪

一般而言，从传感器得到的图像都是有噪图像，而后续的图像处理一般要求噪声在一定范围内，因此，可以采用融合的方法来降低噪声，提高信噪比。对于这种方法一般采用基于信噪比的评价。

2.2 提高分辨率

提高分辨率也是图像融合的一个重要目的，有时从卫星得到的红外图像的分辨率不高，这就要求用其它传感器得到图像（如光学图像，合成孔径图像）与红外图像进行融合来提高分辨率。对于这种方法的融合效果评价可采用基于统计特性及光谱信息的评价方法。

2.3 提高信息量

在传输图像，图像特征提取等方面需要提高信图像的信息量。图像融合是提高信息量的一个重要手段。对于融合图像的信息量是否提高，我们可采用基于信息量的评价方法。

2.4 提高清晰度

在图像处理中，往往需要在保持原有信息不丢失的情况下，提高图像的质量、增强图像的细节信息和纹理特征、保持边缘细节及能量，这对于一般的图像增强很难办到，因此需要采用图像融合的办法，这时，对融合效果的评价可采用基于梯度的方法及模糊积分的办法和小波能量的评价方法.

2.5特殊要求

在有些方面融合的目的既不是提高信息量，也不是提高分辨率和降低噪声。这就需要根据特殊的要求来加以衡量。

2.6定性描述

定性描述就是主观评价法，也就是目测法。这种方法主观性比较强，但对一些明显的图像信息进行评价直观、快捷、方便；对一些暂无较好客观评价指标的现象可以进行定性的说明。其主要用于判断融合图像是否配准，如果配准不好，那么图像就会出现重影，反过来通过图像融合也可以检查配准精度；判断色彩是否一致；判断融合图像整体亮度、色彩反差是否合适，是否有蒙雾或马赛克现象；判断融合图像的清晰度是否降低，图像边缘是否清楚；判断融合图像纹理及色彩信息是否丰富，光谱与空间信息是否丢失等。

几何校正

就是将图像数据投影到平面上，使其符合地图投影系统的过程，而将地图坐标系统赋予图像数据的过程，称为地理参考。由于所有地图投影系统都遵从于一定的地图坐标系统，所以几何校正过程包含了地理参考过程。

多项式纠正模型：最少控制点计算公式（t+1)(t+2)/2 －－－其中t为次数

经验，一景60KmX60Km的SPOT5数据，一般地势平缓的地区20个左右控制点即可达到满意的结果，在高山区25个左右控制点就可使正射校正精度满足要求。重采样方法采用双线性内插法。

正射校正

更多关注的是地形的影响吧

对于SAR，通常是倾斜观测的，地形畸形很大；对于TM这样的，卫星视角近于天顶观测，地形的影响很小

正射校正的目的是通过消除影像的几何变形，使多时相ASAR影像能互相匹配以进行多元信息分析，从而提高数据的应用效益。通过采集地面控制点，采用基于三维（3D）网格的重采样办法来进行校正。

SPOT物理模型可读取卫星在获取遥感数据的瞬间状态参数，这些参数存贮在数据的头文件中[3]。卫星状态参数包括：卫星成像瞬间的经纬度、高度、倾角等。卫星状态参数能够帮助提高几何校正的精度。

辐射校正

用户购买的SPOT5的各级数据，数据提供商已经根据卫星的记录参数对遥感数据做了辐射校正，即消除了传感器自身引起的、大气辐射引起的辐射噪声。若果影像存在薄雾或地形高差较大引起的辐射误差情况，用户应进一步进行辐射校正处理。

薄雾的简单消除原理是基于近红外波段不受大气辐射影响，清澈的水体或死阴影区的数值应为零。从各波段数据中减去近红外波段的水体或阴影的不为零值。

地形起伏引起的辐射误差校正公式:f(x,y)=g(x,y)/cosa，g(x,y)为坡度为a的倾斜面上的地物影像；f(x,y)为校正后的影像。由于坡度因子参与校正所以需要DEM支持。