(12)发明专利申请
(10)申请公布号 CN 109472805 A(43)申请公布日 2019.03.15
(21)申请号 201811172719.8(22)申请日 2018.10.09
(71)申请人 哈工大机器人（山东）智能装备研究
院
地址 250200 山东省济南市章丘区明水世
纪西路南首路西明水经济技术开发区办公楼6层(72)发明人 权五云 吕慧 褚博 彭川川
刘宝龙 潘丽桦 刘明敏 (74)专利代理机构 北京格允知识产权代理有限
公司 11609
代理人 周娇娇 李亚东(51)Int.Cl.
G06T 7/168(2017.01)G06T 5/50(2006.01)
权利要求书2页 说明书6页 附图7页
(54)发明名称
一种基于傅里叶变换的红外图像自适应分层方法及系统(57)摘要
本发明涉及一种基于傅里叶变换的红外图像自适应分层方法及系统，其中方法包括：对红外图像进行二维傅里叶变换后再中心化处理，得到中心化后的三维频谱；以不同分层半径对所述三维频谱的频率平面进行圆环分割，计算每个分层半径时圆环内像素点的平均功率，得到分层半径-平均功率曲线；检测分层半径-平均功率曲线上的临界点，根据所述临界点确定自适应分层半径；根据所述自适应分层半径选择滤波器对所述红外图像进行分层处理。本发明基于频域傅里叶变换，自主确定最优分层半径，实现自适应分层，以替代人工调节，实现了分层技术智能化，能自主适应众多不同场景环境下的红外图像处理。
CN 109472805 ACN 109472805 A
权 利 要 求 书
1/2页
1.一种基于傅里叶变换的红外图像自适应分层方法，其特征在于，所述方法包括：S1、对红外图像进行二维傅里叶变换后再中心化处理，得到中心化后的三维频谱；S2、以不同分层半径对所述三维频谱的频率平面进行圆环分割，计算每个分层半径时圆环内像素点的平均功率，得到分层半径-平均功率曲线；
S3、检测分层半径-平均功率曲线上的临界点，根据所述临界点确定自适应分层半径；S4、根据所述自适应分层半径选择滤波器对所述红外图像进行分层处理。2.根据权利要求1所述的基于傅里叶变换的红外图像自适应分层方法，其特征在于，所述以不同分层半径对所述三维频谱的频率平面进行圆环分割，包括：
以中心点为圆心，依次以k1＝1,k2＝2,…,kn＝n为分层半径k，对频率平面进行圆环分割，其中n为正整数且最大值为
M为红外图像的行数，N为红外图像的列数。
3.根据权利要求1所述的基于傅里叶变换的红外图像自适应分层方法，其特征在于，所述计算每个分层半径时圆环内像素点的平均功率，包括：
根据每个像素点到中心点的距离d，若d＜k，k为当前的分层半径，则该像素点在此圆环内，记下该像素点，并对像素点进行累加；
累加圆环内像素点的功率幅值再除以圆环内像素点总数，得到环平均功率
4.根据权利要求1-3中任一项所述的基于傅里叶变换的红外图像自适应分层方法，其特征在于，所述步骤S3中首先对分层半径-平均功率曲线进行水平翻转处理，再利用3σ原则检测分层半径-平均功率曲线上的临界点。
5.根据权利要求4所述的基于傅里叶变换的红外图像自适应分层方法，其特征在于，所述利用3σ原则检测分层半径-平均功率曲线上的临界点，包括：
S31、输入水平翻转后分层半径-平均功率曲线上的当前离散点方差σ；其中为当前离散点
S32、计算下一离散点；
S33、判断是否有连续3个离散点S31输入下一离散点；
S34：将当前离散点
对应的分层半径k作为分层半径-平均功率曲线的临界点输出。
6.根据权利要求4或5所述的基于傅里叶变换的红外图像自适应分层方法，其特征在于，所述根据所述临界点确定自适应分层半径，包括：
计算自适应分层半径ka为
其中M为红外图像的行数，N为红外图像的列数。
7.根据权利要求1-3中任一项所述的基于傅里叶变换的红外图像自适应分层方法，其
特征在于，所述步骤S4中基于自适应分层半径ka选择高斯高通滤波器进行滤波，得到红外图像的高频图像和低频图像，将低频图像进行限制对比度直方图均衡化处理，最后将高频
2
并计算的均值μ与
之前所有离散点集合；
转步骤S33；否则，返回步骤S31输入
若d＞3σ，保存当前离散点
均满足d＞3σ，则转步骤S34；否则返回步骤
CN 109472805 A
权 利 要 求 书
2/2页
图像和低频图像进行融合。
8.一种基于傅里叶变换的红外图像自适应分层系统，其特征在于，所述系统包括：傅里叶变换单元，用于对红外图像进行二维傅里叶变换后再中心化处理，得到中心化后的三维频谱；
功率曲线计算单元，用于以不同分层半径对所述三维频谱的频率平面进行圆环分割，计算每个分层半径时圆环内像素点的平均功率，得到分层半径-平均功率曲线；
临界点检测单元，用于检测分层半径-平均功率曲线上的临界点，根据所述临界点确定自适应分层半径；
图像分层单元，用于根据所述自适应分层半径选择滤波器对所述红外图像进行分层处理。
9.根据权利要求8所述的基于傅里叶变换的红外图像自适应分层系统，其特征在于，所述功率曲线计算单元以中心点为圆心，依次以k1＝1,k2＝2,…,kn＝n为分层半径k，对频率平面进行圆环分割，其中n为正整数且最大值为
M为红外图像的行数，N为红外
图像的列数。
10.根据权利要求8所述的基于傅里叶变换的红外图像自适应分层系统，其特征在于，所述功率曲线计算单元用于执行：
根据每个像素点到中心点的距离d，若d＜k，k为当前的分层半径，则该像素点在此圆环内，记下该像素点，并对像素点进行累加；
累加圆环内像素点的功率幅值再除以圆环内像素点总数，得到环平均功率
3
CN 109472805 A
说 明 书
1/6页
一种基于傅里叶变换的红外图像自适应分层方法及系统
技术领域
[0001]本发明涉及图像处理技术领域，尤其涉及一种基于傅里叶变换的红外图像自适应分层方法及系统。
背景技术
[0002]随着非制冷红外焦平面阵列日臻成熟，红外热成像技术已经超越早期军事应用，广泛进入包括安防监控、健康医疗、智慧家居、农业物联网、工业及建筑行业热安全检测等国民经济各个领域。特别是不久将来的汽车辅助/自动驾驶系统和手机应用，是红外成像技术巨大的潜在市场。
[0003]红外热成像的核心是把目标温度信息转换为人眼可视图像的算法。各种视觉优化算法中必不可少的是如何将红外背景和细节相互分离，以便对背景和细节分别进行不同的优化处理后再融合，达到保留和增强红外图像细节的结果。[0004]红外图像分层原理主要有基于空间域双边滤波、对数域小波变换和频域傅里叶变换等三类方法。研究人员在三类分层算法中进行了大量有效的研究工作，但是如何基于某一具体红外图像本身的特征自主确定最优分层半径，并没有找到较好的方法。目前分离方法多是人工干预调节分层半径，难以适应智能化图像处理场合。发明内容
[0005]本发明的目的在于解决现有技术中的至少一部分技术问题，提供了一种基于傅里叶变换的红外图像自适应分层方法及系统。[0006]为了解决上述技术问题，本发明提供了一种基于傅里叶变换的红外图像自适应分层方法，所述方法包括：[0007]S1、对红外图像进行二维傅里叶变换后再中心化处理，得到中心化后的三维频谱；[0008]S2、以不同分层半径对所述三维频谱的频率平面进行圆环分割，计算每个分层半径时圆环内像素点的平均功率，得到分层半径-平均功率曲线；[0009]S3、检测分层半径-平均功率曲线上的临界点，根据所述临界点确定自适应分层半径；
[0010]S4、根据所述自适应分层半径选择滤波器对所述红外图像进行分层处理。[0011]在根据本发明所述的基于傅里叶变换的红外图像自适应分层方法中，可选地，所述以不同分层半径对所述三维频谱的频率平面进行圆环分割，包括：[0012]以中心点为圆心，依次以k1＝1,k2＝2,…,kn＝n为分层半径k，对频率平面进行圆环分割，其中n为正整数且最大值为数。
[0013]
M为红外图像的行数，N为红外图像的列
在根据本发明所述的基于傅里叶变换的红外图像自适应分层方法中，可选地，所述计算每个分层半径时圆环内像素点的平均功率，包括：
4
CN 109472805 A[0014]
说 明 书
2/6页
根据每个像素点到中心点的距离d，若d＜k，k为当前的分层半径，则该像素点在此
圆环内，记下该像素点，并对像素点进行累加；
[0015][0016]
累加圆环内像素点的功率幅值再除以圆环内像素点总数，得到环平均功率
在根据本发明所述的基于傅里叶变换的红外图像自适应分层方法中，可选地，所述步骤S3中首先对分层半径-平均功率曲线进行水平翻转处理，再利用3σ原则检测分层半径-平均功率曲线上的临界点。
[0017]在根据本发明所述的基于傅里叶变换的红外图像自适应分层方法中，可选地，所述利用3σ原则检测分层半径-平均功率曲线上的临界点，包括：
[0018]
S31、输入水平翻转后分层半径-平均功率曲线上的当前离散点
之前所有离散点集合；
并计算的均
值μ与方差σ；其中为当前离散点
[0019]
S32、计算若d＞3σ，保存当前离散点转步骤S33；否则，返回步骤S31
输入下一离散点；
[0020]
S33、判断是否有连续3个离散点S34：将当前离散点
均满足d＞3σ，则转步骤S34；否则返回
步骤S31输入下一离散点；
[0021]
对应的分层半径k作为分层半径-平均功率曲线的临界点输
出。
[0022]
在根据本发明所述的基于傅里叶变换的红外图像自适应分层方法中，可选地，所述根据所述临界点确定自适应分层半径，包括：[0023]计算自适应分层半径ka为
[0024][0025]
其中M为红外图像的行数，N为红外图像的列数。
在根据本发明所述的基于傅里叶变换的红外图像自适应分层方法中，可选地，所
述步骤S4中基于自适应分层半径ka选择高斯高通滤波器进行滤波，得到红外图像的高频图像和低频图像，将低频图像进行限制对比度直方图均衡化处理，最后将高频图像和低频图像进行融合。
[0026]本发明还提供了一种基于傅里叶变换的红外图像自适应分层系统，所述系统包括：
[0027]傅里叶变换单元，用于对红外图像进行二维傅里叶变换后再中心化处理，得到中心化后的三维频谱；
[0028]功率曲线计算单元，用于以不同分层半径对所述三维频谱的频率平面进行圆环分割，计算每个分层半径时圆环内像素点的平均功率，得到分层半径-平均功率曲线；[0029]临界点检测单元，用于检测分层半径-平均功率曲线上的临界点，根据所述临界点确定自适应分层半径；[0030]图像分层单元，用于根据所述自适应分层半径选择滤波器对所述红外图像进行分层处理。
[0031]在根据本发明所述的基于傅里叶变换的红外图像自适应分层系统中，可选地，所述功率曲线计算单元以中心点为圆心，依次以k1＝1,k2＝2,…,kn＝n为分层半径k，对频率
5
CN 109472805 A
说 明 书
3/6页
平面进行圆环分割，其中n为正整数且最大值为M为红外图像的行数，N为红外
图像的列数。
[0032]在根据本发明所述的基于傅里叶变换的红外图像自适应分层系统中，可选地，所述功率曲线计算单元用于执行：
[0033]根据每个像素点到中心点的距离d，若d＜k，k为当前的分层半径，则该像素点在此圆环内，记下该像素点，并对像素点进行累加；
[0034][0035]
累加圆环内像素点的功率幅值再除以圆环内像素点总数，得到环平均功率
实施本发明的基于傅里叶变换的红外图像自适应分层方法和系统，具有以下有益效果：本发明基于频域傅里叶变换，自主确定最优分层半径，实现自适应分层，以替代人工调节，实现了分层技术智能化，能自主适应众多不同场景环境下的红外图像处理。附图说明
[0036]图1为根据本发明优选实施例基于傅里叶变换的红外图像自适应分层方法流程图；
[0037]图2为一红外图像进行二维傅里叶变换后的三维频谱图；[0038]图3为图2进行中心化后的三维频谱图；
[0039]图4为频域上不同分层半径进行圆环切割示意图；
[0040]图5为根据本发明实施例的分层半径-平均功率曲线的示意图；[0041]图6为部分分层半径-平均功率曲线的示意图；
[0042]图7为水平翻转处理后的分层半径-平均功率曲线的示意图；[0043]图8利用3σ原则检测分层半径-平均功率曲线上的临界点的流程图；
[0044]图9为根据本发明优选实施例的基于傅里叶变换的红外图像自适应分层系统的模块框图；
[0045]图10a至图10e分别为根据本发明的基于傅里叶变换的红外图像自适应分层方法处理前后的红外图像。
具体实施方式
[0046]下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。[0047]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备
6
CN 109472805 A
说 明 书
4/6页
所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0048]请参阅图1，为根据本发明优选实施例基于傅里叶变换的红外图像自适应分层方法流程图。如图1所示，该实施例提供的方法包括：[0049]步骤S1：对红外图像进行二维傅里叶变换后再中心化处理，得到中心化后的三维频谱。该步骤为傅里叶变换步骤。对红外图像进行二维傅里叶变换的过程可以采用本领域基础技术人员熟知并能应用的方式实现，在此不再赘述。[0050]请参阅图2，为一红外图像进行二维傅里叶变换后的三维频谱图，图3为图2进行中心化后的三维频谱图。其中较低频率对应背景，较高频率对应细节，u、v分别是横向和纵向空间频率(波数)分量。[0051]步骤S2：以不同分层半径对所述三维频谱的频率平面进行圆环分割，计算每个分层半径时圆环内像素点的平均功率，得到分层半径-平均功率曲线。该步骤为功率曲线计算步骤。
[0052]请参阅图4，该步骤S2中可以不同分层半径k1,k2…,kn对三维频谱的频率平面进行圆环分割。优选地，该步骤以中心点为圆心，依次以
为分层半径k，对频率
平面进行圆环分割，其中M为红外图像的行数，N为红外图像的列数。也就是说，k1＝1,k2＝2,…,kn＝n，n为正整数且最大值为
虽然本实施例中给出了不同分层半径的具
体取值，但是本发明不仅限于此，而可以采用其它本领域基础技术人员认为适宜的步长。[0053]在确定了分层半径k的取值之后，对每个分层半径k计算其圆环内像素点的平均功率，具体步骤包括：[0054](1)计算分层半径k的圆环内像素点的个数：根据每个像素点到中心点的距离d，若d＜k，k为当前的分层半径，则该像素点在此圆环内，记下该像素点，并对像素点进行累加。[0055](2)计算环平均功率：累加圆环内像素点的功率幅值再除以圆环内像素点总数，得到平均功率，又可称为环平均功率
[0056]
通过对不同分层半径k1,k2…,kn计算上述环平均功率，可以得到分层半径-平均功率曲线。请参阅图5，为根据本发明实施例的分层半径-平均功率曲线的示意图。其中横坐标代表频率大小，纵坐标为环平均功率。由于该分层半径k实际为频率。因此，该分层半径-平均功率又可称为环平均功率-频率曲线，即
曲线。
步骤S3：检测分层半径-平均功率曲线上的临界点，根据所述临界点确定自适应分层半径。该步骤为临界点检测步骤，为本发明方法的核心步骤。[0058]从图5可以看出，随着频率的增大，圆环内的平均功率先下降后趋于稳定，最后上升。本发明主要是将背景层和细节层分开，因此只需考虑将图像分为两层，分层半径值一般不超过总频率的1/2。在本发明的一种优选实施方式中，为了减少计算量，频率最大值的后1/5可以忽略不计，即去除频率最大值的后1/5区段。以图5为例，曲线频率在160-200内的能量可以忽略不计，见图6。[0059]观察图6，随着频率的增大，平均功率衰减逐渐趋于稳定，因此，该曲线可以分为两
7
[0057]
CN 109472805 A
说 明 书
5/6页
部分，变化稳定区域和变化剧烈区域，两部分的分界点即为临界点。为了检测杂度，准确地检测到临界点，首先对删去频率最大值的后1/5的如图7所示。虽然上述实施例中对删去频率最大值的后1/5的
曲线上的
临界点，本发明可以使用3σ原则检测分层半径-平均功率曲线上的临界点。为了减少时间复
曲线进行水平翻转处曲线进行水平翻转处理，
理，使曲线前面部分为较稳定部分，后面部分为变化较为剧烈部分。水平翻转处理后的曲线但是在本发明的另一些实施例中，也可以不删除频率最大值的后1/5区段，而直接进行水平翻转。
[0060]请参阅图8，利用3σ原则检测分层半径-平均功率曲线上的临界点的步骤包括：[0061]步骤S30：流程开始；
[0062]
步骤S31：输入水平翻转后分层半径-平均功率曲线上的当前离散点
之前所有离散点集合。
并计算
的均值μ与方差σ；其中为当前离散点
[0063]
假设水平翻转后分层半径-平均功率曲线上的离散点为算法遍历到点和之
前所有离散点集合记为该数据集均值和方差分别为：
[0064]
[0065][0066]
其中，m为分层半径-平均功率曲线上的离散点的个数。步骤S32：计算
若d＞3σ，保存当前离散点
转步骤S33；否则，返回步
骤S31输入下一离散点；
[0067][0068]
步骤S33：判断是否有连续3个离散点步骤S34：将离散点步骤S35：流程结束。在采用3σ原则得到临界点
均满足d＞3σ，则转步骤S34；否则
返回步骤S31输入下一离散点。
对应的分层半径k值作为分层半径-平均功率曲线的临界点
输出。
[0069][0070][0071]
之后，可以通过以下公式计算自适应分层半径ka：
其中M为红外图像的行数，N为红外图像的列数。上述公式针
对删除频率最大值的后1/5区段再进行水平翻转的实施例，因为在截掉总频率最后1/5后，总长度变为原来的4/5，其半径也就是
由于做了水平翻转操作，因此需要用
该值减去k值即可得到自适应分层半径ka。[0072]步骤S4：根据所述自适应分层半径选择滤波器对所述红外图像进行分层处理。该步骤为图像分层步骤。
[0073]该步骤S4中基于自适应分层半径ka选择适当的滤波器进行分层。例如选择高斯高通滤波器进行滤波，得到红外图像的高频图像和低频图像，将低频图像进行限制对比度直方图均衡化(CLAHE)处理，最后将高频图像和低频图像进行融合。
8
CN 109472805 A[0074]
说 明 书
6/6页
本发明提供的基于傅里叶变换的红外图像自适应分层方法克服了传统在频域上
手动分层的缺陷，实现了频域上的自适应分层。在使用滤波器时可以直接使用本发明定义的自适应分层半径ka，无需手动寻找最优的分层半径。同时，不同环境下的图像使用动态自适应分层半径ka，可以提高图像的分层效果，避免固定半径下手动调节的不准确性，节省了动态调整时间。
[0075]基于同样的发明构思，本发明还提供了一种基于傅里叶变换的红外图像自适应分层系统。请参阅图9，为根据本发明优选实施例的基于傅里叶变换的红外图像自适应分层系统的模块框图。如图9所示，该实施例提供的基于傅里叶变换的红外图像自适应分层系统至少包括：傅里叶变换单元100、功率曲线计算单元200、临界点检测单元300和图像分层单元400。
[0076]傅里叶变换单元100用于对红外图像进行二维傅里叶变换后再中心化处理，得到中心化后的三维频谱。该傅里叶变换单元100与前述方法中傅里叶变换步骤S1的实现过程与原理相同，在此不再赘述。
[0077]功率曲线计算单元200用于以不同分层半径对所述三维频谱的频率平面进行圆环分割，计算每个分层半径时圆环内像素点的平均功率，得到分层半径-平均功率曲线。该功率曲线计算单元200与前述方法中功率曲线计算步骤S2的实现过程与原理相同，在此不再赘述。
[0078]临界点检测单元300用于检测分层半径-平均功率曲线上的临界点，根据所述临界点确定自适应分层半径。该临界点检测单元300与前述方法中临界点检测步骤S3的实现过程与原理相同，在此不再赘述。
[0079]图像分层单元400用于根据所述自适应分层半径选择滤波器对所述红外图像进行分层处理。该图像分层单元400与前述方法中图像分层步骤S4的实现过程与原理相同，在此不再赘述。
[0080]请参阅图10a至图10e，分别为根据本发明的基于傅里叶变换的红外图像自适应分层方法处理前后的红外图像。其中图10a为原始的红外图像。图10b为使用自适应分层半径分层后获得的低频图像即背景层图像。图10c为使用自适应分层半径分层后获得的高频图像即细节层图像。图10d为对图10b的低频图像进行限制对比度直方图均衡化后得到的图像。图10e为图10c和图10d叠加后的最终图像。从图中可以看到使用本专利发明的自适应分层半径方法进行分层后再处理，和原始图像图10a相比，红外图像的细节得到了增强。[0081]综上所述，本发明提出了一种基于傅里叶变换的红外图像自适应分层技术。目的在于免除人工调节分层的环节，并能够自主适应众多不同场景红外图像处理。基于本文提出的自适应分层技术，结合高斯滤波器，获得了良好的红外图像视觉优化效果，实现了红外图像的智能化处理。
[0082]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
9
CN 109472805 A
说 明 书 附 图
1/7页
图1
图2
10
CN 109472805 A
说 明 书 附 图
2/7页
图3
图4
11
CN 109472805 A
说 明 书 附 图
3/7页
图5
图6
12
CN 109472805 A
说 明 书 附 图
4/7页
图7
13
CN 109472805 A
说 明 书 附 图
5/7页
图8
图9
14
CN 109472805 A
说 明 书 附 图
6/7页
图10a
图10b
图10c
图10d
15
CN 109472805 A
说 明 书 附 图
7/7页
图10e
16
因篇幅问题不能全部显示，请点此查看更多更全内容