Reference format: Song Yuanqiang, Zhou Liangjiang. Multi-bands SAR Image Fusion Algorithm Based on Dual-features and NSCT[J]. Journal of Signal Processing, 2020, 36(1): 93-101. DOI: 10.16798/j.issn.1003- 0530.2020.01.012.
合成孔径雷达(Synthetic Aperture Radar, SAR)是一种主动式相干微波遥感系统,能全天时全天候地工作。不同波段的SAR,其传输特性、目标回波的后向散射特性等都是不同的,工作在不同波段的雷达系统对同一地区成像的结果是有区别的,这就导致不同波段的SAR图像存在着不同的局限性和优势。对不同波段的SAR图像融合,能够综合不同波段的信息[1],这有利于后续的SAR图像解译以及目标识别。多波段SAR图像融合在军用方面可实现隐蔽目标以及地下目标的探测,伪装网遮蔽军事目标探测[2]就是其中一个典型应用;在民用方面主要有森林储量统计(如德国宇航中心利用X和VHF波段SAR成功实现对森林储量的统计[1])、油气识别[3],提高地物分类精度[4]等。
文献[5]提出基于Contourlet变换[6]来进行多波段SAR图像融合,通过定义一个边缘信息量测指标来计算高频子带系数。该方法虽然解决了融合图像边缘信息丢失的问题,但是对图像进行多尺度分解时Contourlet变换中存在对信号下采样和上采样过程,不具有平移不变性[7],在进行图像处理时可能造成伪Gibbs效应[8],这会影响融合图像的质量。文献[9]提出区域能量和标准差乘积作为量测指标进行多波段多极化SAR图像融合,但是此方法依然是基于Contourlet变换,仍然存在上述不足。文献[3]使用小波变换对S波段和X波段SAR图像进行融合进行海洋中的油气识别,取得了不错的效果。但是小波变换只能在水平、竖直和对角线三个方向对信号逼近,对图像分解得不够精细,不能很好地表示SAR图像的边缘和纹理等细节信息。
以上文献中的多波段SAR图像融合算法主要有两点不足:一是对源图像进行多尺度分解时存在对图像的上下采样,不具有平移不变性;二是制定融合规则时仅仅考虑单个像素或单一特征量,这并不能很好地表示图像的细节特征,会造成融合图像细节信息部分损失。针对第一个不足,本文引入非下采样Contourlet变换(Nonsubsampled Contourlet Transform,NSCT)[10]对源图像进行多尺度分解,它在实现对信号的多尺度分解时没有对信号进行采样,这就使得该变换具有了平移不变性,从而解决了Contourlet变换可能产生伪Gibbs现象的问题[8],能够更好地表示图像的细节结构;针对第二个不足,提出一种基于区域能量和区域梯度两个特征量,采用平均与选择相结合的方法来制定融合规则,通过实验验证了该方法在多波段SAR图像融合中能更好地处理边缘和纹理等细节信息。
非下采样Contourlet变换[10-11]是用对滤波器组进行上采样来代替Contourlet变换中对信号的下采样操作来实现对信号分解的。正是由于没有对信号进行下采样,NSCT才具有平移不变性,从而解决了使用小波变换以及Contourlet变换对图像处理时造成的伪Gibbs效应[8]。
NSCT分两大部分实现:第一部分用非下采样金字塔滤波器组(NSPFB)对图像进行多尺度分解。下一级分解滤波器都是对上一级分解滤波器以采样矩阵
进行上采样得到的。如此反复迭代即可实现多尺度分解,其中k尺度下,低通滤波器的理想频域支撑空间是:[-(π/2k),(π/2k)]2,相对应的高通滤波器理想频域支撑空间是:[-(π/2k-1),(π/2k-1)]2\[-(π/2k),(π/2k)]2。第二部分用非下采样方向滤波器组(NSDFB)对每一级高频子带进行滤波以获得各个尺度不同方向上的图像细节信息。NSDFB的理论基础是扇形方向滤波器组,改进之处是NSDFB去除了方向滤波器组的上下采样操作,取而代之的是对方向滤波器组相应的滤波器以梅花矩阵
进行上采样。NSCT变换示意图如图1所示。
图1 NSCT变换示意图
Fig.1 NSCT transformation schematic diagram
NSCT变换在实现的过程中没有对信号进行下采样处理,和Contourlet变换和小波变换相比,它能更好地对图像进行多尺度多方向分解。基于此,采用NSCT变换来实现多波段SAR图像融合。具体的流程框图如图2所示。
图2 多波段SAR图像融合流程图
Fig.2 Flow chart of multi-bands SAR image fusion
NSCT用于多波段SAR图像融合(以两幅不同波段图像为例,多幅图像以此类推即可)的具体步骤如下:
1)对已精确配准的源图像A和B分别进行非下采样Contourlet变换以得到分解后的低频子带系数和各方向的高频子带系数:
和
其中C0表示低频子带系数,Dk,l表示高频子带系数,K表示NSCT分解层数,lk表示第k层的方向分解数。
2)针对要融合的图像,设计不同的融合规则分别对源图像A和B经过NSCT分解后的低频子带系数
和高频子带系数
进行计算得到融合系数
3)对融合系数
进行NSCT反变换重构得到融合图像F。
在图像融合的过程中,融合规则的重要性不亚于分解方法,相同的分解方法采用不同的融合规则得到的融合图像质量是不同的。由于低频信息是图像的整体的近似表示,高频信息代表图像细节信息。因此在融合过程中,需要区分高、低频图像信息[12]。为弥补传统方法的不足之处同时考虑到SAR图像边缘和纹理等细节信息较多的特点,本文提出了一种基于区域能量和区域梯度两个特征量,采用平均与选择相结合的规则进行高频子带系数的融合,低频子带部分直接进行加权平均。
图像经NSCT分解后得到的低频子带是对原图的近似表示,反映的是图像的整体的概貌信息。由于低频子带相当于对源图像进行低通滤波,所以细节分量大大减少,基于此同时为减少计算复杂度,对低频子带系数进行简单的加权平均。源图像A和B在经过NSCT分解后分别得到低频子带系数
和
本文使用简单的加权平均的方法来获取融合图像F的低频子带系数,具体融合规则数学表达式如(1):
(1)
SAR图像经NSCT分解后得到的高频子带系数包含着丰富的各个尺度不同方向上的边缘和纹理等细节信息。一幅图像经NSCT分解后,绝对值较大的高频子带系数对应着图像中对比度变化较大的边缘等细节特征。因此在高频子带融合时,传统的融合规则主要是基于单个像素的特征,由单个像素的大小决定系数的选择,例如取两幅图像NSCT分解后绝对值较大的高频子带系数作为融合图像的相对应的高频子带系数。不过,这种方法的缺陷是没有考虑到图像像素间的区域性,即每个像素都是和其局部领域像素是相关的。所以更合理的做法应该是通过计算以输入的某一像素为中心的某一邻域内的特征来计算得到融合图像相对应的高频子带系数。但是图像某一邻域单一特征量并不能全面地反映图像的区域特性,得到的融合图像会损失部分细节信息,基于此,本文提出的高频子带系数融合规则是基于区域能量和区域梯度两个特征量,采用平均与选择相结合的方法对两幅原始SAR图像经NSCT分解后的不同方向的高频分量进行计算得到融合图像的高频系数。
以像素点(i, j)为中心的区域平均能量的定义为:
(2)
式中,i-N≤m≤i+N, j-N≤n≤j+N,w为窗口边长为2N+1个像素的正方形区域。Dk,l(m,n)为图像经NSCT分解后在尺度k上l方向上的系数。
以像素点(i, j)为中心的区域平均梯度的定义为:
(3)
式中,w为窗口边长为2N+1个像素的正方形区域。Dk,l(i, j)为图像经NSCT分解后在尺度k上l方向上的系数。
基于区域能量和区域梯度两个特征量,采用平均与选择相结合的融合规则表述如下:
首先定义匹配矩阵R:
(4)
式中,i-N≤m≤i+N, j-N≤n≤j+N,w为窗口边长为2N+1个像素的正方形区域。本文窗口取3×3的区域,即N=1。
匹配矩阵里各点的值在0～1之间变化,该值越大,说明两幅图像对应区域越相似。当匹配矩阵在某一点的值小于阈值α时(关于阈值α的选择将在下一节进行讨论),说明在两幅图像该点处差异比较明显,为了保留更多的细节信息,此时选择区域梯度大的点的系数作为融合图像的系数;当匹配矩阵的值大于等于α时,说明两幅图像该点邻域内区域比较相似,采用基于区域能量和区域梯度相结合作为区域特征,再利用此特征进行加权平均得到融合图像的系数。具体如下:
当匹配矩阵在点(i, j)的值Rk,l(i, j)<α时,高频子带对应点的系数选择规则为:
(5)
反之,当匹配矩阵在点(i, j)的值Rk,l(i, j)≥α时,高频子带对应点的系数选择规则为:
(6)
式中
和
为归一化因子:
式(5)和式(6)分别代表了选择和平均的思想,根据匹配矩阵对应点的值与阈值的大小相比较来获取融合图像高频子带对应点的系数。
本文使用的实验图像是微波成像技术国家级重点实验室提供的某地的C波段和X波段SAR数据。图3的(a)和(b)分别为C波段和X波段SAR图像。从图中可以看到,C波段SAR和X波段SAR图像差异还是挺明显的,C波段SAR图像较黯淡,但是穿透性比X波段稍强,X波段SAR图像主要反映了场景的外观整体信息。实验平台为MATLAB R2014a。该部分实验阈值α是从0.1到0.9之间变化的,分别在不同阈值下得到融合结果,然后利用信息熵[13]、空间频率[14]、边缘信息评价因子QAB/F[15]和SSIM[16]对融合结果进行评价。其中,信息熵的大小从某种程度上反映了图像的清晰度,信息熵越大,可以从侧面表明融合图像能提供的信息越多,融合效果越好[17];空间频率越大,图像清晰度越好,融合质量越好[16];QAB/F的值越大,表明融合图像获取的边缘信息越丰富,质量越好[16]。SSIM的值越大,表明融合图像的结构与源图像的结构越相似[18]。该部分实验结果如表1和图4所示。
表1 阈值α对融合结果影响
Tab.1 The effect of threshold on fusion results
阈值α信息熵空间频率QAB/FSSIM0.15.817623.56840.52690.82230.25.802822.65910.53550.82880.35.789722.03000.54420.83530.45.775821.28610.55260.84150.55.761520.70910.56050.84750.65.745620.11580.56720.85250.75.727819.72440.57210.85260.85.711219.49400.57470.85810.95.698719.36280.57610.8589
从表1和图4可以看到,随着阈值α增大,信息熵和空间频率是减小的,而QAB/F和SSIM是增大的,这正是该文提出的融合规则的特点。当α较小时,融合规则趋向于平均的思想,这时偏向于综合不同波段的SAR图像的信息,从而使信息熵和空间频率增加;当α较大时,融合规则趋向于选择的思想,这时主要考虑的是区域梯度较大的细节信息,所以融合图像的边缘信息保持较好,此时QAB/F和SSIM的值会增加。为了综合考虑融合结果的信息量和边缘信息的保持效果,本文阈值α取为0.5。
为验证本文提出的方法在多波段SAR图像融合中的优越性,做了大量的对比实验(该文以两个波段为例,多个波段类推即可),两组实验图像分别是上文提到的C波段和X波段SAR图像以及美国喷气推进实验室提供的L波段和C波段SAR图像。方法1是文献[3]中提出的用小波变换分解图像,低频子带系数加权平均,高频子带系数绝对值取大;方法2是文献[13]中提出的用小波变换分解图像,低频子带系数加权平均,高频子带系数基于区域能量取大;方法3是文献[2]中提出的Contourlet变换分解图像,低频子带系数加权平均,高频子带系数基于Laplacian模板提取的图像边缘信息;为了有针对性地分析NSCT分解方法和该文提出的融合规则在多波段SAR图像融合中的有效性和优越性,设计了方法4和方法5。方法4是用NSCT分解图像,低频子带系数加权平均,高频子带系数绝对值取大;方法5和方法4的分解方法和低频子带融合规则相同,不同的是方法5中高频子带系数基于区域能量取大;方法6是本文提出的基于双特征量和NSCT的融合方法,为方便表述,该方法记为DF-NSCT。各方法融合结果的局部图如图5和图6所示。从图5和图6中可以看到,各方法都在一定程度上将不同波段SAR图像的不同信息融合进一幅图像。
图3 源图像
Fig.3 Source images
图4 阈值α对融合结果的影响
Fig.4 The Effect of Threshold on Fusion Results
图5 融合结果Ⅰ局部图
Fig.5 The local graph of fusion results Ⅰ
图6 融合结果Ⅱ局部图
Fig.6 The local graph of fusion results Ⅱ
为了客观评价融合图像的质量,本文采用信息熵、空间频率、边缘融合质量指标QE[16]、边缘信息评价因子QAB/F和SSIM对融合图像进行定量评价。各方法得到的融合图像客观评价结果如表2和表3所示。
从表2和表3可以看出DF-NSCT方法得到的融合图像的信息熵、空间频率、QE和QAB/F的值都要优于其他的对比方法。具体而言,方法1和方法4,方法2和方法5的融合规则是相同的,而分解方法分别是小波分解和NSCT分解,实验结果表明使用NSCT分解得到的融合图像质量更好;DF-NSCT和方法4和方法5都是使用NSCT分解,融合规则不同,实验结果体现了本文融合规则的优势。但是本文算法得到的融合图像的SSIM效果不太理想,作者认为原因是本文方法在处理细节信息时,为了综合信息量和边缘信息,做了部分加权处理,这导致了融合图像和原图的结构相似性效果不太理想。综上,本文提出的DF-NSCT在分解方法和融合规则上都优于对比算法。
表2 融合图像Ⅰ客观评价结果
Tab.2 Objective evaluation results of fused images Ⅰ
对比算法信息熵空间频率QEQAB/FSSIM方法15.741020.07290.69430.52410.8571方法25.704619.71390.70580.54840.8539方法35.735519.36950.68290.49700.8363方法45.753819.44810.71990.54440.8572方法55.743319.23160.72780.55080.8558DF-NSCT5.761520.70910.73300.56050.8475
表3 融合图像Ⅱ客观评价结果
Tab.3 Objective evaluation results of fused images Ⅱ
对比算法信息熵空间频率QEQAB/FSSIM方法17.657638.80990.57960.48180.7932方法27.661036.74120.56260.47610.7852方法37.661536.56320.55320.43450.7596方法47.687336.64460.59110.49500.8034方法57.660535.31570.59180.49800.8010DF-NSCT7.720039.07970.59720.50640.7704
注:加粗数值表示最优结果
不同波段的SAR图像存在着不同的局限性,对不同波段的SAR图像融合,不仅可以利用不同波段SAR图像间的互补性来弥补单一波段SAR图像的局限性,而且还可以综合不同波段SAR图像的优势。针对多波段SAR图像融合中存在的一些问题,本文引入NSCT方法来进行多尺度分解,解决了传统分解方法不具有平移不变性的问题;在高频子带系数融合时,提出基于区域能量和区域梯度两个特征量,根据阈值采用平均和选择相结合的方法来计算高频子带系数。实验结果表明,DF-NSCT方法得到的融合图像和传统方法相比包含了更多的信息而且能更好地表示边缘和纹理等细节信息。
[1] 常玉林. 多波段SAR图像配准及融合算法研究[D]. [博士论文], 长沙: 国防科学技术大学, 2004.
Chang Yulin. Research on Multi-band SAR image registration and fusion algorithms[D]. [Ph. D. dissertation], Changsha: National University of Defense Technology, 2004.(in Chinese)
[2] 陈华杰, 张渝, 曾亮, 等. 伪装网遮蔽目标多波段多极化SAR图像融合检测[J]. 光电工程, 2011, 38(7): 106-118.
Chen Huajie, Zhang Yu, Zeng Liang, et al. Target covered by camouflage netting detection based on multi-band and polarization SAR image fusion[J]. Opto-Electronic Engineering, 2011, 38(7): 106-118.(in Chinese)
[3] Guida R, Ng S W, Lervolino P. S-and X-band SAR data fusion[J]. 2015 IEEE 5th Asia-Pacific Conference on Synthetic Aperture Radar(APSAR), Singapore, 2015: 578-581.
[4] 岳晋, 杨汝良, 宦若虹. 贝叶斯理论在多波段SAR图像分类融合中的应用[J]. 中国科学院研究生院学报, 2008, 25(2): 257-263.
Yue Jin, Yang Ruliang, Huan Ruohong. Application of Bayesian theory in multi-band SAR images fusion for classification[J]. Journal of the Graduate School of the Chinese Academy of Sciences, 2008, 25(2): 257-263.(in Chinese)
[5] 郑永安, 宋建社, 周文明, 等. 基于Contourlet变换的多波段SAR图像融合[J]. 计算机工程, 2007, 33(18): 34-36,58.
Zheng Yongan, Song Jianshe, Zhou Wenming, et al. Fusion algorithm for multi-band SAR images based on Contourlet transform[J]. Computer Engineering, 2007, 33(18): 34-36,58.(in Chinese)
[6] Do M N, Vetterli M. The Contourlet transform: an efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing, 2006, 14(12): 2091-2106.
[7] Nguyen T T, Oraintara S. The shiftable complex directional pyramid: theoretical aspects[J]. IEEE Transactions on Signal Processing, 2008, 56(10): 4651- 4659.
[8] 冯鹏, 魏彪, 潘英俊, 等. 一种循环平移的Contourlet变换去噪新方法[J]. 计算机仿真, 2006, 23(9): 116-118,187.
Feng Peng, Wei Biao, Pan Yingjun, et al. A novel denoising method in Contourlet domain with cycle spinning[J]. Computer Simulation, 2006, 23(9): 116-118,187.(in Chinese)
[9] 孟庆文, 周焰, 徐颖, 等. 基于Contourlet尺度相关的SAR图像融合[J]. 空军预警学院学报, 2011, 25(6): 423- 426.
Meng Qingwen, Zhou Yan, Xu Ying, et al. Fusion of SAR images based on Contourlet scale correlation[J]. Journal of Air Force Radar Academy, 2011, 25(6): 423- 426.(in Chinese)
[10] Cunha A L, Zhou J P, Do M N. The nonsubsampled Contourlet transform: theory, design and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101.
[11] 杨粤涛. 基于非采样Contourlet变换的图像融合[D]. [博士论文], 中国科学院研究生院(长春光学精密机械与物理研究所), 2012.
Yang Yuetao. Image fusion based on unsampled Contourlet transform[D]. [Ph. D. dissertation], Graduate School of Chinese Academy of Sciences(Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences), 2012.(in Chinese)
[12] 刘卷舒, 蒋伟. 改进的基于非下采样的Contourlet变换的图像融合算法[J]. 计算机应用, 2018, 38(S1): 194-197.
Liu Juanshu, Jiang Wei. Improved image fusion algorithm based on nonsubsampled Contourlet transform[J]. Journal of Computer Applications, 2018, 38(S1): 194-197.(in Chinese)
[13] 朱祥玲, 吴钦章, 陈洪. 基于小波变换的双波段红外图像融合方法[J]. 激光与红外, 2014, 44(5): 572-576.
Zhu Xiangling, Wu Qinzhang, Chen Hong. Fusion algorithm of dual waveband infrared images based on wavelet transformation[J]. Laser & Infrared, 2014, 44(5): 572-576.(in Chinese)
[14] 易维, 曾湧, 原征. 基于NSCT变换的高分三号SAR与光学图像融合[J]. 光学学报, 2018, 38(11): 76- 85.
Yi Wei, Zeng Yong, Yuan Zheng. Fusion of GF-3 SAR and optical images based on Nonsubsampled Contourlet Transform[J]. Acta Optical Sinica, 2018, 38(11): 76- 85.(in Chinese)
[15] 楼建强, 李俊峰, 戴文战. 非下采样剪切波变换的医学图像融合[J]. 中国图象图形学报, 2017, 22(11): 1574-1583.
Lou Jianqiang, Li Junfeng, Dai Wenzhan. Medical image fusion using non-subsampled shearlet transform[J]. Journal of Image and Graphics, 2017, 22(11): 1574-1583.(in Chinese)
[16] 杨艳春, 李娇, 王阳萍. 图像融合质量评价方法研究综述[J]. 计算机科学与探索, 2018, 12(7): 1021-1035.
Yang Yanchun, Li Jiao, Wang Yangping. Review of image fusion quality evaluation methods[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(7): 1021-1035.(in Chinese)
[17] 李玉峰, 尹婷婷. 采用NSCT与FCM相结合的SAR和多光谱图像融合算法[J]. 信号处理, 2017, 33(11): 1523-1529.
Li Yufeng, Yin Tingting. The SAR and multispectral image fusion algorithm combined with NSCT and FCM[J]. Journal of Signal Processing, 2017, 33(11): 1523-1529.(in Chinese)
[18] 刘帅奇, 郑伟, 赵杰, 等. 数字图像融合算法分析与应用[M]. 北京: 机械工业出版社, 2018: 7-11.
Liu Shuaiqi, Zheng Wei, Zhao Jie, et al. Analysis and Application of Digital Image Fusion Algorithms[M]. Beijing: China Machine Press, 2018: 7-11.(in Chinese)
宋元强 男, 1996年生, 安徽人。中国科学院电子学研究所硕士研究生, 研究方向为多波段SAR图像配准、融合。
E-mail: ucassyq@163.com
周良将 男, 1981年生, 湖南人。博士, 中国科学院电子学研究所研究员, 微波成像技术国家级重点实验室副主任, 主要研究方向为合成孔径雷达系统设计、高精度干涉SAR系统误差补偿技术、多维度合成孔径雷达系统及相关信号处理技术。
E-mail: ljzhou@mail.ie.ac.cn