自适应字典学习的卷积稀疏表示遥感图像融合

(1. 江西财经大学信息管理学院, 江西南昌 330032; 2. 江西财经大学软件与物联网工程学院, 江西南昌 330032)

摘要：基于细节注入方案的遥感图像融合主要包括两个步骤:空间细节提取与注入。为保证被提取细节的质量与确定合适的调制系数,本文提出一种基于自适应字典学习的卷积稀疏表示遥感图像融合方法。该方法先利用引导滤波和非抽取小波变换来分别获取全色图像和多光谱图像的空间细节;然后自适应地学习提取空间细节的字典,并将其引入卷积稀疏表示模型来重构联合细节图像;最后,将联合细节通过联合判别调制系数注入到上采样的多光谱图像中得到最终融合结果。实验结果表明,本文方法的融合结果无论从主观效果还是客观定量评价,都优于一些主流的遥感图像融合方法。

关键词：遥感图像融合;卷积稀疏表示;非抽取小波变换;引导滤波

引用格式: 杨勇, 李露奕, 黄淑英, 等. 自适应字典学习的卷积稀疏表示遥感图像融合[J]. 信号处理, 2020, 36(1): 125-138. DOI: 10.16798/j.issn.1003- 0530.2020.01.016.

Reference format: Yang Yong, Li Luyi, Huang Shuying, et al. Remote Sensing Image Fusion with Convolutional Sparse Representation Based on Adaptive Dictionary Learning[J]. Journal of Signal Processing, 2020, 36(1): 125-138. DOI: 10.16798/j.issn.1003- 0530.2020.01.016.

基金项目：国家自然科学基金(61662026，61862030)；江西省自然科学基金(20182BCB22006，20181BAB202010，20192ACB20002，20192ACBL21008)；江西省教育厅科技项目(GJJ170312, GJJ170318)；江西省研究生创新项目(YC2019-B094，YC2018-B065)

Remote Sensing Image Fusion with Convolutional Sparse Representation Based on Adaptive Dictionary Learning

(1. School of Information Technology, Jiangxi University of Finance and Economics, Nanchang, Jiangxi 330032, China;2. School of Software and Internet Things Engineering, Jiangxi University of Finance and Economics, Nanchang, Jiangxi 330032, China)

Abstract: Remote sensing image fusion based on detail injection scheme includes two main steps: spatial detail extraction and injection. To ensure the quality of the extracted details and determine the appropriate modulation coefficients, a remote sensing image fusion method via adaptive dictionary learning based convolutional sparse representation is presented. Firstly, this method extracts spatial details from the multispectral and panchromatic images by using guided filter and nondecimated wavelet transform, respectively. Then, the dictionary for extracting spatial details is adaptively learned and introduced into convolutional sparse representation to reconstruct the joint detail image. Finally, the joint details are injected into the upsampled multispectral image by joint discrimination coefficients to obtain the final fusion result. Experimental results indicate that the proposed method outperforms some popular fusion methods both in subjective effect and objective quantitative evaluation.

Key words： remote sensing image fusion; convolutional sparse representation; nondecimated wavelet transform; guided filter

1 引言

遥感图像是以航空、航天飞行器为平台的各种遥感卫星系统的输出或后处理数据形式。由于获取过程中大量干扰(光照条件的变换、地物混叠、大气干扰等)、噪声等不确定因素的影响,以及各种遥感卫星系统本身的物理条件限制的影响[1],遥感图像从本质上存在着信息的不完整性。具体来说,IKONOS、QuickBird和WorldView等光学卫星只能同时提供全色传感器和多光谱传感器[2]。而这两个传感器只能分别提供一张高分辨率的全色(Panchromatic, PAN)图像与一张低分辨的多光谱(Multispectral, MS)图像,无法提供一张具有高分辨率的多光谱(High resolutional multispectral, HRMS)图像[3]。显然,这对于地物分类、水质监测[4]、目标探测[5]、图像分割等的应用非常不利。为此,越来越多的学者开始致力于研究如何融合PAN图像和MS图像的优势来获取HRMS图像。因此,遥感图像数据融合逐渐成为当前一个研究热点。

近几十年来,遥感图像数据融合发展迅速,出现了越来越多的融合方法。在这些方法中,一种主流的做法是先从PAN图像中提取空间细节,再将提取的空间细节注入到上采样的MS(Upsampled multispectral, UPMS)图像中,即基于细节注入的遥感融合方法,简称注入模型。成份替代(Component substitution, CS)融合方法、基于多尺度分析(Multiresolution analysis, MRA)的融合方法和基于稀疏表示(Sparse representation, SR)的融合方法是基于注入模型的三类融合方法[6]。其中,CS融合方法是基于MS图像上变换的一种方法,它先将MS图像变换到另一个空间以提取含有空间细节的成分,再用PAN图像代替该成分,最后逆变换回原来的空间。如主成分分析法(Principle component analysis, PCA)[7]、色度-亮度-饱和度变换法(Hue-intensity-saturation, HIS)[8]、布洛维变换法(Brovey transform, BT)[9]等。这些方法计算简单,时间复杂度低,可以很好的保留PAN图像的空间细节,但对图像的色彩细节表现不足,融合效果并不理想。基于MRA的融合方法近似于人眼视觉系统(Human visual system, HVS)对图像的多层次分解过程。它大致可分为三步,先对每幅源图像进行多尺度分解,再按一定的图像融合规则构造其低频和高频系数,最后通过逆变换得到最终融合的图像[10]。如离散小波变换法[11]、多孔小波变换[12]、非下采样剪切波变换[13]等,这一类方法可以较好地保留MS图像的光谱细节,但对图像空间细节的保留力度不够。近些年, 因SR在图像去噪、图像分类、人脸识别等方向上的成功应用,成为了近年来计算机视觉领域的研究热点之一[14-16]。在图像融合领域,SR也得到了充分的应用[17],它常常与CS融合方法或基于MRA的融合方法结合来提高融合图像的质量。然而基于SR的融合方法存在两个主要缺点:1、对细节的保存能力有限;2、对图像未配准的高敏感性[18]。而这两个问题在图像融合中尤为重要。为此,文献[19]提出了一种卷积稀疏(Convolutional sparse representation, CSR) 模型。 CSR模型是一种具有平移不变性的图像表示模型,其结果是单值的,且是对整幅图像进行了优化,因此它可以在保留细节的同时降低对图像未配准的敏感性[18],很好地解决了SR所存在的问题。

上述的三类方法,CS、MRA和SR融合方法都是基于注入模型的方法[6]。而现有的基于注入模型的融合方法大多都是通过估计PAN图像和MS图像的亮度成分间的差异,或PAN图像与其低频版本间的不同来获取所需要的细节信息。但以这样的方式进行融合,往往会使融合结果存在不同程度的光谱失真。其原因在于,现有的基于注入模型的方法所获取的细节仅仅只是从PAN图像中提取,且所提取的细节不足以弥补PAN图像和MS图像间局部或全局的差异,从而使得融合图像与原始的MS图像不完全相似。

为解决上述问题,本文提出了一种新的基于联合细节注入的遥感图像融合方法。本文方法的具体实现步骤如下:

步骤1 通过非抽取小波变换(Nonextractive wavelet transform, NDWT)的多分辨率小波分解[21]与引导滤波的方式分别来获取MS图像与PAN图像的空间细节。

步骤2 将提取的两类细节通过本文构建的基于自适应字典学习卷积(Convolutional sparse representation based on adaptive dictionary learning, CSRADL)模型进行融合,得到联合细节。

步骤3 通过本文构建的调制系数将联合细节自适应地注入到MS图像中,得到最终的融合图像。

与文献[20]中的融合方法不同,本文在其求解调制系数的基础上利用PAN图像与MS图像边缘信息间的相关性,定义了一种新的联合判别调制系数,可以有效地降低融合图像光谱失真的程度。另外鉴于传统的CSR模型采用的是预训练的固定字典,尽管使用预定义的固定字典通常具有较快的处理速度,这些字典却限制于特定类型的图像和信号,无法适用于新的、任意类型的信号。为提高CSR的重构结果与输入图像的相关性,本文在传统的CSR模型中引入自适应字典学习的方式来重构细节图像。通过与现有的多种主流遥感融合方法进行主观与客观实验对比,结果证明了本文方法的有效性。

2 卷积稀疏表示

CSR模型可看作是以卷积形式表示的SR模型的另一种表现形式,旨在获得整张图片而非一个局部块的SR[19]。CSR模型本质上是一个平移不变的图像表示模型,因此CSR模型可以有效地解决SR所存在的两个问题,即对非高斯噪声的高敏感性以及对细节的保留力度不够。

假设有K个预配准的源图像Sk,k∈{1,…,K},一组字典dm, m∈{1,…, M}。首先,通过公式(1)求解每幅源图像Sk的基层图像。

其中,gx=[-1 1],gy=[-1 1]T分别代表水平和垂直的梯度算子。正则参数η和文献[18]中一样被设置成5。公式(1)为一个Tikhonov正则化问题,可以通过快速傅里叶变换来进行求解。当得到基层

后,对应的细节层

可通过下述公式求解:

对于每一个细节层

将图像

映射为稀疏系数Xk,m与字典dm间的卷积和,并通过公式(3)求解 Xk,m。

其中,*表示卷积算子。

接着,令Xk,m表示在空间域(x, y)的像素值, Xk,m的l1 范数作为源图像的活动级测量,那么, Xk,m的活动级映射谱可通过求解公式(4)来获取:

得到每幅源图像的Ak之后,利用绝对值取大的规则来获取各自的融合后细节层

与基层

最后,将它们重构为融合图像Sf。

3 本文方法

在传统的细节注入方法中,只从PAN图像中提取细节而不考虑MS图,会导致融合后的图像与原始MS图像不完全相似[20]。为了克服这一问题,本文提出一种基于联合细节的融合方法,不仅从PAN图像中提取所需的细节,而且从MS图像中提取所需的细节。该方法的目的是获取由于PAN和MS图像的全局/局部不相似或相关性较低而丢失的细节。当获取了所需要的细节之后,接下来是将获取的细节注入到UPMS图像中。调制系数决定了有多少细节将被注入到UPMS图像中,它对一个遥感图像融合方法融合质量的高低起着不可忽视的作用。因此,该方法的关键在于如何对从PAN图像和MS图像中提取的细节进行处理以及调制系数的确定。

在此基础上,我们提出基于自适应字典学习的卷积稀疏表示联合细节注入的遥感融合方法。该方法先将从PAN图像和UPMS图像提取出来的细节通过CSRADL模型进行融合,得到融合细节(Fused details, FD),然后利用调制系数将FD自适应地注入到UPMS图像的每个波段中,其实现过程可由下式来表达:

其中,FMSk、UPMSk分别为融合后的多光谱(Fused multispectral, FMS)图像与UPMS图像的第k个波段的数据,FD为将PAN图像和UPMS图像提取出的细节融合后的细节,gx为第k个波段的调制系数,n为波段的数量。在公式(6)的基础上,本文提出如图1所示的图像融合总体框架,这将在以下的部分详细描述。

3.1 基于多分辨率分解和引导滤波的细节提取

本节提出用一个NDWT的多分辨率分解方法以及引导滤波的方式来分别获取MS图像和PAN图像的空间细节。在遥感图像融合中,这是第一次同时将NDWT和引导滤波这两种方式分别用于获取MS图和PAN图的细节。NDWT是一种非正交、平移不变、非抽取、冗余的小波变换算法,因此它可以更有效地保留图像的空间细节。因此本文将NDWT用于提取MS图像亮度成分(Intensity of MS image,I)图像的细节。通过该算法,可将I图像分解为低频部分和具有细节纹理信息的高频部分。本文的低频系数计算公式如下:

其中,Il-1和Il分别为I图像在l和l-1尺度上的近似系数,当l=1时,Il-1为初始I图像,而hl-1则是在l尺度上的NDWT矩阵。因此,I的高频细节计算方式如下:

其中,IDl(i, j)是I在l尺度上(i, j)位置的高频信息。

另一方面,由于引导滤波器可以在获取引导图变换趋势的同时保存输入图像的主要高频细节,因此我们将其用于获取PAN图像的高频细节。该方法先以直方图匹配的PAN(Histogram matched PAN, P)图像作为输入图像,并以UPMS图像的亮度分量I作为引导图,获取P图像的低频版本,再通过计算相邻两级低频版本间的差异,得到了P图像的高分辨率细节信息。该过程可由下式来表达:

其中,G(·)表示引导滤波器的滤波操作,Pl-1和Pl代表在l尺度的引导滤波器的输入与输出图像。当l=1,Pl-1为P图像。PDl是在l尺度上的P图像的高分辨率细节信息。

3.2 基于自适应字典学习的卷积稀疏表示细节融合

传统的细节注入方法往往只从PAN图像中提取细节而不考虑MS图像,使得融合结果和MS图像在局部或全局上存在着一定的差异,并出现光谱畸变。为此,本文提出一种基于联合细节的融合方法,不仅从PAN图像中提取细节,也从MS图像中提取细节。为获取PAN图像和MS图像因全局或局部的低相关性而丢失的细节,以及考虑到基于字典学习的CSR可以使重构结果与输入图像高度相关。因此,本文引入了CSR模型。

CSR模型可以看作是以卷积形式表示的SR模型的另一种表现形式,它可以有效地解决SR所存在的两个问题。同时,为提高CSR模型的重构结果与输入图像的相关性,本文提出基于自适应字典学习的CSR细节融合方法。与传统自适应字典学习方式不同,传统自适应字典学习是通过取最大值的规则将两幅输入图像融合成一幅图像,再对这幅图像利用K_SVD算法求其字典,这种学习方式往往耗时比较长。而本文的自适应字典具体学习过程如下:

步骤1 根据取最大值的规则将PAN图像和UPMS图像的细节子图像结合成单幅细节子图IA,再将IA通过高斯滤波器进行滤波得到细节子图的低频版IB;

步骤2 利用大小为px×py的窗口按从左到右,从上到下对IB滑动取块,得到N个图像块

随后对每一个图像块进行向量化处理,将其按列排成长度为n的向量(n=px×py)。最终为IB构造出数据矩阵

其中,

是YB中第i个图像块对应的向量;

步骤3 通过公式(11),将YB进行归一化得到数据D1;

步骤4 令

其中

为D1均值矩阵。将D2输入到K-SVD算法中,求出最后的自适应字典DCT;

当学习到自适应字典DCT后,将其引入CSR模型,对从PAN图像和MS图像中提取的细节进行融合,得到最终的联合细节FD。

为验证字典学习方式中高斯滤波器的重要性、提出字典学习方式的性能以及加入MS图像中的细节的必要性,本文通过大量的实验来证明以下4点:1) 加入高斯滤波器的字典学习方式的性能优于未加入高斯滤波器的字典学习方式; 2) 加入PAN图像细节和MS图像细节相比仅加入PAN图像细节的融合图像,其光谱质量更好;3) 基于本文自适应字典的CSR模型相比基于固定字典的CSR模型,可以提高输入图像和重构结果的相关性;4) 基于本文自适应字典的CSR模型相比基于传统自适应字典学习方式的CSR模型,可以大大地提高融合结果的质量和效率。

针对第1点,由于遥感图像融合首要的是要保持光谱不失真,其次是细节或空间信息很好地保留,因此图像融合是要在光谱保真和细节注入之间保持平衡;如果FD不用高斯滤波器去噪,会引起细节过度注入或者噪声干扰,使得学习的字典不能准确地表征图像的特征,导致图像的融合质量下降。为进一步验证高斯滤波器的重要性,本文给出了相关的实验来进行验证,使用的是图2的8组图像,实验的平均结果如图3所示。从图中可以看出,加入高斯滤波器的方法在PSNR,CC,UIQI,RASE,RMSE,ERGAS等指标上都优于无高斯滤波器的方法。因此,用高斯滤波对FD进行去噪可以有效地提高融合图像的质量。

针对第2点,传统的细节注入方法往往只是从PAN图像中提取细节而忽略了MS图像中的细节,所提取的细节不足以弥补PAN图像和MS图像间局部或全局的差异,使得最后的融合结果存在不同程度的光谱失真。为了验证MS图像中细节对融合的影响,本文利用文中图2的8组实验图进行了对比实验,分别测试了仅包含PAN图像细节的融合结果性能与包含了PAN图像的细节和MS图像中细节的融合结果性能。表1给出了8组测试用图的平均结果,加粗表示最好的指标值。从表1可知将MS图像的细节加入融合过程中,可以有效提高融合结果的性能,特别在RASE,RMSE,ERGAS等三个指标上比较显著。

针对第3点,由于本文字典是一种自适应的字典,即对于每组输入源图像都自适应地学习一个字典,再基于该字典将MS图与PAN图的细节子图进行卷积稀疏融合。而固定字典只能适用于部分类型的图像,不能保证结果的稀疏程度。因此,从理论上来说,该字典有利于提高重构结果与输入图像的相关性。为了验证这一点,本文基于固定字典和自适应字典的CSR方法,利用图2中的各组图像分别进行了8组对比实验,实验结果如图4所示。实验中分别计算了各组输入图像与输出图像的归一化相关系数,再通过比较各组图像的相关系数值的大小来确定基于自适应字典是否可以提高输入图像和重构结果的相关性。图4中,constantD和adaptiveD分别表示基于固定字典和自适应字典的CSR方法,横坐标a～h分别对应于图2中的图(a)～(h),mean表示为8组实验结果的均值,纵坐标为归一化的相关系数值。从图4可以看出,虽然实验中有少数结果表明固定字典的性能较好,但绝大部分的结果证明了自适应字典的性能更好。特别在图4(a) UPMS细节图和FD图的相关性中,自适应字典的性能明显优于固定字典的性能。PAN图像的实验结果在大部分实验中性能提升得不明显,说明了固定字典和自适应字典均比较适用于PAN图像这类型的图像。但从平均结果来看,自适应字典的性能均优于固定字典的性能。综合理论和实验的分析,基于自适应字典的CSR方法较基于固定字典的CSR方法更有利于提高输入图像和重构结果的相关性。

针对第4点,自适应字典学习大致可分为两步,一是获取两张输入图像的融合信息FD,二是对FD利用K_SVD算法求解字典。由于传统的自适应字典学习方式忽略了FD中的噪声,使得学习的字典不能准确地表征图像的特征,降低了融合图像的质量。而本文方法在传统的方式上加入了高斯滤波与归一化这两种方式来对FD进行去噪,获得了低频版的无噪声的FD,显然训练这样一幅结构纹理信息相对简单的图像字典的速度更快,且去噪后的FD可以使得学习的字典更准确地表征图像的特征,因此本文方法可以同时提高效率以及融合图像的质量。为了进一步证明这一点,本文基于传统自适应字典和本文提出的自适应字典的CSR方法分别做了8组不同的对比实验。其中proposed_oldD为基于传统自适应字典学习方式上的CSR方法,proposed_newD为基于本文提出的自适应字典学习方式的CSR方法。由于篇幅的限制,这里只取图2中的(a)、(g)、(e)为例,对应的归一化定量化分析如图5(a)、(b)、(c)所示。其中图5(d)为8组实验的归一化定量化指标值的均值。表2为各组实验的时耗。通过定量指标及时耗的综合比较,可以看出本文所提出的字典不仅可以提高融合结果的质量,同时也大大提高了字典学习的效率,是一种很好的字典学习方式。

3.3 基于自适应加权调制系数的细节注入

当获得了FD后,本文将利用自适应加权调制系数把FD注入到UPMS的各个波段中。调制系数,也被称为权重矩阵或注入系数,它决定了FD被注入到UPMS图像中的程度。显然,它对于一个遥感图像融合方法的成功与否至关重要。如果太多的FD被注入到UPMS图像中,冗余信息会使得光谱失真。相反,如果注入了太少的FD,会降低了融合图像的空间质量。文献[21]中介绍了一种利用PAN图像和MS图像的边缘信息间的关系来确定调制系数大小。这种调制系数的计算方式如下:

其中,wP和wMSk分别表示PAN图像以及UPMS图像的第k个波段的边缘检测权重矩阵。βk为UPMS图像的第k个波段的权衡参数。βk的计算方式如下:

虽然文献[21]中的调制系数可以缩小PAN图像和MS图像的差异,在一定程度上减少了光谱失真。但这种方式忽略了衡量边缘信息间的内在联系,且仅仅通过公式(13)来计算边缘信息间的关系,将导致注入的FD太少,使得FMS图像相较平滑。为了克服上述问题,本文利用这两类边缘信息间的强近似关系,定义了PAN图像以及UPMS图像的边缘检测权重矩阵的相关系数,并将其与文献[21]中的权衡参数取最大值,获取最后的权衡参数β。其实现过程可由公式(14)和(15)表示。

其中,ηk为第k个通道上的相关系数,COV(·)与σ(·) 分别表示协方差和标准差,λk为本文所设计的在第k个通道上的基于相关性的权衡参数。接着,将基于相关性的权衡参数λk取代βk代入公式(12)得出联合判别调制系数gk。最后利用公式(6),得到最后的FMS图像。为了说明自适应加权调制系数的效能,本文基于文献[21]中求解调制系数的方式以及基于本文所提出的自适应加权调制系数的方式分别进行了实验,实验的图像如图2所示。图6为图2的平均归一化结果,用于说明自适应加权调制系数的效能。图中tradition_gk和auto_gk分别表示基于文献[21]中求解调制系数的方式与基于本文所提出的自适应加权调制系数的方式。观察图6可知,考虑了两类边缘信息间相关性的auto_gk在PSNR、CC、UIQI、RASE、RMSE以及ERGAS这6个指标上都优于tradition_gk的。显然,本文的自适应加权调制系数可以有效地提高融合图像的质量,其性能优于文献[21]中的调制系数。

4 实验结果分析

4.1 实验数据集

为了测试本文方法的性能,我们在QuickBird、WorldView-2、WorldView-3这3个数据集上分别进行了实验,它们的主要特征如表3与表4所示。本文实验是基于PAN图像、4波段的MS图像以及高空间分辨率的多光谱参考图像数据上进行的。主要分为两大类:有参考图的实验和真实数据实验。在实际应用中,由于无法获得参考图像,本文将遵循Wald的协议[22],先对原始的PAN图像和4波段的MS图像进行降采样,得到退化的PAN和MS图像,再将原始4波段MS图像作为参考图像。

另外,本文方法将与常用的一些主流遥感图像融合方法,如曲波变换法(Curvelet)[23]、基于非下采样剪切波变换与稀疏表示的方法(Nonsubsampled Shearlet transform and sparse representation, NSST_SR)[24]、离散小波变换法(Discrete wavelet transform, DWT)[11]、基于DWT和稀疏表示的方法(Discrete wavelet transform and sparse representation, DWT_SR)[25]、基于自适应HSI变换和多分辨率引导滤波的方法(Intensity-hue-saturation transform and multirescale guided filter, IMG)[21]、基于抠图模型和多尺度变换的方法(Matting model and multiscale transform, MMMT)[26]和基于补偿细节注入模型上的方法(Compensation details based injection model, CDI)[6]进行了主观与客观上的比较。以上使用的所有比较方法都是由作者提供的开放源代码。作为参考,本文方法中的训练样本的块大小设置为8×8,引导滤波器设置为两级分解[20]。

4.2 质量评价指标

为了评价融合图像的质量,本文用了2类质量评价指标,分别是有参照图的和真实数据的指标,其中有参照图的指标如下:

1) 相关系数(Correlation coefficient, CC)[27], 指的是参照图与融合图像之间的空间相关系数。这是一种测量几何失真的空间测量方法。当CC的值越接近1,说明融合图像的几何保真度越高。CC定义为:

其中,Fi, j和Ri, j分别代表融合图像F和参照图R在坐标为(i, j) 的像素值,i, j都为正整数,且i的取值范围为[1, M], j的取值范围为[1,N], M×N为参照图的图像大小。另外,

与

分别代表F和R的对应均值。

2)通用质量指标(Universal Image Quality Indexes, UIQI)[28],常用于测量融合图像的空间细节,已被广泛用于图像锐化质量的评估。它结合了三个不同的因素:相关性损失、亮度失真和对比度失真。当其值越接近1时,融合图像的质量越高。它被定义为:

其中,σF和σR分别代表融合图像F和参照图R的标准差,σF,R为F和R的协方差。

3)均方根误差(Root Mean Square Error, RMSE)[29],常通过计算像素值的变化来评估融合图像与参考图间的差异。RMSE值越小,说明融合后的图像越接近参考图像。它被定义为:

4)相对平均光谱误差(Relative Average Spectral Error, RASE)[30],主要反映了融合方法在光谱方面的平均性能。当RASE的值越低,方法越好。它被定义为:

其中,K表示波段总数,RMSEk表示在第k个波段的RMSE值。

5)相对整体维数综合误差(Erreur Relative Global Adimensionnelle De Synthese, ERGAS)[31],主要反映了融合图像的整体质量。它表示融合图像与参照图之间的差异。ERGAS值越小,光谱畸变越小。它被定义为:

其中,h/l表示PAN图像和MS图像的比率,而

是MS图像的第k个波段的均值。

6)峰值信噪比(Peak signal-to-noise ratio, PSNR)[32],是最普遍,最广泛使用的评价图像质量的测法。当PSNR的值越大时,融合图像的失真越少,它被定义为:

另一类无参照图的评估指标是基于UIQI的无参考质量指标(Quality with No Reference, QNR)[33],QNR是由光谱失真指数Dλ和空间失真指数Ds组成。其中,光谱失真系数(Spectral Distortion Index, Dλ)被定义为:

其中p是一个正整数,用来强调较大的光谱差,t和d表示波段的数量。Mt为MS图像的第t个波段,Ft表示融合后的MS图像的第t个波段,Q表示用于计算UIQI值的函数。Dλ的值越小,说明融合图像光谱失真地越少,融合方法的性能越好。

而空间失真指数(Spatial Distortion Index, Ds)的定义如下:

其中, PNL表示退化的低空间分辨率PAN图像,PN表示初始的PAN图像,Ds与差分向量的q范数成正比,q用来强调较大的差分值,当Ds的值越大时,融合图像的空间细节的保留力度越差,融合方法的性能越差。

那么,由Dλ和Ds组成的指标QNR被定义为:

显然,当Dλ和Ds的值越接近0时,融合图像的质量越好,QNR的值越接近1。

4.3 融合实验结果4.3.1 有参考图实验结果

第一组实验是在QuickBird数据集上进行的有参考图实验。图7展示了源图像及各对比方法对应的融合结果。其中图7(a)是初始的MS图像,作为参考图与各融合结果进行对比。图7(b)表示退化的PAN图像。各对比方法的融合结果如图7(c)～(j)所示。为方便主观比较,每幅融合结果上都有2个红色矩形框,较大矩形框内所标记的内容为放大后的较小框内所标记的内容。将这些融合结果分别与参考图进行比对,显然DWT、MMMT和NSST_SR方法融合结果的光谱失真较多,光谱畸变较大。而Curvelet的融合结果虽然在保留光谱信息的能力方面有所提升,但并不明显。相较而言,DWT_SR、IMG以及CDI方法的融合结果可以更好的保留原MS图丰富的光谱信息,却无法保证各自对应的空间细节保真度。具体来说,DWT_SR与IMG方法的融合结果注入了过多的冗余细节,显得过于锐化,在植被区域尤为明显。相较于以上这些方法,本文方法以及CDI方法综合考虑了MS图像和PAN图像的贡献,可以较好地保留空间以及光谱信息。为了进一步验证本文方法的效果,本文对上述的不同融合方法的结果进行了详细的客观分析。图7中各方法的融合结果的客观指标的测定值如表5所示,其中每个指标测定值的最佳结果以粗体表示。从表5可以看出,本文方法与所有对比方法相比,其量化评估结果都是最好的。

第二组实验是在WorldView-2数据集上进行的,如图8所示。图8(a)和(b)分别为参考图像与PAN图像,图8(c)～(j)显示了各融合方法的融合结果图像。显然,Curvelet、NSST_SR、MMMT和DWT方法的融合结果都存在着较大程度的光谱失真,尤其是在植被区域。相较于这些方法,DWT_SR、CDI、IMG和本文方法在主观上都可以取得较好的效果,不论是从光谱还是细节的保留度上。为进一步验证本文方法的有效性,本文对所有对比的融合方法利用上述客观指标来进一步分析。表6显示了各融合方法的客观评价指标结果。表6中数据表明了本文方法的6个指标值都能达到最好,这个结果也进一步证明本文方法具有较好的性能。

综合以上主客观的对比实验结果可知,本文方法相比于所有的对比融合方法,可以产生最佳的融合结果。

4.3.2 真实数据实验

第三组实验是在WorldView-3数据集上进行的,如图9所示。其中图9(a)和(b)分别为UPMS图像和PAN图像,图9(c)～(j)和表7分别显示了各对比方法的融合结果图像以及对应的客观评价结果。观察图9可知,Curvelet、MMMT和DWT方法的融合结果的空间细节保存相对较好,但存在着光谱失真现象,尤其是DWT方法,这一点在图9(d)中红色矩形框所标记的部分显得尤为明显,因此该方法不能很好地保留MS图像的光谱信息。而CDI方法的融合结果则相反,虽然可以较好的保留光谱信息,但是其空间分辨率较低,融合结果存在振铃、伪影的现象,且整体看过去也比较模糊。而NSST_SR、IMG、DWT_SR和本文方法的融合结果的空间分辨率与光谱分辨率俱佳,但仅从主观上较难分辨出高下。表7给出各融合方法的定量分析结果,从中可以看出本文方法在QNR和Dλ这两个指标上都能达到最好,且在DS这指标上达到第二好,这进一步验证了本文方法的有效性。

第四组实验是在QuickBird数据集上进行的,如图10所示。其中图10(a)和(b)分别为UPMS图像和PAN图像,图10(c)～(j)和表8分别显示了各对比方法的融合结果以及对应的客观评价结果。观察图10可知,DWT、 Curvelet、NSST_SR以及DWT_SR这四种方法的融合结果在一些植被区域的亮度比较强,造成这一结果的原因在于上述四种方法的融合结果的空间细节被过度增强。而CDI、IMG和本文方法的融合结果不仅较好地保留了MS图像光谱信息,同时也提高了MS图像的空间质量,但仅从主观上较难分辨出高下。通过观察表8可知,本文方法的客观指标都能达到最好,由此可以证明本文方法的有效性。

5 结论

本文提出一种基于自适应字典学习的CSR联合细节注入的遥感图像融合方法。该方法不仅定义了一种CSRADL模型来重构从PAN图和MS图中提取的空间细节,同时也设计了一个联合判别系数来将重构的细节自适应地注入到UPMS图像中。另外,为提高自适应学习字典的效率,本文在传统字典学习方式的基础上,构建出一种新的字典学习方式,大大地提升了学习字典的速度。实验结果表明本文方法在视觉效果和定量指标上均优于其他对比方法。未来,将考虑把本文方法应用于其他图像类型的融合技术上,如多模态医学图像融合以及红外与可见光图像融合等。

[1] Shao Z, Cai J. Remote Sensing Image Fusion With Deep Convolutional Neural Network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(5): 1656-1669.

[2] Palsson F, Sveinsson J R, Ulfarsson M O, et al. Model-Based Fusion of Multi-and Hyperspectral Images Using PCA and Wavelets[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(5): 2652-2663.

[3] Liu P, Xiao L. A Novel Generalized Intensity-Hue-Saturation (GIHS) Based Pan-Sharpening Method With Variational Hessian Transferring[J]. IEEE Access, 2018, 6: 46751- 46761.

[4] Chang N B, Bai K, Imen S, et al. Multisensor Satellite Image Fusion and Networking for All-Weather Environmental Monitoring[J]. IEEE Systems Journal, 2016, 12(2): 1-17.

[5] Wang Q, Zhu G, Yuan Y, et al. Multi-spectral dataset and its application in saliency detection[J]. Computer Vision and Image Understanding, 2013, 12(117): 1748-1754.

[6] Yang Y, Wu L, Huang S, et al. Compensation Details-Based Injection Model for Remote Sensing Image Fusion[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(5): 734-738.

[7] Zhang L, Shen H, Gong W, et al. Adjustable Model-Based Fusion Method for Multispectral and Panchromatic Images[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2012, 42(6): 1693-1704.

[8] Tu T M, Su S C, Shyu H C, et al. A new look at IHS-like image fusion methods[J]. Information Fusion, 2001, 2(3): 177-186.

[9] Wang Z, Ziou D, Armenakis C, et al. A comparative analysis of image fusion methods[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(6): 1391-1402.

[10] Wang X, Bai S, Li Z, et al. The PAN and MS Image Pansharpening Algorithm Based on Adaptive Neural Network and Sparse Representation in the NSST Domain[J]. IEEE Access, 2019, 7: 52508-52521.

[11] Li S, Kwok J T, Wang Y. Using the discrete wavelet frame transform to merge Landsat TM and SPOT panchromatic images[J]. Information Fusion, 2002, 3(1): 17-23.

[12] Nunez J, Otazu X, Fors O, et al. Multiresolution-based image fusion with additive wavelet decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 1999, 37(3): 1204-1211.

[13] Yin M, Liu W, Zhao X, et al. A novel image fusion algorithm based on nonsubsampled shearlet transform[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(10): 2274-2282.

[14] Jia L, Song S, Yao L, et al. Image Denoising via Sparse Representation over Grouped Dictionaries with Adaptive Atom Size[J]. IEEE Access, 2017, 5: 22514-22529.

[15] Xie W, Liu B, Shao S, et al. Sparse Representation and Collaborative Representation? Both Help Image Classification[J]. IEEE Access, 2019, 7: 76061-76070.

[16] Pei X, Guan Y, Cai P, et al. Face Hallucination via Gradient Constrained Sparse Representation[J]. IEEE Access, 2018, 6(2): 4577- 4586.

[17] 余南南, 邱天爽. 稀疏表达的自适应遥感图像融合算法[J]. 信号处理, 2013, 29(6): 663- 667.

Yu Nannan, Qiu Tianshuang. Adaptive Fusion of Remote Sensing Images with Sparse Representation[J]. Journal of Signal Processing, 2013, 29(6): 663- 667.(in Chinese)

[18] Liu Y, Chen X, Ward R, et al. Image Fusion With Convolutional Sparse Representation[J]. IEEE Signal Processing Letters, 2016, 23(12): 1882-1886.

[19] Wu H, Zhao S, Zhang J, et al. Remote Sensing Image Sharpening by Integrating Multispectral Image Super-Resolution and Convolutional Sparse Representation Fusion[J]. IEEE Access, 2019, 7: 46562- 46574.

[20] Yang Y, Wu L, Huang S, et al. Remote Sensing Image Fusion Based on Adaptively Weighted Joint Detail Injection[J]. IEEE Access, 2018, 6: 6849- 6864.

[21] Yang Y, Wan W, Huang S, et al. Remote Sensing Image Fusion Based on Adaptive IHS and Multiscale Guided Filter[J]. IEEE Access, 2016, 4: 4573- 4582.

[22] Zeng Y, Huang W, Liu M, et al. Fusion of satellite images in urban area: Assessing the quality of resulting images[C]∥2010 18th International Conference on Geoinformatics. IEEE, 2010: 1- 4.

[23] Dong L, Yang Q, Wu H, et al. High quality multi-spectral and panchromatic image fusion technologies based on Curvelet transform[J]. Neurocomputing, 2015, 159: 268-274.

[24] Moonon A U, Hu J, Li S. Remote Sensing Image Fusion Method Based on Nonsubsampled Shearlet Transform and Sparse Representation[J]. Sensing and Imaging, 2015, 16(1): 23.

[25] Cheng J, Liu H, Liu T, et al. Remote sensing image fusion via wavelet transform and sparse representation[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 104: 158-173.

[26] Yang Y, Wan W, Huang S, et al. A Novel Pan-Sharpening Framework Based on Matting Model and Multiscale Transform[J]. Remote Sensing, 2017, 9(4): 391: 1-391: 21.

[27] Azarang A, Manoochehri H E, Kehtarnavaz N. Convolutional Autoencoder-Based Multispectral Image Fusion[J]. IEEE Access, 2019, 7: 35673-35683.

[28] Wang Z, Bovik A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81- 84.

[29] Yang Y, Tong S, Huang S, et al. Multifocus Image Fusion Based on NSCT and Focused Area Detection[J]. IEEE Sensors Journal, 2015, 15(5): 2824-2838.

[30] Ranchin T, Wald L. Fusion of high spatial and spectral resolution images: The ARSIS concept and its implementation[J]. Photogrammetric Engineering and Remote Sensing, 2000, 66: 49- 61.

[31] Wald L. Quality of high resolution synthesised images: Is there a simple criterion[C]∥In Proceedings of the third conference, Sophia Antipolis, France, 2000: 99-103.

[32] Nezhad Z H, Karami A, Heylen R, et al. Fusion of Hyperspectral and Multispectral Images Using Spectral Unmixing and Sparse Coding[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016: 1-13.

[33] Alparone L, Aiazzi B, Baronti S, et al. Multispectral and Panchromatic Data Fusion Assessment Without Reference[J]. Photogrammetric Engineering & Remote Sensing, 2008, 74(2): 193-200.

杨勇男, 1976年生, 湖北鄂州人。江西财经大学信息管理学院教授, 研究方向为图像融合、图像超分辨率重建、图像分割。

E-mail: greatyangy@126.com

李露奕女, 1995年生, 福建福州人。江西财经大学信息管理学院硕士研究生, 主要研究领域为图像处理。

E-mail: ada_016@foxmail.com

黄淑英女, 1977年生, 山东德州人。江西财经大学软件与物联网工程学院副教授, 研究方向为图像处理、机器学习。

E-mail: shuyinghuang2010@126.com

张迎梅女, 1993年生, 江西景德镇人。江西财经大学信息管理学院硕士研究生, 主要研究领域为图像处理。

E-mail: qhzhangym@foxmail.com

卢航远男, 1985年生, 浙江金华人。江西财经大学信息管理学院博士生, 主要研究领域为图像处理。