1 引言
图像去雨是计算机视觉领域中重要的研究话题。在雨天环境中,雨水会严重影响图像成像的质量,造成图像发生形变、模糊、可视性差等问题,从而使得户外视觉系统无法准确地进行目标检测、识别、监控等工作。因此,如何有效地消除雨水天气对图像成像产生的干扰具有非常重要的实际应用价值。
近年来,图像去雨引起了许多研究者的关注,已有多种图像去雨方法被提出来,这些方法大致可分为两类:1)基于视频的图像去雨方法[1-2],2)基于单幅图像的去雨方法[3-6]。因为基于视频的去雨方法,可以结合时空相关特性检测图像中受雨滴影响的像素,而单幅图像只包含某一时刻的信息,缺少雨滴分布的时空特性。相较于前者,基于单幅图像的图像去雨是一项更具挑战性的工作,成为当前研究的难点和热点。
针对单幅图像去雨,Kim等[3]首先进行雨条纹检测,通过非均值滤波器将雨条纹去除,缺点是该方法的物理模型限制了其性能。Luo等[4]提出了一种判别性稀疏编码,用于将雨条纹与图像背景分开,不足的地方是该方法去完雨后的图像上仍有雨条纹残留。造成上述状况的原因是,Kim等[3]与Luo等[4]的去雨方法只利用图像的低级特征来分离图像中的雨条纹和物体,当图像中的物体结构和方向与雨条纹相似时,便很难在去除雨条纹的同时又有效地保存物体的结构信息。Fu等[5]提出了一种名为DerainNet的去雨方法,将图像的高频部分输入到卷积神经网络中进行训练学习,但是该方法会造成图像色泽上的损失,在背景区域仍然存在雨条纹的残留痕迹,从而导致去雨效果不理想。Rui等[6]提出了一种基于GAN的去雨方法,可以有效地去除玻璃上的雨滴。
为了解决上述问题,本文提出一种基于多细节卷积神经网络的图像去雨方法。多细节即为提取有雨图像上不同频率的细节图像,利用卷积神经网络提取细节图像的特征信息,并通过这些特征学习出原始图像和有雨图像的映射关系,进而复原有雨图像,使去除完雨条的图像具有更好的视觉效果。实验结果表明本文所提方法可以有效地去除单幅有雨图像中的雨条。本文剩余的部分安排如下:第2节介绍本文所提出的算法;第3节实验结果分析;第4节给出结论。
2 所提单幅图像去雨方法
2.1 细节图像获取
考虑到雨条信息大都存在于有雨图像的高频部分,本文所提方法将有雨图像通过滤波器分解为细节图像和平滑图像,仅将细节图像输入浅层卷积神经网络,以更有效地学习到雨条特征,以提高去雨的性能。为此,本文所提方法采用引导滤波器[7]对输入有雨图像进行高低频分解,其原因在于与常用的低通滤波器[8-9]相比,引导滤波器在滤波效果上,对细节的处理更加细腻,能够在平滑图像的同时起到保持边界的作用。输入图像I分解完成后,保留平滑图像Ilow,并将细节图像Ihigh再次通过滤波器获得频率更高的细节图像Ihigh_high,其可以表示为:
I=Ilow+Ihigh
(1)
Ihigh=Ihigh_low+Ihigh_high
(2)
图1所示为本文所提方法得到的同一场景下无雨图像和有雨图像所对应的平滑图像对比示例。如图所示,有雨图像分解出的平滑图像和对应无雨图像分解出的平滑图像是非常相似的。图2进一步展示了数据集Rain12[10]上有雨平滑图像和无雨平滑图像的平均颜色直方图分布,表明了两者在颜色直方图分布上也是非常接近的。由此可见,有雨图像分解出的平滑图像所包含的雨条信息较少。因此,本文只需要将细节图像输入到卷积神经网络中进行训练学习即可学习到有效的雨条特征。
图1 平滑图像对比示例
Fig.1 The comparison of smooth images
图2 平滑图像颜色直方图对比
Fig.2 The RGB histogram comparison of smooth images
2.2 基于多细节的卷积神经网络
进一步地,对比本文所提取的两张细节图像,如图3所示,浅层细节图像中保留的物体结构信息相对较多,但是可以看出,浅层细节图像的背景中存在大量的雨条信息。而深层细节图像在减弱物体结构信息的同时,仍保留较多的雨条信息。因此,结合不同细节图像的特点,本文将浅层和深层细节图像同时输入到卷积神经网络中训练以获得更好的去雨效果。为此,本文提出了一种基于多细节卷积神经网络的图像去雨方法,其框架如图4所示,整体算法流程如下:
图3 细节图像对比
Fig.3 The comparison of detail images
1)将输入的有雨图像通过引导滤波器分解为细节图像和平滑图像。
2)保留步骤(1)中的平滑图像,将细节图像作为引导滤波器的输入,再次进行高频提取获得频率更高的细节图像。
3)将两张不同频率的细节图像输入卷积神经网络中,经过训练后输出的图层与保留的平滑图像结合最终形成去雨图像。
为了发挥卷积神经网络在去雨算法中提取特征的能力,本文设计了浅层卷积神经网络对图像进行去雨操作,如图4所示,两个并行的卷积神经网络均由3个卷积层和1个输出层构成,卷积核的尺寸大小分别为16
16、11、11、88, 特征图的数量均为512。该网络结构可表示为:
fl(Ix)=σ(Wl*fl-1(Ix)+bl),l=1,2,3
(3)
f(Ix)=Wl*fl-1(Ix)+bl,l=4
(4)
其中l代表的是卷积层的索引,*代表卷积,Wl代表网络参数,bl表示偏置,σ(·)表示非线性正切函数[5],Ix表示输入网络中训练的细节图像(Ihigh或Ihigh_high)并且有f0(Ix)=Ix。则网络最终的输出如下:
O=Ilow+f(Ihigh)+f(Ihigh_high)
(5)
2.3 多细节卷积神经网络损失函数
为了优化上述所提的多细节卷积神经网络以获得较好的去雨效果,本文通过最小化重建细节图像和真实图像之间的差异来调整网络参数。因此,本文采用如下损失函数:
(6)
其中,N为批量样本大小,n为图像索引,W代表网络参数, fW(·)表示神经网络的前向传播
代表第n张无雨图像分解出的细节图像,
为第n张有雨图像第一次分解保留的浅层细节图像,
为第n张有雨图像第二次分解保留的深层细节图像。通过多细节分解图像可以直接对图像的细节部分进行训练,减少有雨图像在卷积神经网络中提取特征时造成的亮度、饱和度损失,避免目标函数损失值偏大,导致网络训练不收敛。
3 实验结果及分析
3.1 数据集及评价指标
为了证明本文所提方法的有效性,我们分别在合成的雨图数据集和真实的雨景图像上进行测试对比不同方法的去雨效果。
用于训练的数据集来自Fu等[5]提出的Rainy_
图4 多细节卷积神经网络去雨框架
Fig.4 The framework of image rain removal based on multi-detail convolutional neural network
image_dataset。该数据集包含14000张合成的有雨图像和1000张真实的无雨图像。数据集中的有雨图像由1000张真实无雨图像合成,每张无雨图像合成14张具有不同方向、大小雨条的有雨图像。训练时,选取数据集中的12600张有雨图像作为神经网络的训练集,而剩余的1400张有雨图像作为测试集。此外,本文同时采用Li等[10]提出的Rain12和Yang等[11]提出的Rain100L数据集验证本文所提方法的性能。Rain12与Rain100L数据集均只含有一种雨条纹类型,分别包含12张测试图片和200张测试图片。
鉴于本文所用测试集有可供参考的真实图像,因此,我们选择结构相似度(SSIM)[12]和峰值信噪比(PSNR)[13]来比较本文算法与Fu等[5]算法的性能,其中SSIM是一种考虑人眼视觉感知的图像质量评价方法,常用来衡量两幅图像的相似度,该值越大表示两幅图像之间越相似,算法性能越好。峰值信噪比常用于测量图片的重建质量, PSNR值越高说明图片的重建质量越好。值得一提的是,本文旨在于无需图像增强作为后处理即可有效去除单幅图像上的雨条信息。为了进行公平比较,本文实验对比是在不同去雨方法(如所提方法,Fu[5]等)未采用图像增强作为后处理的设定下进行的。
3.2 训练配置
本文实验是在Windows Server 2012系统的Tensorflow软件上完成的,显卡配置是NVIDIA的GeForce GTX 1080Ti。
训练网络时,随机选取输入图像(有雨和无雨细节图像)上64×64像素大小的图像块作为一对样本输入到卷积神经网络中。网络模型训练采用随机梯度下降策略,初始学习率大小设定为0.001,小批量数据大小为10个样本,最大迭代次数为100000。
3.3 合成雨图测试
表1、2列出了本文所提方法与Fu[5]的方法在上述三个数据集上的SSIM与PSNR比较,可以看出,本文所提出的方法在两种评价指标上都要略优于Fu[5]的方法。
表1 在合成数据集上的PSNR质量评价对比结果
Tab.1 Quantitative measurement results using PSNR on synthesized testing images
图像Fu[5]本文方法Rainy_image_dataset24.075624.1818Rain1227.905728.5252Rain100L25.079225.6771
表2 在合成数据集上的SSIM质量评价对比结果
Tab.2 Quantitative measurement results using SSIM on synthesized testing images
图像Fu[5]本文方法Rainy_image_dataset0.89630.9001Rain120.93860.9415Rain100L0.91530.9186
图5展示了本文所提方法,Li[10],Fu[5]的方法在四幅合成图像上的去雨效果。从视觉效果上可以看出,Li[10]的方法得到的去雨图有显著的雨水残留,Fu[5]的方法在去雨图像上有明显的去雨痕迹,而本文所提方法能够有效地去除有雨图像上的雨条,并且去完雨条后的图像背景上几乎没有雨条痕迹残留。为了更清楚的对比去雨效果,本文选取图5中红框表示区域进行局部放大,如图6所示,表明本文所提方法所得到的去雨图像具有更好的视觉效果。该结果进一步验证了本文所提方法的优越性。
图5 四幅合成图像去雨效果展示
Fig.5 Results on four synthesis rainy images
图6 去雨图像局部放大
Fig.6 Partial enlargement of the results of rainy images
图7 三幅真实雨景图像去雨效果展示
Fig.7 Results on three real-world rainy images
3.4 真实雨景测试
真实雨景图像的测试结果如图7所示,从视觉上可以看出,尽管本文是采用合成的雨图数据来训练所提出的多细节卷积神经网络模型,所提方法对真实雨景下的图像仍然具有良好的去雨效果。从图中可以发现,即使在雨条较为明显的情况下,本文所提方法仍然有效地去除了真实雨图上的雨条。
3.5 多细节与单细节的对比
为了进一步突出所提多细节卷积神经网络的优越性,本文给出了多细节卷积神经网络与单细节卷积神经网络的去雨结果对比示例,其中单细节卷积神经网络的去雨方法为图4所示浅层细节图像进行训练所得。由该示例图8可以看出,尽管基于单细节网络的去雨方法取得不错的去雨性能,但是本文所提方法可以进一步提升去雨效果,如红框表示局部放大区域中,单细节网络的去雨方法仍有部分雨痕,而所提多细节网络的去雨方法几乎没有雨痕残留。在其他图像的去雨结果上也可以得到类似的结论。因此,基于多细节卷积神经网络的去雨方法优于基于单细节卷积神经网络的去雨方法。
图8 单细节网络与多细节网络的去雨效果对比
Fig.8 The comparison of de-rained images from the multi-detail CNN and single-detail CNN
4 结论
本文提出了一种基于多细节卷积神经网络的单幅图像去雨方法。所提方法通过引导滤波器提取不同频率的细节图像,结合不同细节图像以有效地消除残留雨痕且能够防止去雨过程中造成的图像过度平滑。在合成雨图和真实雨景图像上的实验结果表明,本文所提方法优于现有去雨方法。
[1] Garg K, Nayar S K. Detection and removal of rain from videos[C]∥Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on. IEEE, 2004, 1: I-I.
[2] Chen J, Tan C H, Hou J, et al. Robust video content alignment and compensation for rain removal in a CNN framework[J]. arXiv Preprint arXiv: 1803.10433, 2018.
[3] Kim J H, Lee C, Sim J Y, et al. Single-image deraining using an adaptive nonlocal means filter[C]∥Image Processing(ICIP), 2013 20th IEEE International Conference on. IEEE, 2013: 914-917.
[4] Luo Y, Xu Y, Ji H. Removing rain from a single image via discriminative sparse coding[C]∥Proceedings of the IEEE International Conference on Computer Vision, 2015: 3397-3405.
[5] Fu X, Huang J, Ding X, et al. Clearing the skies: A deep network architecture for single-image rain removal[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2944-2956.
[6] Qian R, Tan R T, Yang W, et al. Attentive generative adversarial network for raindrop removal from a single image[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 2482-2491.
[7] He K, Sun J, Tang X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013(6): 1397-1409.
[8] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C]∥Computer Vision, 1998. Sixth International Conference on. IEEE, 1998: 839- 846.
[9] 田钰, 曾焕强, 邢露, 等. 利用边缘相似度的光场图像质量评价[J]. 信号处理, 2018, 34(10): 1197-1202.
Tian Yu, Zeng Huangqiang, Xing Lu, et al. Light field image quality assessment using edge similarity[J]. Journal of Signal Processing, 2018, 34(10): 1197-1202.(in Chinese)
[10] Li Y, Tan R T, Guo X, et al. Rain streak removal using layer priors[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 2736-2744.
[11] Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1357-1366.
[12] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600- 612.
[13] Huynh-Thu Q, Ghanbari M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics Letters, 2008, 44(13): 800- 801.
