融合暗通道滤波和空间金字塔的图像去雾算法

我国海洋面积约占三百万平方公里。中国海海洋拥有极为丰富的海洋资源,带动着中国经济的发展,同时导致海上交通状况日渐复杂。当今,在面对其他国家的非法船只或人员非法入侵中国海域进行监控、占领中国岛屿进行海上非法行为,我国迫切需要加强海上监控力度。我国目前检测海上目标的主要手段是通过红外摄像机监控海面状况,再通过计算机进行海上目标检测。红外摄像机具有夜间监视性能佳、隐蔽性强等显著优势。且红外监视系统不受电磁干扰,能为海情工作人员提供稳定、清晰地图像数据。然而,利用红外摄像机监控海情还存在着一些问题需要我们进行进一步的研究。受恶劣天气影响,虽然红外摄像机拥有较好的适雾性能,但在变幻莫测的海面上,水气、雾气仍然会影响红外成像,导致成像图像不清晰等问题。因此,为了提高海上目标检测准确度,对红外图像进行雾气去除具有重要意义。

目前,国内外学者对红外图像除雾的方法分为两类。一类是基于物理模型的图像恢复,另一类是基于增强图像的图像恢复。图像恢复算法的目标是获得具有良好可见性的自然清晰的图像。现有去雾效果较好的方法包括对比度有限的自适应直方图均衡化(CLAHE)方法[1]、同态滤波法[2]、基于Retinex理论方法[3]、小波转换法[4]、暗通道先验方法[5]、灰度变换[6]等。这些方法的去雾原理为:将图像中的雾气看做低频信息,通过不同手段提取高频信息来达到除雾的目的。基于Retinex 理论方法[3]由McCann及Land两人于1960年提出。该理论基本思想为:人类所感知到事物的颜色和亮度是由该物体本身进入人眼的颜色、亮度和该物体周围的颜色和亮度共同影响。多尺度小波变换[7]可以描述信号在时间域和频率域的局部特性,并利用物体在频域上表现的不同来达到图像增强。偏微分方程图像增强算法[8]广泛应用于底层图像恢复。该方法具有在不同的方向上呈现出差异的性质,能够在去雾的同时保留图像的边缘信息。Treibitz[9]等人将图像恢复效果与一幅或两幅极化图像进行比较,得出使用两幅极化图像可以降低图像恢复的噪声。再利用具有不同方向的偏振滤光片,获得了同一场景下不同亮度的偏振图像。这种类型的图像恢复算法使用至少两个偏振图像来估计物理参数,然后反演求解图像恢复的物理模型。Chen[10]提出了一种改进的DCP去雾算法,利用可见光和近红外图像恢复近红外图像。为了提高除雾效率,首先使用降采样算法调整传输大小,然后使用引导图像滤波对传输进行优化。Tang等人[11]提出了一种新的基于学习的传输估计方法。他们使用随机森林来学习回归模型,该模型揭示了灰度相关特征与图像斑块真实传播之间的关系。对于未知的雾状图像,首先将图像分割成几个小块,提取与雾相关的特征,然后使用学习的随机森林模型获得每个图像块的传输。在此基础上,对每个图像块的传输进行聚合,得到粗传输。为了增强室外雾化图像场景。Zhao等人[12]在模糊图像去雾的MSR算法中使用非线性sigmoid函数代替对数函数。该算法可以大大增强图像的局部对比度,提高图像的可见性。这些算法通过选取合适参数都能获得较好的结果,但面对海上红外图像噪点多、且有干扰信息存在的情况下,除雾效果仍不明显。

2 基于红外图像的多级递归空间金字塔大气光估计算法

2.1 一种自适应的红外图像海天分割算法

实验中观察了近3000幅不同海上红外图像,分析出海上红外图像中,由于拍摄相机的稳定,海天分割线几乎呈水平状态。对于数据集中海天线倾斜的图片,我们将倾斜部分做水平处理。设一幅图像为I(x,y),(x,y)表示图像中某个像素点的坐标,Isky(x,y)表示分割后的天空图像。本文首先利用Canny算子[13]检测图像轮廓,再利用霍夫变换[14]来对海天线进行检测,分割得到图像中的天空区域并保存为Isky(x,y),用于接下来的全局大气光估计分析。图1为自适应红外图像海天分割算法流程图,图2为利用自适应海天分割算法后得到的实验图。

2.2 多级递归空间金字塔大气光估计算法

现有的去雾算法,在求取全局大气光值(Global Airlight,下文简称A)时,往往采用对图像遍历求取像素最大灰度值。这种算法在实验中存在着以下两个问题:

(1)基于穷举遍历的全局大气光值A的估计算法时间复杂度较高,不适用于实时处理任务。

(2)图像传感器的噪声干扰导致全局大气光A的估计值鲁棒性较差。

为了避免以上两种现象的产生,本文提出多级递归空间金字塔算法估计大气光A。具体实现将在下文描述。

2.2.1 三级子块分割

子块分割是将海天分割后得到的红外天空图像Isky(x,y)划分为左上(UL)、左下(LL)、右上(RU)、右下(LR)四个区域。对四个区域分别求取亮度平均值,对比出亮度平均值最大的区域,然后将亮度平均值最大的区域再次进行二级子块分割,找出二级子块中亮度平均值最大的区域进行三级子块分割,最后得到三级子块中亮度平均值最大的区域

如图3、图4所示。

Sep 1 将进行海天分割后的天空区域图像进行第一次子块分割,分成四个子区域;

Sep 2 分别计算四个一级子块的平均灰度值;

Sep 3 选出平均灰度值最大的一级子块,将其进行二级子块分割,得到四个二级子块;

Sep 4 将二级子块进行图像灰度平均值对比,选出灰度平均值最大的二级子块将其进行三级子块分解;

Sep 5 对比四个三级子块区域,选出灰度平均值最大的三级子块。

算法流程图如下:

为了方便描述,将每一级子块分割操作过程简化为F(k)(·)表示。其中k表示第k级分割操作。则:

F(k)(·)第k级子块分割数学描述如下:

假定第k级的第m个子块为Ikm,则各子块的平均灰度值

为:

然后获取每一子级灰度均值最大的子块作为下一级分割的输入:

在本文中,只考虑到0<k<3。在公式(1),(2),(3),(4)中,

即

是三级子块中亮度平均值最大的区域。红外图像是单通道图像,因此求取亮度平均值可以转换为求取红外图像的灰度平均值。公式(2)表示对图像子块的每个像素,计算出该像素的灰度值

表示子块的平均灰度值,其中,δ是一个较小的常数,通常取0.0001,避免了求对数时Sm趋于负无穷的现象。

2.2.2 高斯滤波全局大气光值局部化估计

在大气光值A的估计过程中,存在红外图像获取时,图像传感器的噪声干扰导致全局大气光A的估计值鲁棒性较差的问题。基于这一现象,本文采用了高斯滤波[15]局部化大气光值估计的思想。

首先对三级子块分割获得的平均亮度最大子块

进行高斯滤波,滤除掉在成像过程中产生的噪声点;其次,假设在一定区域内,大气光成分值是恒定不变的,采取邻域模板估计方式,设置局部块的大小,依次比较局部灰度值大小,将不超过一定阈值内的最大灰度值设置为全局大气光A。

公式(5)中A(x,y)为红外图像大气成分值,(x,y)是红外图像中的像素点,AI表示红外图像的大气成分值,Ω(x,y)是像素点(x,y)附近的邻域范围。实验证明,当局部化邻域窗口偏大时,估计到的全局大气光值A用于图像去雾处理效果会失真,并且会失去许多边缘信息。因此,需要选择较小的局部化邻域窗口,得到的较优的全局大气光值A使处理后的图像接近真实情况。本文选择的邻域窗口大小长宽约为15×15。

3 一种改进型的红外图像透射率估计算法

何凯明[5]等人是基于暗通道先验思想对彩色图像进行去雾。即:在大多数非天空区域中,总是存在一些像素点,至少有一个颜色通道取值极低。然而暗通道先验算法并不能适用于海上红外图像去雾。这是因为,暗通道先验的思想是否能适用于红外图像去雾处理有待研究。因此,我们对清晰红外图像和有雾气干扰的红外图像进行统计分析,发现对清晰红外图像基于滑动窗进行最小值滤波后得到的图像较为黑暗,而对有雾气干扰的海上红外图像进行最小值滤波后得到的图像呈现大量的灰色。鉴于此,不同于文献[5]中用于彩色图像的去雾算法,本文提出一种改进型的红外图像透射率估计算法。该方法利用滑动窗最小值滤波,得到海上红外图像的先验信息,在此基础估计出透射率。

1976年,McCartney首次提出了基于散射理论的大气散射物理模型[16],下图为雾气干扰情况下的物理大气散射模型。该模型由大气光模型和直接传输模型组成。在直接传输模型中,由于成像的光会被大气散射衰减,导致图像边缘细节和目标纹理退化。对于清晰的图像,直接传输模型在成像模型中占有很大的比重。随着雾浓度的增加,直接透射模型的比例会减小,而全局大气光A模型的比例会增大,图像的能见度会降低。即:全局大气光A模型是导致雾化条件下获得的图像是对比度低、能见度低的模糊图像的主要原因。

常用于图像恢复物理模型[17]可以描述为:

其中,I

是天空的亮度,β表示大气的散射系数,ρ(x)是一个场景点x的归一化辐射,L(x)代表物体位置点x和红外摄像机之间的距离。右侧第一项表示直接传输模型,第二项表示大气光模型。

结合红外摄像机成像原理以及基本图像恢复物理模型,假设红外图像大小为m×n,F(x,y)表示在有雾天气下获得的红外图像,AI表示红外图像的大气成分值,tI(x,y)表示红外图像的大气透射率,JI(x,y)表示不受雾气干扰的红外清晰图像。本文定义在有雾天气下,红外图像雾气退化模型可写为:

为了求得不受雾气干扰的红外清晰图像JI(x,y),在已经获得雾气干扰的红外图像的前提下,如果估计出大气透射率tI(x,y)和大气成分值AI,就可以反求得到清晰图像JI(x,y),从原理上去除雾气干扰。

基于何凯明暗通道先验算法的思想,本文将1000余幅红外图像分为清晰图像和雾气干扰图像。分别对这两组实验红外图像进行最小值滤波,本文选择滤波窗口为15×15,实验结果如下图所示。实验证明,清晰地红外图像最小值滤波后得到的图像较为黑暗,反之,雾气干扰的红外图像最小值滤波后的图像呈现大量的灰色。

基于以上实验结果,本文定义了红外图像的暗通道图像

其中,Ωd(x,y)表示以像素点(x,y)为中心,大小为d×d的邻域。

本文第2.2节已经给出了一种新的、快速的定位全局大气光值的算法:

将公式(7)等式两边同时除以大气成分值AI,并同时在邻域区域Ωd(x,y)内对F(x,y)和JI(x,y)进行最小值滤波,得素点亮度最小值:

通过对红外图像进行最小值滤波后的实验结果可知,无雾情况下的红外图像总有一个像素点取值很低,近似为0,即:

红外图像的大气透射率tI(x,y)为:

其中,ωI(0≤ωI≤1)是为了保留一定的深度信息而设置的,ωI可以取0.95。最后,结合公式(9)推导出最终去雾后的图像为:

其中t0是为了防止透射率tI(x,y)过小,导致JI(x,y)偏大而设置阈值,通常情况下取0.01。

4 实验结果分析

为验证本文算法在图像除雾效果和运行时间上的优越性,本小结将实验对比分为两个部分:(1)对已有的海上红外带雾图像分别用对比度有限的自适应直方图均衡化方法[1]、同态滤波方法[2]、基于Retinex理论算法[3]、暗通道先验方法[5]和DCF-SP算法进行图像去雾,从视觉效果上主观对恢复图像进行分析;(2)对上述五种方法恢复出的图像进行定量分析计算还原图像质量指标。DCF-SP算法部分参数设置如下:Ωd(x,y)中邻域大小d=15,权重ωI取值为0.95,t0取值为0.01[5]。

4.1 定性分析

定性分析实验共分为四组,四组实验数据均来自于不同的红外视频。具体实验环境设置如下:实验一为薄雾环境下,图中出现亮有船灯的小船;实验二为薄雾环境下,图中出现无船灯的小船;实验三为重雾环境下,图中出现未亮有船灯的船;实验四为重雾环境下,图中出现亮有船灯的船。雾化图像对比度差,为了消除雾效应,文献[1]提出了基于对比度有限的自适应直方图均衡化(CLAHE)方法建立了一个最大值来裁剪直方图,并将裁剪后的像素平均分配到每个灰度级别,它可以在增强图像对比度的同时限制噪声。同态滤波[2]是一种基于图像增强的去雾算法,通过滤波处理,将图像中的噪声去除,增强目标与背景的对比度,达到去雾效果。视网膜皮层理论[3]是以人类视觉感官为基础而提出的一套理论,具有色彩恒常性。基本思想为:去除有雾图像中的入射光对目标的影响,从而恢复清晰图像。暗通道先验方法是何凯明[5]等人提出的对室外清晰无雾图像进行统计后发现,在除天空以外的区域内,总是存在某些像素点至少有一个颜色通道取值很低。图10至图13为本文方法与上述四类方法在实验一至四的环境下得到的实验结果。

每一组实验中图(a)为不同时刻的原始帧图像,图(b)为对比度有限的自适应直方图均衡算法,图(c)为同态滤波算法,图(d)为基于Retinex 理论方法,图(e)为暗通道先验算法,图( f )为本文提出的算法。

如图10、13所示,当海上红外图像画面中出现亮有船灯的船时,本文算法具有更好的还原清晰图像的能力。即:在去除低频噪声的同时,保留了图像的细节信息。DCF-SP采取的多级递归算法能够有效地避免海上船舶航行时,亮有船灯的目标导致红外图像整体亮度较高,大气光估计值偏高的问题。图10、图13中(e)图为何凯明的暗通道先验方法,当图像中出现船灯这类干扰信息时,该方法容易将船灯的亮度视为全局大气光值A,与真实大气光值相比存在较大的偏差,导致去雾效果不佳,失去图像中目标的大部分信息。图11中,红外图像拍摄到目标,当利用DCF-SP算法去除掉雾气后,从人眼观测角度来看,可以发现恢复后的图像(图11(f))较原图以及其余算法恢复后的图像(图11(b)、(c)、(d)、(e))更加清晰。当红外图像中船舶行驶未亮起船灯(无干扰信息)但雾气浓度较大时,如图12所示,本文的算法较暗通道先验方法保留细节信息的能力更强,较Retinex方法去除噪声能力更强,综合以上几点,DCF-SP算法能够达到较好的去雾效果。

根据实验结果可知:在雾气浓度不同、图像中有干扰信息的情况下,本文的算法具有良好的鲁棒性,能够真实地还原图像,并且保留住被雾气干扰的图像细节及边缘,效果优于其余四类算法。

4.2 定量分析

EPI全称为边缘保持指数edge preservation index,是衡量图像细节的维护能力的指标[18]。边缘保持指数表示处理后的图像水平及垂直方向边缘的保持能力。EPI值越高,意味着保持能力越高。其计算公式为:

其中,m为图像像元个数,GR1 和GR2分别为左右或者上下相邻像元的灰度值。

Structural similarity index[19](SSIM)即结构相似性指标,该指标能够衡量原始图像和去雾后图像的结构是否具有相似性。SSIM首先由德州大学图像和视频工程实验室首先提出:

公式(16)中,I表示原始图像,J为恢复后的图像。uX、uY分别表示I和J的均值,σI、σJ表示图像I和J的标准差,σI2、σJ2代表图像I和J的方差,σIJ为图像I和J协方差。K1、K2为常数,是为了避免分母为0维持稳定。通常取K1=(C1×L)2, K2=(C2×L)2。一般的,C1=0.01, C2=0.03,L是像素值的范围,取255。

表1中的四组实验分别对应本文4.1节中的实验一至四,并将每组实验中不同方法所得的实验结果进行边缘保持指数和结构相似性指标的测量。结果指标分析,本文提出的DCF-SP在边缘保持效果和结构相似度两项指标中都拥有较好的数据。综合两项数据取平均值,基于Retinex理论方法指标均值为0.73875,暗通道先验方法指标为0.9085,本文算法指标为0.94625。并且,本文算法通过空间金字塔的多级递归这一思想,解决了去雾算法普遍存在的运行速度偏慢的问题,相比于暗通道先验算法提高了10%的运行速度。结合图10至图13的实验仿真图,DCF-SP算法在去除雾气的同时,保留了图像的深度信息,具有较好的鲁棒性,在海面存在干扰信息的环境下也能很好的完成去雾工作,为海上红外目标检测与识别奠定了基础。

5 结论

针对有雾天气下,海上红外图像模糊造成海上目标检测与识别效果不佳的问题。本文提出融合暗通道滤波和空间金字塔的海上红外图像去雾算法。该算法利用空间金字塔思想,估计出的全局大气光A,结合暗通道滤波所得的先验知识,估计出红外图像的大气透射率,再根据雾天成像模型恢复出无雾图像。实验结果表明,本文的算法能够有效地避免海上船舶航行时,亮有船灯的目标导致红外图像整体亮度较高,大气光估计值偏高的问题,具有较好的鲁棒性,更加符合人眼观测和计算机检测,并且缩短了运行时间。为后续的海上红外图像目标检测与识别提供了更高质量的目标信息。

[1] Yadav G, Maheshwari S, Agarwal A. Foggy image enhancement using contrast limited adaptive histogram equalization of digitally filtered image: Performance improvement[C]∥International Conference on Advances in Computing. IEEE, 2014.

[2] Einshoka A A, Kelash H M, Faragallah O S, et al. Enhancement of IR Images using Homomorphic Filtering in Fast Discrete Curvelet Transform(FDCT)[J]. International Journal of Computer Applications, 2014, 96(8): 22-25.

[3] Cheng J, Liu B, Tang X. A Traffic-Congestion Detection Method for Bad Weather Based on Traffic Video[C]∥International Symposium on Computational Intelligence and Intelligent Systems, 2015.

[4] Jun W L, Rong Z. Image defogging algorithm of single color image based on wavelet transform and histogram equalization[J]. Appl. math. sci, 2013(77- 80): 3913-3921.

[5] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Trans. Pattern Anal. Mach. Intell., Dec, 2011, 33(12): 2341-2353.

[6] Wan M, Gu G, Qian W, et al. Infrared small target enhancement: grey level mapping based on improved sigmoid transformation and saliency histogram[J]. Journal of Modern Optics, 2018(2017): 1-19.

[7] Burgiss S G, Whitaker R T, Abidi M A. Range Image Segmentation through Pattern Analysis of the Multiscale Wavelet Transform[J]. Digital Signal Processing, 1998, 8(4): 267-276.

[8] Fu Y, Yan T, Zhang D W, et al. A partial differential equation algorithm for image enhancement[C]∥International Conference on Information & Automation, 2012.

[9] Treibitz T, Schechner Y Y. Polarization: Beneficial for visibility enhancement?[C]∥Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2009: 525-532.

[10] Feng C, Zhuo S, Zhang X, et al. Near-infrared guided color image dehazing[C]∥Proc. IEEE Int. Conf. Image Process., Sep, 2013: 2363-2367.

[11] Tang K, Yang J, Wang J. Investigating haze-relevant features in a learning framework for image dehazing[C]∥Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun, 2014: 2995-3002.

[12] Zhao X, Wang R, Qiu Y. An enhancement method of fog-degraded images[C]∥Proc. SPIE, Feb, 2010: 75461S-1-75461S- 6.

[13] Illingworth J, Kittler J. The adaptive hough transform[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1987, 9(5): 690- 698.

[14] Mu L I, Yan J H, Ge L I, et al. Self-adaptive Canny operator edge detection technique[J]. Journal of Harbin Engineering University, 2007, 29(9): 1002-1007.

[15] Hailiang C, Shujun L I, Wentian D, et al. A Particle Filter Method with Gaussian Clustering[J]. Journal of Guangdong University of Petrochemical Technology, 2017.

[16] McCartney E J. Optics of the Atmosphere: Scattering by Molecules and Particles[J]. New York, NY, USA: Wiley, 1976.

[17] Narasimhan S G, Nayar S K. Removing weather effects from monochrome images[C]∥in Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit.(CVPR), vol.2.Dec.2001, pp.II-186-II-193

[18] 罗会兰, 林家彪. 一种基于多尺度Retinex算法的图像去雾方法[J]. 计算机应用与软件, 2013, 30(4): 58- 60.

Luo Huilan, Lin Jiabiao. An image dehazing method based on multi-scale Retinex algorithm[J]. Journal of Computer Applications and Software, 2013, 30(4): 58- 60.(in Chinese)

[19] Sampat M P, Wang Z, Gupta S, et al. Complex wavelet structural similarity: a new image similarity index[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2009, 18(11): 2385-2401.