深度学习驱动的水下图像增强与复原研究进展

海洋与人类的生活息息相关、紧密相连,其覆盖了地球表面71%的区域,是地球资源的重要组成部分,但是人类对海洋的探索仅为5%,对海洋的开发不足1%。我国海洋资源丰富,有1.8万多千米的大陆海岸线和1.4万多千米的岛屿岸线,随着海洋强国战略和海洋命运共同体理念的不断推进和深化,充分开发海洋资源,发展海洋经济,壮大海洋产业成为国家的重大战略布局和发展必由之路。党中央国务院也在《 “十三五” 国家科技创新规划》中明确部署了“海洋空间站”、“海洋资源开发与利用”、“人工智能”等战略任务。在当今人工智能飞速发展的时代,如何将相关人工智能技术与海洋探测任务结合起来是一个极具研究和应用价值且需要不断探索的方向。作为水下信息的重要载体和呈现形式,水下图像对于水下环境探测与感知具有不可替代的重要作用。然而,受水下特殊的物理化学环境的影响,水下图像往往存在对比度低、细节模糊、颜色失真、清晰度差、非均匀光照、可视距离有限等质量退化现象。退化的水下图像严重影响了解译工作,使得水下图像变得“看不清”、“看不准”、“看不远”、“看不全”,这无疑给水下考古、水下生物研究、水下目标检测、海底探测、水下无人潜航器导航等应用带来巨大的挑战。根据水下成像原理,水下图像退化的原因主要包括两方面：首先,通常在海水中含有悬浮体和各种活性有机体,如细菌、浮游生物和矿物颗粒等,使得海水存在不均匀性。水中悬浮颗粒的存在导致水下场景反射的光线在到达相机之前被悬浮在介质中的粒子吸收和散射,造成低对比度和雾状效果。其次,光的衰减取决于光的波长、溶解的有机化合物和水的盐度等,这造成不同程度的颜色失真。

水下图像增强与复原算法旨在对退化的水下图像进行修复,以期改善原始水下图像的对比度低、颜色失真、细节模糊等问题,获得更加清晰的水下图像。近年来,深度学习技术逐渐兴起且发展迅速,并在许多计算机视觉任务中都表现出了优异的性能,其中也包括水下增强与复原任务。区别于综述论文[1],本文将重点介绍深度学习驱动的水下图像增强与复原方法,并对现有水下图像增强与复原数据集进行比较与分析,以期为研究人员提供一份详尽的进展报告,推动相关领域的发展。本文贡献如下：

1)本文重点分类总结了近年来基于深度学习的水下图像增强与复原方法,介绍了各类方法的核心思想,分析了现有方法存在的问题,以及可能的解决方案;

2)本文详细归纳总结了水下图像增强与复原数据集,比较了不同数据集的特点、来源等,并对数据集的来源、应用场景、优缺点进行了讨论;

3)本文梳理了基于深度学习的水下图像增强与复原任务需要解决的关键性科学问题,并对未来的研究方向进行了展望。

本文的其余部分安排如下。第2节首先介绍水下成像模型和分类方法,然后第3节简单介绍传统无监督的水下图像增强与复原方法,紧接着在第4节详细总结基于深度学习的方法,包括基于卷积神经网络(Convolutional Neural Networks, CNN)的方法和基于生成对抗网络(Generative Adversarial Networks, GAN)的方法。然后,在第5节重点介绍目前已经公开的水下图像增强与复原数据集。最后,第6节讨论基于深度学习方法的关键问题,并对未来研究方向进行展望。

2 水下图像增强与复原概述

2.1 水下成像模型

为了直观的观察水下图像,图1给出了不同水下环境拍摄图像的示例。由于光的选择性吸收作用,水下图像会产生颜色失真。例如一般水下环境波长较长的红光比绿光和蓝光被海水吸收得更多,因而水下图像总是看起来带蓝色或绿色(如图1中第一幅图像)。一般对于清澈的海水,60%的衰减是由散射引起的,40%的衰减是由吸收引起的。而且,水中悬浮颗粒的散射降低了水下图像的对比度,而且许多细节变得比较模糊(如图1中第二幅图像)。研究发现,水下成像模型不同于大气成像模型,根据Jaffe-McGlamery水下成像模型,由相机所获取的水下图像可以表示成3个分量的线性组合,即直接分量、前向散射分量以及后向散射分量。其中,前向散射光作为目标表面反射或辐射经水中悬浮粒子散射后进入成像系统的光,将导致成像系统获取的图像呈现模糊的现象;后向散射光作为自然光入射到水体经悬浮粒子散射后进入成像系统的光,将导致成像系统获取的图像呈现低对比度的现象。图2给出了水下成像模型的示意图。

通常情况下,由于物体与相机的距离较小,可以忽略前向散射分量造成的影响。那么,水下成像模型可以简化为：

其中,I(x)表示原始图像,J(x)表示清晰图像,J(x)t(x)表示直接分量,B(1-t(x))表示后向散射分量,B表示水下环境光,t(x)表示场景光透射率。由于水对不同光的吸收率不同,不同通道光线的t(x)不同,因此成像模型可以进一步表示为：

其中,c∈{R,G,B}表示不同的颜色通道。

2.2 水下图像增强与复原的分类方法

根据是否采用深度学习技术,本文将水下图像增强与复原方法分为传统无监督方法和深度学习方法两类,如图3所示。经过调研,基于深度学习的方法根据其采用的主体模型可以进一步划分为基于CNN的方法和基于GAN的方法。根据是否引入水下物理模型,可以将基于CNN的方法进一步划分为两类：一类是结合物理模型的方法,将物理成像与数据驱动相结合来实现图像增强;一类是非物理模型的方法,仅仅依靠数据驱动来实现神经网络学习。根据采用的具体GAN模型不同,可以将基于GAN的方法分为基于条件生成对抗网络(Conditional Generative Adversarial Network, cGAN)的方法和基于循环一致性对抗网络(CycleGAN)的方法。

3 传统无监督水下图像增强与复原方法

无监督方法通常借助硬件设备的升级或者软件算法后处理来提升水下图像的质量,可以大致分为基于硬件的方法和基于软件的方法两大类。

3.1 基于硬件的方法

最初,为了获得高质量的清晰水下图像,研究人员首先想到的是通过升级硬件成像设备来达到此目的。因此,研究人员设计了许多硬件平台和摄像头[2-3]来提高水下图像的能见度,硬件平台包括距离成像[4-5]、荧光成像[6]和立体成像[7]等;相机包括水下摄像机[2]、漂移水下摄像机系统[8]、双目摄像机[9]和水下三维扫描仪[10]等。所有这些研究已被应用于各个领域,如水下生物探测、水下目标检测等。但是这类方法的成本较高,且并不能解决不同水下环境带来的不同问题,导致实际应用受限。

3.2 基于软件的方法

为了降低升级硬件带来的成本增加问题,研究人员逐渐将研究重心转移到基于软件的方法上,即通过设计一些无监督算法来优化现有成像设备拍摄得到的水下图像,方法可大致分为非物理模型方法和基于物理模型方法两大类,该类方法在文献[1]中进行了详细地综述,本节将简单进行回顾和介绍。

3.2.1 非物理模型方法

非物理模型方法并不依赖具体的成像模型,主要通过直接调整图像的像素值来达到改善视觉质量的目的,属于图像增强范畴。这类方法有的直接将现有的图像增强方法(如直方图均衡化[11]、灰度世界假设[12]、限制对比度直方图均衡化[13]、带色彩恢复的多尺度视网膜增强[14]、自动白平衡[15]、色彩恒常性[16-17]、小波变换[18-19])应用到水下图像数据,也有的专门针对水下图像特性设计了专门的算法(如颜色修正方法[20-21]、综合性方法[22-25]等)。非物理模型方法可以在一定程度上提高图像的视觉质量,但由于其并未考虑水下成像的光学特性,容易引入颜色偏差和伪影,也可能会加重噪声,存在过饱和和欠饱和问题。

3.2.2 基于物理模型的方法

基于物理模型的方法的核心在于对水下图像的退化过程进行数学建模,根据模型进行参数估计,然后反演得到清晰的水下图像,属于图像复原范畴。这类方法有的基于假设条件或先验知识,如通过假设条件反演复原水下图像[26-27]、通过场景统计先验复原图像[28];有的基于水下成像光学属性,如通过大气湍流模型改进复原图像[29]、通过设计新的水下成像模型来恢复图像[30]、通过考虑水下成像模型特点来复原图像[31-38]。此外,研究人员也提出了一些基于图像去雾的方法[39- 43]。基于物理模型的方法依赖于水下成像过程的数学建模,而模型通常建立在一定的假设先验基础上,具有一定的局限性,而且参数估计算法复杂度高,在人造光源光斑移除、颜色修正等方面效果不佳。

4 基于深度学习的水下图像增强与复原方法

近年来,深度学习技术因其强大的特征学习能力已经被广泛应用于各类视觉任务,并取得了极具竞争力的性能。本节将重点介绍基于深度学习的水下图像增强与复原方法,根据其采用的网络模型不同,将其大致划分为基于CNN的方法和基于GAN的方法。

4.1 基于CNN的方法

卷积神经网络是一种最常用的深度学习结构,一般由多个卷积层组成,在监督信息的作用下能够有效提取从底层细节到高层语义的不同特征表达,进而利用这些具有判别力的特征实现不同的任务。根据是否结合水下物理模型,可以进一步将基于CNN的方法划分为结合物理模型的方法和非物理模型的方法。

4.1.1 结合物理模型的方法

在基于物理模型的传统水下图像增强方法中,通常都需要估计公式(1)中的传输图,但传统方法往往需要基于一些先验或知识,这使得估计出的传输图并不准确而且易受人工因素的干扰。因此,结合物理模型的CNN方法目的就是在于通过CNN网络获得更加准确的传输图,进而反演得到更好的水下图像,其方法大致流程可分为两步,第一步利用卷积神经网络估计传输图,第二步利用传输图结合水下成像模型完成图像增强与复原,流程如图4所示。

Hou等人[44]提出了一种联合残差学习的水下图像增强网络,将水下图像增强任务建模为同时学习传输图和场景残差,模型包括用于传输图估计的数据驱动的残差结构和用于水下照明平衡的知识驱动的场景残差计算方法。因此,该方法可以将先验知识和数据信息整合在一起以研究水下图像的潜在分布。网络的输入是一个由物理先验生成的粗糙特征图,采用残差学习策略的制定和批量规范化来提高学习效果,得到精细的传输映射。最后,利用一种基于灰度世界假设和多尺度局部最大饱和度特征的光照平衡方法来校正颜色。Barbosa等人[45]提出了一种基于CNN的水下图像增强方法,通过使用一组图像质量度量来指导恢复学习过程,不需要真实清晰的水下图像数据。此方法包括两个阶段的学习。首先,利用DehazeNet[46]来执行监督训练以估计传输图,并根据水下成像模型恢复输入图像。在第二阶段,通过最小化图像质量指标组成的损失函数来指导视觉驱动学习,最后进行图像恢复。该方法旨在通过处理模拟数据来恢复图像,因此不需要大量的真实数据。实验表明,该方法提高了保留边缘的水下图像的视觉质量,并在考虑UCIQE度量的情况下取得了良好的效果。Liu等人[47]提出了一种基于传输的图像增强任务的统一范式,明确地将场景残差层引入经典成像模型中,形成了针对大范围基于透射的图像增强问题的统一模型,同时开发了一个复合展开框架来生成混合图像层传播。该框架将数据驱动的CNN作为复合层先验集成到优化中,交替地对传输图进行细化,恢复潜在的清晰场景层。具体来说,当多个深度训练的先验被集成到迭代传播方案中时,深度模型可以识别不同应用程序的特定任务属性和数据分布。该框架在各种基于传输的任务(如雾霾去除、水下图像增强和雨水去除)上具有优越性能。

将CNN与水下成像物理模型相结合是一把双刃剑,一方面结合物理模型后的CNN网络可以充分考虑水下图像退化形成的原因,使得网络模型更具解释性,但同样也受限于物理模型,如何设计一种真实、合理的水下成像模型也是一个十分艰难的课题。

4.1.2 非物理模型的方法

非物理模型的CNN方法将研究的重心放置在网络模型的设计与损失函数的构建上,借助CNN强大的学习能力,将原始水下图像送入网络模型后直接输出增强和复原后的清晰水下图像,其基本流程如图5所示。该类方法可以摆脱模型假设或先验条件的约束,直接学习原始水下图像与清晰水下图像之间的映射关系,算法的适应性较好。

Wang等人[48]提出了一种端到端的水下图像增强网络,记为UIE-Net,主要包括颜色校正子网络(CC-Net)和去雾子网络(HR-Net),网络可以同时学习颜色校正和去雾两个任务的有效特征表示。学习到的特征可能会受到微小纹理和噪声的影响,从而阻碍颜色校正和雾度去除。为了更好地提取局部块的内在特征,设计了一种像素打乱策略,可以抑制微小纹理和颜色噪声的干扰,大大提高了收敛速度和精度。而且,为了实现UIE-net的训练,论文基于水下物理成像模型合成了一个包含200000个训练图像的合成数据集。Sun等人[49]提出了一种基于对称的编码器-解码器的水下图像增强模型,用于学习从低质量水下图像到高质量水下图像的映射。该模型以像素对像素的自适应方式实现图像增强,而不考虑物理环境。卷积部分的设计用于滤除噪声并保留关键的细节特征,反卷积部分则用于细化对应卷积层的每个特征图的细节。并在卷积层和反卷积层之间采用跳连接,加速了网络的训练过程。Li等人[50]提出了一种基于水下场景先验的水下图像增强CNN模型,称为UWCNN。该模型不需要对水下成像模型的参数进行估计,而是结合水下成像物理模型和水下场景的光学特性,合成了涵盖不同水类型和退化程度的水下图像退化数据集,利用相应的训练数据对网络进行训练,通过联合优化多项损失,在保持原始结构和纹理的同时重建清晰的水下图像。此外,基于网络结构的轻量级和有效的训练数据,UWCNN模型可以很容易地扩展到水下视频中进行逐帧增强。这种轻量级的网络结构主要得益于嵌入式先验知识,它促进了网络的训练和推理,可以设计用于模式识别、目标检测和视觉理解的类似网络。

传统的水下视觉显示系统存在着可视性差、实时性差、分辨率低等问题,在极端环境下无法满足实时高清显示的要求。针对这一问题,Li等人[51]提出了一种同时对水下图像进行增强和超分辨率重建的算法。对于水下图像增强任务,利用Retinex算法对水下图像进行去噪处理,并利用伽马校正提高图像亮度,最后结合暗通道先验和多层感知器进一步细化传输图,提高图像的动态范围。在超分辨重建过程中,提出了一种基于颜色特征的卷积神经网络算法,主要改进了基于SRCNN[52]的输入通道。将原始的Y通道输入改进为RGB多通道输入训练,然后对输出图像进行融合,提取更多的颜色特征和高频信息,实现高分辨率图像的更好重建。该方法对大多数图像都获得了较好的重建效果,但对于边缘不清晰、纹理不规则的图像,其优势并不明显。

对于水下图像,真实的清晰数据是很难获得的,通常的解决方案就是采用合成数据,但其与真实场景差别较大,具有较大的局限性。Katherine A等人[53]提出了一种无监督的深度神经网络,以原始的彩色水下立体图像为输入,输出稠密的深度图和颜色校正的水下图像。该方法利用水下图像的成像模型、图像处理技术以及立体视觉问题固有的几何约束,开发出优于现有方法的模块化网络。具体包括两个阶段,第一阶段是视差估计模块,输入原始的彩色立体图像对,并利用现有方法估计对应的视差图。第二阶段是颜色校正模块,首先将估计的视差图转换为深度图,然后将左右视图对应的深度图和原始图像输入颜色校正模块,得到校正的左右视图,再输入预训练好的初始视差估计网络对视差进行修正。网络的损失函数包括光度变形损失、循环重建损失和图像质量损失(包括灰度世界假设、锐度和对比度度量等)。Li等人[54]提出了一种基于GAN的无监督水下图像生成方法,记为WaterGAN,该网络利用空气中的RGB图像和对应的深度图像生成逼真的水下图像,生成器的目标是输出判别器分类为真实的合成图像,判别器将合成图像和真实水下图像的作为输入,并将每个样本分类为真实或合成。生成器由三个阶段组成,第一部分根据衰减模型的简化公式Jaffe-McGlamery模型,输入空气中的RGB图像,输出估计的衰减系数图;第二部分输入相应的深度图和一个噪声向量,输出背景光B;第三部分考虑到相机型号,对渐晕进行建模。得到合成后成对水下图像后,提出了一种颜色修正网络,输入合成的水下RGB-D图像,并在基本的编码器-解码器结构上加入了跳连接以补偿通过网络的高频成分的损失,进而提高网络训练的收敛速度,提高恢复图像的质量。通过合成图像来训练颜色校正网络,缓解了数据集匮乏的问题。Liu等人[55]提出了一种基于残差学习的水下图像增强框架,该框架旨在构建更深层的网络,提高水下图像增强的性能。为解决数据集匮乏的问题,利用循环一致性对抗网络(Cycle-Consistent Adversarial Networks, CycleGAN)生成水下合成图像作为卷积神经网络模型的训练数据,并提出了一种用于水下图像增强的水下残差网络,而且模型将用于超分辨率重建任务的VDSR模型[56]引入水下图像增强领域。损失函数和训练模式改进的边缘差分损失(Edge Difference Loss, EDL)提高了深度学习模型的细节增强能力。该方法还提出了一种异步训练策略,首先使用EDL计算梯度并执行反向传播以更新网络的权重,帮助网络恢复边缘信息和细节;然后使用MSE损失计算梯度并反向传播以更新网络的权重。该方法能显著提高水下图像的视觉效果,并且有助于基于视觉的水下任务的分割和跟踪。Liu等人[57]设计了一种新型的残差架构来聚合先验知识和数据信息,以传播用于场景辐射率估计的传输信息。该方法搭建了先验驱动的模型和数据驱动的网络之间的桥梁,并可以通过一个带有灵活优化方案的任务感知图像分离公式,将提出的模型扩展到更有挑战性的视觉任务,如水下图像增强和单图去雨等。

Wang等人[58]提出了一种新的方法来增强低能见度的水下图像。与之前方法直接对退化图像不同通道进行增强不同,该方法提出了一种基于Lp范数(p=0,1,2)分解的多级分解方法。根据Lp范数对图像空间信息的不同稀疏表示能力,将图像分解为细节层、结构层和照度层,并对三个层次单独操作。由于这种新的分解方法是基于图像的结构内容,而不是传统的多分辨率金字塔分解中采用的直接逐像素下采样,因此具有更高的精度和灵活性。该方法可以产生对比度好、细节精度高、动态亮度范围相对均匀的输出。

4.2 基于GAN的方法

生成对抗网络(Generative Adversarial Networks, GAN)旨在通过生成模型和判别模型的互相博弈对抗学习产生较好输出的一种网络结构,常用于图像生成、风格迁移等任务。生成模型目的在于通过网络学习生成尽可能接近于真实图像的图像,使得判别模型无法区分图像真假,而判别模型则用于区分是合成图像还是真实图像,如果不能欺骗判别模型,则继续对生成模型进行学习。GAN这种通过数据驱动的训练方式,更适合处理由多种因素共同作用所引起的水下图像退化问题,因此GAN模型在水下图像增强与复原领域具有较广泛的应用,其基本的方法按流程如图6所示。

4.2.1 基于条件生成对抗网络(cGAN)的方法

原始GAN网络的输入是一个随机的噪声,输出是一个服从某个分布的随机图像。换言之,借助GAN网络可以自动学习数据的分布特性,进而生成样本图像,但其缺点在于图像是随机生成的,不能控制生成图像的类别属性,进而导致输出图像随机性大,结果不稳定。为此,研究人员在原始GAN网络的生成器和判别器上添加额外的条件信息,得到了条件生成对抗网络(Conditional Generative Adversarial Network, cGAN[59]),额外的条件信息可以是类别标签或者其他的辅助信息,因此cGAN的图像生成过程是可控的。在水下图像增强领域,cGAN网络也得到了广泛的应用。

Guo等人[60]提出了一种新的多尺度稠密生成对抗网络用于水下图像增强,记为UWGAN,生成器用于合成水下图像,判别器用于区分生成器生成的合成图像和对应的真实水下图像。在生成器中引入残差多尺度密集块,其中多尺度操作、密集级联和残差学习分别用于提高性能、渲染更多细节和充分利用特征。判别器则采用计算光谱归一化的方法来稳定判别器的训练。同时,该方法利用非饱和损失、L[注] https:∥github.com/kskin/WaterGAN/损失和梯度损失来生成视觉舒适的图像。在实际水下场景中,现有方法的实时性和自适应性的仍有很大欠缺,为此,Chen等人[61]提出了一种基于GAN的水下图像复原方案,记为GAN-RS。具体来说,生成器采用一种编码器-解码器结构,通过9个残差块和反卷积运算,以原始分辨率生成合成图像。为了同时保持图像内容和去除水下噪声,该方法提出了一种包含对抗分支和批评分支的多分支判别器,并为此设计一种新的损失函数来训练批评分支,即水下索引损失。除了对抗性学习外,一种新的暗通道优先损耗也用于约束生成器产生逼真的视觉效果。该方法能够自适应地实时改善水下视觉质量,并产生整体优越的恢复性能。Zhou等人[62]首次提出了一种基于物理模型的反馈控制和域自适应机制的鲁棒对抗学习水下图像增强框架,将物理模型与GAN网络进行了结合。在实际应用中,训练数据和测试数据之间普遍存在着一些差异(域差距)。域自适应旨在纠正这种不匹配,通过将真实水下图像和训练的数据集特征相结合,使得训练数据和测试数据之间的差异减小来纠正不匹配。同时引入了物理反馈模型来指导GAN的训练,保证增强后的结果在物理上是正确的,看起来是真实的。该方法可以作为后续研究基于学习的水下图像处理和类似的低层任务,如图像去叠和超分辨率重建的指导。

Liu等人[63]提出了一种基于条件生成对抗网络(cGAN)的多尺度特征融合网络用于水下图像颜色校正,记为MLFcGAN。该方法的核心在于在生成器部分实现了多尺度的全局和局部特征融合,首先在编码器部分提取多尺度特征,然后将全局特征与每个尺度的局部特征进行融合,并在多尺度解码器单元生成颜色校正的图像,全局特征包含了图像的高层语义信息,如整体的光照条件、整体图像的场景布局等,与局部特征融合后可以得到更具判别力的有效特征表达,而且有助于更有效、更快的网络学习,从而在色彩校正和细节保留方面都有更好的性能。由于特征融合是通过深度学习解决计算机视觉任务的基础,因此该策略也可用于其他计算机视觉问题,如分割、显著目标检测。Islam等人[64]提出了一种基于cGAN的水下图像实时增强模型。假设退化(输入)图像和增强(输出)图像之间存在非线性映射,将图像增强问题建模为图像到图像的转换问题。然后,设计了一个cGAN模型,并在提出的增强水下视觉感知数据集EUVP上通过对抗性训练来学习该映射。为了监督对抗训练,构建了一个基于全局内容、颜色、局部纹理和风格信息的感知损失函数。此外,该方法在提高水下目标检测、显著性检测和人体姿态估计性能方面具有良好性能。Yang等人[65]提出了一种基于cGAN的水下图像增强方法,其中生成器部分采用多尺度结构生成清晰的水下图像,判别器部分设计了一个双重判别器来获取局部和全局语义信息,从而约束多尺度生成器生成的结果真实自然。双判别器由两个网络结构相同但权值不同的子判别器组成。在训练阶段,以一批水下图像作为输入,首先将其输入多尺度生成器,学习相应的残差图,并得到清晰图像,然后将结果发送到双重判别器,确定生成的结果在不同尺度下是真是假。在推理阶段,通过多尺度生成器对输入的水下图像进行端到端的增强。

4.2.2 基于循环一致性对抗网络(CycleGAN)的方法

传统的GAN网络是单向的,而CycleGAN则是通过两个镜像对称的GAN构成了一个环形网络,包括两个生成器和对应的两个判别器,输入包括原始输入数据和非配对的转换后的数据,模型的目的在于学习从原始输入数据到转换后的数据的映射关系[66]。因此,CycleGAN解决了模型需要成对数据进行训练的困难。近年来,CycleGAN网络及其变形已经成功用于水下图像图像增强与复原任务。

Park等人[67]在CycleGAN的基础上添加了一对判别器在保存输入图像的内容的同时实现图像增强,并引入了一种自适应加权方法来限制两种判别器的损失。具体来说,模型由两个生成器和四个判别器组成。在传统的用于区分图像风格的判别器之外,新增了两个内容判别器,以图像在内容空间中的特征作为输入来区分真实图像的特征。为了保证生成的图像中保留内容特征,在内容判别器中加入一个预先训练好的VGG-16模型,有助于在混浊的输入图像中保持内容,如每个实例的原始颜色、形状和纹理。此外,引入了自适应加权损失来平衡两种判别器的影响,该机制充分利用了各判别器的优点,同时抑制了它们的负面影响。Lu等人[68]提出了一种基于多尺度CycleGAN网络用于水下图像复原,实现了暗通道先验与CycleGAN的结合。利用暗通道先验来获取水下图像的深度信息,建立了一个自适应的图像恢复过程。然后将深度信息输入到网络中作为多尺度计算的指导。其中自适应的结构相似性指数度量损失用于提高水下图像质量,改善细节结构信息。该方法生成的图像在对比度增强和颜色校正方面具有良好的质量性能,但该模型在非均匀光照下无法产生一个可信的图像。

目前,可以用于水下图像增强任务训练学习的样本数量相对有限,而且很难获取真实清晰的真实水下图像作为监督信息,虽然通过合成数据可以从一定程度上缓解这一问题,但合成数据与真实数据往往存在较大差异,会影响算法性能。因此,研究人员开展了基于弱监督学习的水下图像增强与复原方法研究。Li等人[69]首次提出了一种弱监督的颜色迁移方法来纠正颜色失真,该方法放宽了训练时对成对水下图像的需求,允许水下图像在未知位置进行拍摄。网络设计一个多元损失函数,包括对抗损失、循环一致性损失和结构相似性损失,使输出与输入相同的内容和结构,同时颜色类似于真值图像。具体而言,对抗损失约束生成的图像的分布与目标域的分布相匹配,循环一致性损失用于防止学习到的两个映射函数相互矛盾,结构相似性损失用于保存源图像的内容和结构。

5 水下图像增强与复原数据集

数据集对于基于深度学习的视觉任务至关重要,本节将对目前已构建的水下图像增强与复原数据集进行详细地介绍与归纳,具体如表1所示。

(1)Port Royal数据集

2015年,利用WaterGAN,Li等人[54]建立了相应深度、空中颜色和真实水下图像的大型训练数据集,记为Port Royal数据集1。以空气中的RGB-D输入编译了4个室内Kinect数据集(B3DO、UW RGBD Object、NYU Depth和Microsoft 7-scenes),共15000个RGB-D图像。该数据集可用于水下图像增强。

(2)OUC-VISION数据集

2017年Jian等人[70]建立了OUC-VISION数据集,它包含220个个体的4400幅水下图像。每个物体通过四种姿态变化(每个水下物体的正面、反面、左侧和右侧视图)和五个空间位置(水下物体位于左上角、右上角、中心、左下角和右下角)来获取20幅图像。提供了不同变化来源下的水下图像,特别是姿态、空间位置、光照、水体浊度等。该数据库还对图像真值进行了人工标注,可用于水下图像增强。

2018年,Berman等人[71]收集了一组在不同地点拍摄的具有不同水质的图像,每个场景图片中包含了颜色图表,记为SQUID数据集[注]http:∥csms.haifa.ac.il/profiles/tTreibitz/datasets/ambient_ forwardlooking/index.html。数据集包括57对立体图像,提供原始图像、TIF文件、相机校准文件和深度图,包含了不同季节、深度和水类型(热带水域和较暗的沿海水域)的现场数据。所有的场景都只有自然光照明。该数据库在以色列四个不同地点进行采集,其中两个在红海(代表热带水),两个在地中海(温带水)。此外,为了获得真图,基于立体成像计算了场景的三维结构。

2019年,Li等人[72]建立了一个大规模的真实水下图像增强基准数据集UIEBD[注]https:∥drive.google.com/open?id=12W_kkblc2Vryb9zHQ6BfGQ_NKUfXYk13,该数据集提供了大规模的水下图像和相应的参考图像。构建的UIEBD包含两个子集：890幅原始水下图像和相应的高质量参考图像以及未提供参考图像的60幅具有挑战性的水下图像。UIEBD中的原始水下图像具有不同的颜色范围和对比度降低的程度。相比之下,相应的参考结果是无颜色投射(至少是相对真实的颜色),并且较好的可见性和亮度。图像具有三个特点:(i)水下场景多样性、图像质量范围广、图像内容具有广泛性;(ii)水下图像质量下降幅度较大;(iii)提供相应的高质量参考图像,使成对的图像能够进行指导图像质量评价和端到端的学习。

2019年,Liu等人[73]建立了一个多视角的水下成像系统,并在自然光下构建了一个大型的水下基准数据集,即真实世界水下图像增强(RUIE)数据集4,包括约4000幅水下图像,并根据不同任务进一步将其分成三个子集。

水下图像质量集(UIQS)：该子集可用于评测水下图像的质量,共分为A、B、C、D、E五级。

水下颜色偏差集(UCCS)：该子集可用于评测不同算法的纠正颜色偏差的能力。根据颜色空间中蓝色通道(红绿偏置)的平均值,生成了300个图像UCCS集。它包含三个100张图像子集的蓝色、绿色和蓝绿色色调。

水下高级任务驱动集(UHTS)：该子集可用于评测不同算法对更高级别计算机视觉任务(如分类和检测)的效果,共包含300幅图像,涵盖了多种海洋生物,并对扇贝、海参和海胆三类海洋生物的位置和类型进行了人工标注。

4 https:∥github.com/dlut-dimt/Realworld-Underwater-Image-Enhancement-RUIEBenchma

5 http:∥irvlab.cs.umn.edu/resources/euvp-dataset

6 https:∥github.com/xahidbuffon/Deep-SESR/tree/master/data

7https:∥github.com/wangyanckxx/Enhancement-of-Underwater-Images-with-Statistical-Model-of-BL-and-Optimization-of-TM/blob/master/Datasets.rar

(6)多样式水下数据集

2020年,Zhou等人[62]通过合理的参数随机化合成了可以覆盖多种水下场景样式的水下数据集。基于纽约大学数据集V2模拟图像,利用RGB-D NYU-v2室内数据集建立三种主要类型的水下图像数据集,该数据集由1449幅图像和相应深度信息组成,针对归一化剩余能量和均匀全局背景光信息的参数设置,选择了红、绿、蓝三种不同水体的三组参数设置和随机化方法,形成了不同的浊度条件,从近海清澈的水域到深海浑浊的水域,以及水下环境的主要色调范围的图像。合成数据集中的每一对图像都由四幅图像组成,不仅有合成水下图像及其在空中拍摄的真实图像,还包含背景光信息和传输图。

2020年,Islam等人[64]建立了一个大尺度的EUVP数据集5,共包含20000幅水下图像,其中有12000个配对实例和8000个未配对实例。该数据集采用了7种不同的摄像机进行拍摄,包含了不同能见度、不同海域。此外,该数据集中的一些图像来源于公共可用的Youtube视频的截取,并经过精心挑选,以适应数据中广泛的自然变化(例如场景、水体类型、照明条件等)。

2020年,Islam等人[74]建立了UFO-120数据集6,包含1500个训练样本和120个测试样本,可以同时用于显著性目标检测、超分辨率重建和水下图像增强。该数据集的水下图像在不同位置、不同水类型下采集得到的。每个图像的显著前景像素由人工进行标注,低分辨率水下图像通过高斯模糊和双三次下采样生成。

2020年,Wei等人[75] 建立了MABLs数据集7,该数据集由手动标注背景光值的500幅水下图像组成,是第一个用于水下图像背景光估计的公开数据集。图像包含各种水下场景(如单鱼、鱼群、珊瑚、潜水等),不同程度的失真(如深水、低能见度、浓雾、绿蓝等浑浊场景)等,并按7∶3的比例将其划分为训练数据和测试数据。

因为目前很多基于深度学习的水下图像增强与复原算法都没有开源,本文仅展示三种算法(即Dense GAN[60]、Water CycleGAN[69]和Water-Net[72])在UIEBD数据集上的测试效果供读者参考,可视化结果如图7所示。从图中可以看出,Water-Net算法获得了更好的主观视觉效果,增强后的水下图像颜色得到了很好的校正,而且更加自然、真实,图像亮度更加合适且不存在过曝光现象,图像的清晰度也得到了有效地加强,细节表现更加细腻、丰富。因为UIEBD数据集给出了增强的水下参考图像,本文利用MSE和SSIM指标对不同算法进行了定量比较分析,其中MSE指标描述的是增强后图像与参考图像的均方根误差,数值越小说明与参考图像越接近,SSIM指标描述的是增强后图像与参考图像的相似性,数值越大说明越接近参考图像,效果越好,具体数值结果如表2所示。从中可以得到与主观评测一致的结论,三种算法相比较,Water-Net算法增强后的结果定量指标更加优异,增强性能更好。

6 总结与展望

水下图像对于海洋探索于开发利用至关重要,水下图像增强与复原技术具有重要的意义和实用价值。本节将进一步总结梳理基于深度学习的水下图像处理技术的关键问题,并对未来的发展趋势进行展望。

6.1 关键问题

(1)由于深度学习高度依赖于数据集的质量,现有方法往往会出现鲁棒性差的特点,应该建立涵盖不同的浊度条件、不同水域以及不同水下环境的数据集,进而实现适应于不同条件的水下图像增强与复原。

(2)现有的基于深度学习的方法大都旨在增强水下图像,没有充分结合水下成像物理模型,因此只是在视觉上实现了图像增强,复原图像的方法还较少。只有结合相应的物理模型,才能够真正的还原物体真实颜色进而复原水下图像,水下图像复原在实际应用中具有更大的需求,因此有必要发展结合水下物理模型的深度学习方法,这样才能有效的复原水下图像。而结合物理模型的方法往往受限于物理模型,因此,这类方法还应该考虑设计合理的物理模型。

(3)现有基于深度学习的水下图像增强与复原方法着重于提升性能,并未过多追求算法的实时性,增强与复原技术作为前期预处理技术,通常需要具有较高的实时性,而现有方法往往不能同时保证实时性和准确性。因此,需要在进一步提升增强和恢复效果的同时,设计高效的水下图像增强方法。

(4)现有方法主要集中在单一的水下图像,还没有针对水下视频进行增强或复原研究,如何构建适合水下视频的增强与复原模型是一个值得关注的方向。

6.2 展望

经过多年的发展,水下图像增强与复原技术已取得了一定的进展,但由于水下环境的多样性,水下图像增强的方法往往只适用于一定条件的水下图像,如何增强模型的鲁棒性和泛化能力还有待进一步研究。现有研究表明,传统方法虽然取得了较好的成果,但其算法往往只适用于一类或具有某些特点的水下图像,并不能适用于复杂的水下环境,而深度学习不仅可以获得更好的增强效果,还可以通过大量样本的学习降低复杂的水下环境对结果的影响。但目前的数据集覆盖面是有限的,因此借助合成数据可以缓解训练数据不足的问题,但是如何生成更加接近于真实水下图像的合成数据还有待深入研究。此外,对于成对数据集较少问题,可以考虑设计自监督/弱监督/无监督学习方法,从根本上摆脱对数据集的依赖。对于目前基于深度学习的复原方法较少的问题,则可以考虑将深度学习与合适的水下物理模型或传统复原方法相结合,这样也有助于实现适用于不同水下环境的水下图像复原,具有较好的发展前景。

[1] 郭继昌, 李重仪, 郭春乐, 等. 水下图像增强和复原方法研究进展[J]. 中国图象图形学报, 2017, 22(3): 273-287.

Guo J C, Li C Y, Guo C L, et al. Research progress of underwater image enhancement and restoration methods[J]. Journal of Image and Graphics, 2017, 22(3): 273-287.(in Chinese)

[2] Boom B J, He J, Palazzo S, et al. A research tool for long-term and continuous analysis of fish assemblage in coral-reefs using underwater camera footage[J]. Ecological Informatics, 2014, 23(9): 83-97.

[3] Fukuba T, Miwa T, Watanabe S, et al. A new drifting underwater camera system for observing spawning Japanese eels in the epipelagic zone along the west mariana ridge[J]. Fisheries Science, 2015, 81(2): 235-246.

[4] Wang X W, Li Y F, Zhou Y. Triangular-range-intensity profile spatial-correlation method for 3D super-resolution range-gated imaging[J]. Applied Optics, 2013, 52(30): 7399-7406.

[5] Dalgleish F, Ouyang B, Vuorenkoski A. A unified framework for image performance enhancement of extended range laser seabed survey sensors[C]∥IEEE International Underwater Technology Symposium, 2013: 1-7.

[6] Treibitz T, Schechner Y Y. Turbid scene enhancement using multi-directional illumination fusion[J]. IEEE Transactions on Image Processing, 2012, 21(11): 4662- 4667.

[7] Roser M, Dunbabin M, Geiger A. Simultaneous underwater visibility assessment, enhancement and improved stereo[C]∥IEEE International Conference on Robotics and Automation, 2014: 3840-3847.

[8] Mcglamery B L. A computer model for underwater camera systems[J]. Ocean Optics, 1979, 208: 1-11.

[9] Kawahara R, Nobuhara S, Matsuyama T. A pixel-wise varifocal camera model for efficient forward projection and linear extrinsic calibration of underwater cameras with flat housings[C]∥IEEE International Conference on Computer Vision Workshops, 2013: 819- 824.

[10]Bruno F, Bianco G, Muzzupappa M, et al. Experimentation of structured light and stereo vision for underwater 3D reconstruction[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2011, 66(4): 508-518.

[11]Hummel R. Image enhancement by histogram transformation[J]. Computer Graphics and Image Processing, 1977, 6(2): 184-195.

[12]Buchsbaum G. A spatial processor model for object colour perception[J]. Journal of the Franklin Institute, 1980, 310(1): 1-26.

[13]Pizer S M, Johnston R E, Ericksen J P, et al. Contrast-limited adaptive histogram equalization: speed and effectiveness[C]∥IEEE Conference on Visualization In Biomedical Computing, 1990: 337-345.

[14]Jobson D J, Rahman Z, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976.

[15]Liu Y C, Chan W H, Chen Y Q. Automatic white balance for digital still camera[J]. IEEE Transactions on Consumer Electronics, 2004, 41(3): 460- 466.

[16]Weijer J V D, Gevers T, Gijsenij A. Edge-based color constancy[J]. IEEE Transactions on Image Processing, 2007, 16(9): 2207-2214.

[17]Foster D H. Color constancy[J]. Vision Research, 2011, 51(7): 674-700.

[18]Singh G, Jaggi N, Vasamsetti S, et al. Underwater image/video enhancement using wavelet based color correction (WBCC) method[C]∥IEEE Underwater Technology, 2015: 1-5.

[19]蓝国宁, 李建, 籍芳. 基于小波的水下图像后向散射噪声去除[J]. 海洋技术, 2010, 29(2): 43- 47.

Lan G N, Li J, Ji F. Underwater image backscatter noise reduction based on wavelets[J]. Ocean Technology, 2010, 29(2): 43- 47.(in Chinese)

[20]Henke B, Vahl M, Zhou Z L. Removing color cast of underwater images through non-constant color constancy hypothesis[C]∥International Symposium on Image and Signal Processing and Analysis, 2013: 20-24.

[21]Kan L Y, Yu J, Yang Y, et al. Color correction of underwater images using spectral data[C]∥Optoelectronic Imaging and Multimedia Technology III, 2014: #92730G.

[22]Iqbal K, Salam R A, Osman A, et al. Underwater image enhancement using an integrated colour model[J]. IAENG International Journal of Computer Science, 2007, 34(2): 239-244．

[23]Iqbal K, Odetayo M, James A, et al. Enhancing the low quality images using unsupervised colour correction method[C]∥IEEE International Conference on Systems Man and Cybernetics, 2010: 1703-1709.

[24]陈从平, 王健, 邹雷, 等. 一种有效的低对比度水下图像增强算法[J]. 激光与红外, 2012, 42(5): 567-571.

Chen C P, Wang J, Zou L, et al. Effective enhancement algorithm for low contrast underwater images[J]. Laser & Infrared, 2012, 42(5): 567-571.(in Chinese)

[25]Li C Y, Guo J C. Underwater image enhancement by dehazing and color correction[J]. Journal of Electronic Imaging, 2015, 24(3): #033023.

[26]Trucco E, Olmos-Antillon T. Self-tuning underwater image restoration [J]. IEEE Journal of Oceanic Engineering, 2006, 31(2): 511-519.

[27]Hou W L, Gray D, Weidemann A, et al. Automated underwater image restoration and retrieval of related optical properties[C]∥IEEE International Geoscience and Remote Sensing Symposium, 2007: 1889-1892.

[28]Drews J, Nascimento R, Botelho C, et al. Underwater depth estimation and image restoration based on single image [J]. IEEE Computer Graphics and Applications, 2016, 36(2): 24-35.

[29]张赫, 徐玉如, 万磊, 等. 水下退化图像处理方法[J]. 天津大学学报(自然科学与工程技术版), 2010, 43(9): 827- 833.

Zhang H, Xu Y R, Wan L, et al. Processing method for underwater degenerative image[J]. Journal of Tianjin University, 2010, 43(9): 827- 833.(in Chinese)

[30]Wen H C, Tian Y H, Huang T J, et al. Single underwater image enhancement with a new optical model[C]∥IEEE International Symposium on Circuits and Systems, 2013: 753-756.

[31]Carlevaris-Bianco N, Mohan A, Eustice R. Initial results in underwater single image dehazing[C]∥IEEE International Conference on Oceans, 2010: 1- 8.

[32]Serikawa S, Lu H M. Underwater image dehazing using joint trilateral filter[J]. Computers and Electrical Engineering, 2014, 40(1): 41-50.

[33]Zhao X W, Jin T, Qu S. Deriving inherent optical properties from background color and underwater image enhancement[J]. Ocean Engineering, 2015, 94: 163-172.

[34]Lu H M, Li Y J, Zhang L F, et al. Contrast enhancement for images in turbid water[J]. Journal of the Optical Society of America A, 2015, 32(5): 886- 893.

[35]Galdran A, Pardo D, Picon A, et al. Automatic red-channel underwater image restoration [J]. Journal of Visual Communication and Image Representation, 2015, 26: 132-145.

[36]雷选华, 孔小健, 杨文亮. 基于粒子群优化的正则化水下图像盲复原[J]. 激光技术, 2015, 39(6): 811- 814.

Lei X H, Kong X J, Yang W L. Regularization blind restoration of underwater images based on particle swarm optimization[J]. Laser Technology, 2015, 39(6): 811- 814.(in Chinese)

[37]Peng Y T, Cosman P. Single image restoration using scene ambient light differential[C]∥IEEE International Conference on Image Processing, 2016: 1953-1957.

[38]Peng Y T, Cosman P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[39]Chiang J Y, Chen Y C. Underwater image enhancement by wavelength compensation and dehazing[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1756-1769.

[40]Berman D, Treibitz T, Avidan S. Diving into haze-lines: color restoration of underwater images[C]∥British Machine Vision Conference, 2017: 1-12.

[41]Mallik S, Khan S, Pati C. Underwater image enhancement based on dark channel prior and histogram equalization[C]∥International Conference on Innovations in Information Embedded and Communication Systems, 2016: 139-144.

[42]Lu H M, Li Y J, Xu X. Underwater image descattering and quality assessment[C]∥IEEE International Conference on Image Processing, 2016: 1998-2002.

[43]Wang N, Zheng H Y, Zheng B. Underwater image restoration via maximum attenuation identification[J]. IEEE Access, 2017, 5: 18941-18952.

[44]Hou M J, Liu R S, Fan X, et al. Joint residual learning for underwater image enhancement[C]∥IEEE International Conference on Image Processing, 2018: 4043- 4047.

[45]Barbosa W V, Amaral H G B, Rocha T L, et al. Visual-quality-driven learning for underwater vision enhancement[C]∥IEEE International Conference on Image Processing, 2018: 3993-3997.

[46]Cai B L, Xu X M, Jia K, et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[47]Liu R S, Hou M J, Liu J Y, et al. Compounded layer-prior unrolling: a unified transmission-based image enhancement framework[C]∥IEEE International Conference on Multimedia and Expo, 2019: 538-543.

[48]Wang Y, Zhang J, Cao Y, et al. A deep CNN method for underwater image enhancement[C]∥IEEE International Conference on Image Processing, 2017: 1382-1386.

[49]Sun X, Liu L P, Li Q, et al. Deep pixel-to-pixel network for underwater image enhancement and restoration[J]. IET Image Processing, 2019, 13(3): 469- 474.

[50]Li C Y, Anwar S, Porikli F. Underwater scene prior inspired deep underwater image and video enhancement[J]. Pattern Recognition, 2020, 98: 1-11.

[51]Li Y J, Ma C Y, Zhang T T, et al. underwater image high definition display using the multilayer perceptron and color feature-based SRCNN[J]. IEEE Access, 2019, 7: 83721- 83728.

[52]Dong C, Loy C C, He K M, et al. Learning a deep convolutional network for image super-resolution[C]∥European Conference on Computer Vision, 2014: 184-199.

[53]Skinner K A, Zhang J M, Olson E A, et al. UWStereoNet: unsupervised learning for depth estimation and color correction of underwater stereo imagery[C]∥International Conference on Robotics and Automation, 2019: 7947-7954.

[54]Li J, Skinner K A, Eustice R M, et al. WaterGAN: unsupervised generative network to enable real-time color correction of monocular underwater images[J]. IEEE Robotics and Automation Letters, 2018, 3(1): 387-394.

[55]Liu P, Wang G Y, Qi H, et al. Underwater image enhancement with a deep residual framework[J]. IEEE Access, 2019, 7: 94614-94629.

[56]Kim J, Lee J K, Lee K M. Accurate image super-resolution using very dep convolutional networks[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1646-1654.

[57]Liu R S, Fan X, Hou M J, et al. Learning aggregated transmission propagation networks for haze removal and beyond[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(10): 2973-2986.

[58]Wang J H, Wang H, Gao G W, et al. Single underwater image enhancement based on lp-norm decomposition[J]. IEEE Access, 2019, 7: 145199-145213.

[59]Mirza M, Osindero S. Conditional generative adversarial nets[J]. ArXiv: 1411.1784, 2014.

[60]Guo Y C, Li H Y, Zhuang P X. Underwater image enhancement using a multiscale dense generative adversarial network[J]. IEEE Journal of Oceanic Engineering, 2019. In Press.

[61]Chen X Y, Yu J Z, Kong S H, et al. Towards real-time advancement of underwater visual auality with GAN[J]. IEEE Transactions on Industrial Electronics, 2019, 66(12): 9350-9359.

[62]Zhou Y, Yan K M. Domain adaptive adversarial learning based on physics model feedback for underwater image enhancement[J]. ArXiv: 2002.09315, 2020.

[63]Liu X, Gao Z, Chen B M. MLFcGAN: multi-level feature fusion based conditional GAN for underwater image color correction[J]. IEEE Geoscience and Remote Sensing Letters, 2019. In Press.

[64]Islam M J, Xia Y Y, Sattar J. Fast underwater image enhancement for improved visual perception[J]. IEEE Robotics and Automation Letters, 2020, 5(2): 3227-3234.

[65]Yang M, Hu K, Du Y X, et al. Underwater image enhancement based on conditional generative adversarial network[J]. Signal Processing: Image Communication, 2020, 81: 115723.

[66]Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]∥IEEE International Conference on Computer Vision, 2017: 2242-2251.

[67]Park J, Han D K, Ko H. Adaptive weighted multi-discriminator cycleGAN for underwater image enhancement[J]. Journal of Marine Science and Engineering, 2019, 7: 1-15.

[68]Lu J Y, Li N, Zhang S Y, et al. Multi-scale adversarial network for underwater image restoration[J]. Optics & Laser Technology, 2019: 110: 105-113.

[69]Li C Y, Guo J C, Guo C L. Emerging from water: underwater image color correction based on weakly supervised color transfer[J]. IEEE Signal Processing Letters, 2018, 25(3): 323-327.

[70]Jian M W, Qi Q, Dong J Y, et al. The OUC-vision large-scale underwater image database[C]∥IEEE International Conference on Multimedia and Expo, 2017: 1297-1302.

[71]Berman D, Levy D, Avidan S, et al. Underwater single image color restoration using haze-lines and a new quantitative dataset[J]. ArXiv: 1811.01343, 2020.

[72]Li C Y, Guo C L, Ren W Q, et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing, 2019, 29: 4376- 4389.

[73]Liu R S, Fan X, Zhu M, et al. Real-world underwater enhancement: challenges, benchmarks, and solutions[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020. In Press.

[74]Islam M J, Luo P, Sattar J. Simultaneous enhancement and super-resolution of underwater imagery for improved visual perception[J]. ArXiv: 2002.01155, 2020.

[75]Song W, Wang Y, Huang D M, et al. Enhancement of underwater images with statistical model of background light and optimization of transmission map[J]. IEEE Transactions on Broadcasting, 2020, 66(1): 153-169.