基于深度学习的数字图像修复算法最新进展

范春奇1,2,3,4 任 坤1,2,3,4 孟丽莎1,2,3,4 黄 泷1,2,3,4

(1. 北京工业大学信息学部, 北京 100124; 2. 北京工业大学数字社区教育部工程研究中心, 北京 100124;3. 北京工业大学城市轨道交通北京实验室, 北京 100124; 4. 北京工业大学计算智能与智能系统北京市重点实验室, 北京 100124)

摘 要: 数字图像修复是一项利用计算机技术还原破损图像缺失信息实现自动图像修复的技术,其广泛应用于文物修复、电影特效制作、图像编辑等方面。早期数字图像修复算法可以对小区域缺失的图像进行近似真实的还原,而对大区域缺失图像的修复往往相似度低,内容模糊。近年来深度学习生成模型的进展为数字图像修复提供了新的技术手段,基于生成对抗网络和自编码器的图像修复技术成为研究热点。本文对数字图像修复算法最新进展整理归纳,按照算法类型将新算法分为三类,详细介绍每类算法的特点和不足;并在此基础上分别从卷积模式和网络结构优化两个方面详细阐述了最新研究进展和成果;最后对未来的研究方向进行展望。

关键词:图像修复;生成对抗网络;自编码器;卷积神经网络;损失函数

中图分类号:TP391.4

文献标识码:A

DOI:10.16798/j.issn.1003- 0530.2020.01.013

引用格式: 范春奇, 任坤, 孟丽莎, 等. 基于深度学习的数字图像修复算法最新进展[J]. 信号处理, 2020, 36(1): 102-109. DOI: 10.16798/j.issn.1003- 0530.2020.01.013.

Reference format: Fan Chunqi, Ren Kun, Meng Lisha, et al. Advances in Digital Image Inpainting Algorithms Based on Deep Learning[J]. Journal of Signal Processing, 2020, 36(1): 102-109. DOI: 10.16798/j.issn.1003- 0530.2020.01.013.

文章编号: 1003-0530(2020)01-0102-08

收稿日期:2019-09-02;修回日期:2019-12-03

基金项目:国家自然科学基金(61305026,61640312,61763037,61803005);北京市教委科学研究计划(KM201310005006)资助

Advances in Digital Image Inpainting Algorithms Based on Deep Learning

Fan Chunqi1,2,3,4 Ren Kun1,2,3,4 Meng Lisha1,2,3,4 Huang Long1,2,3,4

(1. Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China; 2. Engineering Research Center of Digital Community, Ministry of Education, Beijing University of Technology, Beijing 100124, China; 3. Beijing Laboratory for Urban Mass Transit, Beijing University of Technology, Beijing 100124, China; 4. Beijing Key Lab of Computational Intelligence and Intelligent Systems, Beijing University of Technology, Beijing 100124, China)

Abstract: Digital image inpainting is a technology of estimating the miss regions’ information in defect images and restoring images as plausible as vision perception by computing algorithms. The applications of image inpainting are wild, such as cultural relics restoration, film particular effects generation, image edition. The pioneer digital image inpainting algorithm can work well for small missing regions, but when the missing regions are large, they usually failed to generate similar and realistic results. In recent years, the development of deep learning technology has provided new ideas for image inpainting. The generative models of deep learning have been a hot focus in digital image inpainting research, especially GANs and AEs. We summarize the algorithms based on deep learning technology and divides these algorithms into three types, then elaborately introduce the progress in both convolution methods and network structures, and finally discuss future research direction.

Key words image inpainting; generative adversarial networks; autoencoders; convolutional neural networks; loss function

1 引言

数字图像修复(Image Inpainting)是一项利用计算机技术还原图像缺失信息,自动修复破损图像的技术。利用计算机技术对图像进行修复,可以避免修复过程中人的主观因素影响,充分挖掘图像完好部分的语义信息和纹理信息,客观真实地还原图像。数字图像修复技术是计算机视觉的重要底层问题之一,属于模式识别、机器学习、统计学、认知科学等多学科的交叉范畴,主要应用于修复受损文物、移除图像中不需要的信息、电影中特技效果的完善等方面。

早期图像修复算法主要分为两类:基于偏微分方程的修复算法[1-2]和基于样本块纹理合成的算法[3- 4]。基于偏微分方程的修复算法主要针对小尺度缺损,以单个像素作为修复的基本单元,利用扩散原理完成信息填充,其鲁棒性能较差,容易引起模糊。基于样本块的纹理合成是通过从已知区域中寻找目标块,然后把信息复制粘贴到缺损区域上。以上两种算法对于场景图像的修复具有良好的效果,但是他们的局限性也很明显,只能对简单、可重复的纹理进行修复,而对图像的语义信息修复无能为力。

近年来,深度学习(Deep Learning, DL)技术发展迅速,在计算机视觉、模式识别等领域取得巨大成功[5-11],显著提高了图像修复效果。利用深度学习技术可以捕获图像语义信息,在纹理修复的基础上对语义内容进行预测,很好的弥补了早期图像修复算法的不足,使得整体效果更加符合客观事实。基于深度学习的图像修复研究受到研究者关注,成为计算机视觉领域的研究热点之一。

本文对深度学习在数字图像修复方面的最新研究进行整理和归纳。首先对基于深度学习的图像修复技术框架进行概述,然后分别从卷积模式、网络结构两个角度详细介绍图像修复算法的最新进展和趋势,最后对未来的研究方向进行探讨。

2 基于深度学习的图像修复

我们将当前基于深度学习的图像修复算法分为三类,基于生成对抗网络(Generative Adversarial Networks, GAN)的图像修复算法[12-13]、基于自编码器(Autoencoder, AE)的图像修复算法[7,14-15],以及结合两者优势,以Context Encoders(CE)为代表的第三类算法[5-6,8-11,16-21]

2.1 基于GAN的图像修复算法

GAN包含两个网络:生成网络G(Generator)和判别网络D(Discriminator)。生成网络用来生成图像,判别网络用来判断生成图像的真假。如果生成的图像存在内容不合理,局部模糊等与真实图像不符的问题,判别网络会判定为假,从而指导生成网络不断优化生成效果,直到判别网络无法分辨真伪。

图1 基于生成对抗网络的图像修复
Fig.1 Image inpainting based on GAN

基于GAN的图像修复算法是一种反馈迭代修复方法,如图1所示,其利用已经训练好的G和D(即G已经具有将随机向量z映射为图像的能力,且D难以判别该图像存在的真假性),反馈更新随机向量z,使其逐步逼近破损图像在隐空间的特征向量。在修复阶段,G和D的网络参数不再变化,仅迭代优化向量z。迭代优化的过程如图2所示,不改变z的维度信息,而是利用重建损失和对抗损失,不断修正z的值,寻找能够生成与缺损图像已知区域最相似图像G(z*)的最优编码z*z*的优化问题定义为:

(1)

其中,Lr(z)表示重建损失,Ladv(z)表示对抗损失,μλ表示平衡损失函数的参数。

图2 z的优化过程
Fig.2 Optimization process of z

2.2 基于AE的图像修复算法

自编码器(AE)由编码器(Encoder)和解码器(Decoder)两部分组成,其结构框图如图3所示。编码器由卷积网络构成,实现降维编码;解码器由反卷积网络组成,利用编码器提取的特征解码重构图像。在将一幅图像压缩映射到特征空间的整个编码过程中,随着层级不断加深,通道数增加,特征的尺寸减小。而解码过程是编码的逆过程,从多个通道的深层特征中重建图像,通道数减少而图像尺寸增大。编-解码过程中的特征可视化如图4所示。在特征提取的过程中,虽然输入图像存在破损,浅层特征中仍有明显信息缺失,但是随着编码的加深,缺损部分对深层特征影响逐渐减小,深层网络可提取出图像的主要语义特征;在解码过程中,通过反卷积网络对深层语义特征逐级进行融合重构,最终输出完整的图像,实现图像修复。AE网络的训练阶段使用重建损失优化自身参数。训练完成后,自编码器输入缺损图像,输出修复图像,修复过程是一个前馈过程。在AE的编解码过程中,由于每一编码层的特征压缩提取都会造成部分细节特征损失,解码重构阶段部分细节纹理信息无法恢复,因此,重构图像常表现出过度平滑和模糊。

图3 基于AE的图像修复算法
Fig.3 Image inpainting based on autoencoder

图4 编码解码过程特征图可视化
Fig.4 Visualization of feature maps in AE

2.3 基于CE的图像修复算法

以CE算法为代表的大多数算法融合了自编码器对破损图像的重建能力与生成对抗网络中判别器(D)对生成网络的指导能力,是目前的主流算法,其算法框图如图5所示。以自编码器作为生成对抗网络中的生成网络,通过判别网络对生成图像进行真假判别,通过联立对抗损失和重建损失共同优化生成网络的参数。训练阶段自编码器和判别网络交替训练,训练完成后判别器不再发挥作用,修复过程是依赖于自编码器的前馈过程。

2.4 对比分析

我们从训练、修复过程、修复效果等方面对三种修复框架进行对比分析,结果如表1所示。基于GAN的修复是一个反馈过程,其迭代次数一般在1000次以上,过于依赖生成对抗网络对图像的生成能力,当使用小数据集进行训练时容易产生过拟合,失去生成图像的多样性。CE和AE的修复都属于前馈过程,不需要再次迭代优化计算,修复更加高效,但与GAN对应,对于结构性较强的细节修复经常导致模糊,伪影等问题,如头发部位的修复。图6展示了在中心大面积缺损和半边缺损条件下三种算法的修复结果。观察实验修复图,AE算法修复结果较为模糊,GAN算法修复结果具有伪影,CE算法修复效果相对优于AE和GAN算法。

图5 CE图像修复算法
Fig.5 Image inpainting based on CE

表1 三种图像修复算法对比

Tab.1 Differences of three different inpainting algorithms

名称训练过程修复过程输入优点缺点基于GAN交替训练生成网络和判别网络反馈式随机值Z细节清晰小数据集修复效果差基于AE只训练生成网络前馈式破损图像提高修复相似度修复模糊CE交替训练生成网络和判别网络前馈式破损图像语义修复存在伪影

图6 不同算法修复视觉效果对比
Fig.6 Results of different inpainting algorithms

3 卷积模式的改进与优化

尽管CE算法在语义和纹理修复方面取得不错的效果[8],但结构复杂区域的修复仍然不尽如人意,有待改进。由于深度网络通过卷积和反卷积实现图像特征提取和重建,卷积模式是直接影响着图像修复的关键。近期研究工作从卷积设计着手改进图像修复算法[7,11]

3.1 部分卷积

Liu等人认为经典卷积以同样方式对待原始图像的破损区域和保留区域,是导致修复图像常常伴随颜色不一、模糊等问题的根本原因[7]。在经典卷积中,破损区域的像素值往往为整幅图像像素值的平均值,修复结果受此平均值的限制,表现为缺乏纹理和颜色差别,修复边缘存在伪影等现象。针对这些问题,现有常用方法是对修复后的图像进行一系列后续处理。文献[6]中采用快速匹配和泊松融合的方法。文献[10]中将修复结果输入到另一个细化网络进行细化。然而这些后续处理不仅需要额外的计算资源和时间,而且效果有限,并不尽如人意。Liu等人[7]基于不增加额外后续处理,破损区域预估值与已知邻域均值无关的思想,提出了部分卷积。部分卷积策略可概括为:

(1)用一个二值化的掩码将经典卷积分为有效卷积和无效卷积:

(2)

其中,xi是当前卷积层特征,xi+1是下一层特征值,W是卷积核,b是偏置值。M是和图像相同尺寸的二值化掩码,值为0的地方代表缺失区域,值为1的地方代表保留区域。

(2)为下一层卷积更新掩码:

(3)

其中M*是下一层卷积掩码。如果网络足够深,任何破损的区域都会逐渐减小并最终消失。完成对原始图像的特征提取后,再经过解码器就可以重建修复原始图像。表2给出了文献[11]的量化对比实验,实验结果说明了部分卷积的优越性。

3.2 门卷积

Yu等人[11]提出部分卷积在更新掩码的过程中有一个明显缺陷,即掩码M中一个像素有效和全部像素有效的更新策略相同,会导致修复信息的误用,使修复效果变差。因此,在部分卷积的基础上,Yu等人提出了一种部分卷积的泛化模式——门卷积。与部分卷积二值权重不同,门卷积通过一个独立的网络,赋予不同层级、不同通道和不同位置的特征不同权重。门卷积的定义为:

表2 不同卷积方式的损失函数值对比[11]

Tab.2 Loss function values for different convolution approaches[11]

方法中间矩形破损平均L1损失平均L2损失平均TV损失任意破损平均L1损失平均L2损失平均TV损失文本注意力(普通卷积)8.6%2.1%25.3%17.2%4.7%27.8%部分卷积9.8%2.3%26.9%10.4%1.9%27.0%门卷积8.6%2.0%26.6%9.1%1.6%26.8%

Gate=Wgate·xi

(4)

Feature=Wfeature·xi

(5)

xi+1=φ(Feature)⊙σ(Gate)

(6)

其中,WfeatureWgate分别表示两种不同的卷积;σ表示sigmoid激活函数,将门卷积的权重限制在0到1之间,φ表示任意激活函数。对于不规则的破损,相对于部分卷积,门卷积能够实现显著的性能提升。而且门卷积可以在图像修复中进行人机交互,如图7所示。图7左侧图为真实图像,中间图中红色标注区域为在破损区域人工预设轮廓线,右侧图为依据轮廓线修复的图。

图7 门卷积修复示意图[11]
Fig.7 Inpainting result of gate convolution[11]

3.3 卷积模式对比分析

图8展示了不同卷积方式在风景图像和人脸图像上的修复效果对比。对于风景图像天空中的破损,普通卷积无法进行有效修复,在修复区域和修复边缘存在视觉伪影;部分卷积修复效果较好,但仍存在明显的颜色差异;门卷积修复效果最优。对风景图像中下方山峰的修复,只有门卷积可以按照人工轮廓线进行合理修复。

图8 不同卷积方式的对比[11]
Fig.8 Results of different convolution approachs[11]

通过人脸图像的修复对比可以看到,普通卷积的修复颜色尚可,但修复边界模糊且纹理扭曲;部分卷积修复的边界清晰很多,但由于语义学习不充分,纹理细节(如耳朵部位)仍然存在修复内容不合理的现象;门卷积的修复效果不仅纹理清晰,而且眉毛、下巴等部位的修复基本遵循人工轮廓线。

表2为不同卷积模式的量化对比实验。实验分为中心矩形破损和自由形状破损,采用平均L1损失、平均L2损失和TV(Total Variation)损失等三个量化指标。门卷积的动态权重选择机制使其修复效果在L1、L2、TV损失等方面都表现最优,部分卷积和普通卷积在中间区域矩形破损修复效果相当,而对于任意形状的破损,部分卷积比普通卷积要好。

4 网络结构的优化与改进

网络结构的优化和改进也是目前基于深度学习的图像修复算法研究的重要方向。近期相关研究进展可归纳为生成网络[10,18-20,23-24]、判别网络[6,11,25-29]、损失函数[7,9-10,16,27-28,30]三方面。

4.1 生成网络

由于在传统GAN框架下深度卷积网络生成的图像和原图相似性较差,所以多数修复算法框架为自编码器与GAN结合的CE算法结构,其中生成网络为深度卷积网络或自编码网络。目前,针对生成网络的优化和改进可分为两类,一类是对单一自编码网络结构的改进和优化,另一类是两个网络级联或嵌套来增强生成网络性能。

(1)单一自编码网络结构优化。单网络结构的优化目标集中在改进特征提取、融合和传递等方面,其中Yan等人引入跳跃连接[18,23-24],增加编码层和解码层之间的特征传递,弥补生成网络细节生成能力的不足,使得重构图像保留更多细节信息,提高修复图像的清晰度。Pathak等人[8]在编解码之间的衔接层引入扩张卷积,扩张卷积通过在卷积核内注入空洞,在减少参量的同时,增大了卷积感受域。

(2)两个网络级联或嵌套构建的生成网络不仅能提高修复细节的能力,同时还提供了新的功能,如图像编辑[20]。Yu等人构建的两级生成网络[10],能够对复杂背景图像随机位置缺失进行有效修复。其中第一级卷积自编码网络实现图像的粗重构;第二级自编码网络为精细生成网络,其中结合注意力机制,引入文本注意力层,可以学习图像完好区域中任意位置的纹理信息,生成类似的结构或纹理。文献[20]同样级联了两级编解码生成网络,第一级实现对缺失边缘线的修复,第二级以第一级修复的边缘线作为先验,对缺失区域进行颜色填充。Zhang 等人在LSTM(Long short term memory)网络结构下嵌套自编码结构子网络,分步完成大面积缺失图像的修复任务[19]

4.2 判别网络

图像修复算法中的判别网络通常采用一个深度卷积二分类网络,通过对生成图像的判伪,在对抗训练的过程中辅助优化生成网络。判别网络的研究进展可分为两个方面,一是单一判别网络的改进与优化,包括网络结构和判别损失函数设计,二是多判别网络联合辅助优化生成网络。

(1)单一判别网络的改进与优化多集中在判别损失函数的优化方面。最小二乘GAN[25-26]采用最小二乘损失函数替代交叉熵损失函数,避免了交叉熵损失函数在饱和状态下的梯度消失问题,从而增强了对抗网络在训练过程的稳定性;WGANs(Wasserstein GAN)[27-28]则结合李普希兹约束条件,用Earth-Move距离来衡量生成图像与真实图像的抽象距离。研究表明,通过优化判别网络的损失函数,在稳定训练的同时提高图像修复效果。

谱归一化马尔科夫判别网络[11,29]是一种新的网络结构。与经典二分类网络不同,其最后一层输出不再是一个代表真假的概率值,而是一个三维的特征图,特征图中的每个特征值不仅辐射整幅图像而且编码了感知损失的相关信息,使其在增强训练稳定性的同时加快了训练速度。

(2)多判别网络。一个全局判别网络往往无法同时满足语义、纹理等多方面的优化要求,多判别网络成为研究热点。Iizuka等人首次提出双判别网络的算法[6],利用局部判别网络增加局部纹理清晰度,利用全局判别网络保证全局修复效果的真实性。Nazeri等则将判别网络分为边线判别网络和颜色判别网络两种[20],针对特性要求设计专用判别网络,提高了生成图像结构和纹理的连贯性。

4.3 损失函数

优化生成网络的损失函数设计是网络训练和图像生成的关键。损失函数通常为联合损失函数,其中常用项有重建损失、对抗损失、TV损失和感知损失(Perceptual Loss)等。现有修复网络算法中,损失函数设计略有不同,通常根据实际需要和网络结构自身特点,对这四种损失函数进行结合或改进。

重建损失是指原始图像和生成图像之间的差异,定义为:

Lr(x)=||x-G(Mx)||k

(7)

其中x表示输入的完好图像,G为生成函数,⊙代表对应元素相乘,k为1表示L1范数,为2表示L2范数。重建损失可对整个图像统一定义,也可针对不同区域,如破损区域和已知区域分别定义[7],在联合损失中给予不同权值。重建损失还可采用其他距离评价函数[27-28],如WGAN中重建损失则采用Earth-Move距离定义。

在最新的研究中,基于缺失边界比缺失中心与周围邻域一致性更高的直观认知,提出了与空间位置相关的空间可变重建损失(Spatial Variant Reconstruction Loss)[9]和空间折变重建损失(Spatial Discount Reconstruction Loss)[10]。通过结合缺失位置权重掩码,使得在缺失区域边缘的重建损失具有更大权重,从而提高了生成图像缺失边缘的平滑性和一致性。

(2)与重建损失不同,感知损失[7,16,30]是指原始图像和生成图像特征图之间的差异,定义为:

(8)

其中,ψi表示网络中第i层的特征图。原始图像和生成图像的特征图由ImageNet已训练的VGG进行特征提取得到。

基于编码器和解码器的对称性,编码特征和对应解码特征之间差异与感知损失类似。因此,Yan等人在基于跳跃连接的编解码网络结构上,提出针对缺失位置的指导损失(Guidance Loss)[18]用于优化网络参数。

(3)对抗损失采用交叉熵,辅助优化生成网络,定义为:

Ld(Z)=-[log(D(x))+log(1-D(G(Mx))]

(9)

其中,判别网络D的输出是输入图像为真的概率。对抗损失不仅用于判别网络的优化,也是用于优化生成网络的联合损失函数的重要损失项。

(4)TV损失可衡量相邻像素之间差异,以此作为惩罚项约束相邻像素值的不连续性,定义为:

(10)

其中,xi, j表示生成图像的一个像素,k表示L1或L2范数,α常取0.5或1。

综上,损失函数的设计更精细,更有针对性,如体现内部特征的感知损失,与空间位置相关的损失定义等。同时,联合损失函数也更为复杂。

5 结论

基于深度学习的数字图像修复虽然提出时间不长,但发展迅速。我们从修复网络框架、卷积模式、和网络结构等方面进行总结归纳。其中修复网络框架从传统GAN、自编码器到自编码与GAN结合的CE框架;卷积模式从普通卷积、部分卷积到门卷积,经历了从全局一致处理到不同区域的分化处理;网络结构中生成网络和判别网络在单个网络结构优化的同时,出现了多个网络相结合的新设计,同时,损失函数设计也更加细化、更具针对性。随着研究的进展,大面积缺损和语义信息缺损的修复效果不断改进,修复网络的复杂度也大大增加。

虽然数字图像修复已经取得了令人欣喜的成果,但仍面临多方面的挑战。在以下几个方面有待继续深入研究。

(1)高分辨率图像的修复。虽然已存在专门针对高分辨率图像修复的算法,但效果差强人意。这一方面是因为高分辨率图像对修复精度要求更高,任何的偏差都会被放大,另一方面是因为计算量太大,难以直接将高分辨率图像用来训练。

(2)混合问题的修复。现存算法尽管能很好地完成去模糊处理,使图像修复清晰,或者在一定程度上准确填充受损区域,但面对模糊、破损等混合问题,还没有相关算法研究。

(3)准确的评价函数。现阶段用来评价修复效果的有L1/L2损失、SSIM(结构相似性)、PSNR(峰值信噪比)等,然而它们各自存在自身局限,很多情况下不能客观反映修复效果,一种全新的准确评价函数有待研究。

参考文献

[1] Bertalmio M, Sapiro G, Caselles V, et al. Image inpainting[C]∥Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques, ACM Press/Addison-Wesley Publishing Co., 2000: 417- 424.

[2] 阮秋琦, 仵冀颖. 数字图像处理中的偏微分方程方法[J]. 信号处理, 2012, 28(3): 301-314.

Ruan Qiuqi, Wu Jiying. Partial Differential Equation (PDE) Method on Digital Image Processing[J]. Signal Processing, 2012, 28(3): 301-314.(in Chinese)

[3] Darabi S, Shechtman E, Barnes C, et al. Image melding: Combining inconsistent images using patch-based synthesis[J]. ACM Transactions on Graphics, 2012, 31(4): 82: 1- 82: 10.

[4] Wilczkowiak M, Brostow G J, Tordoff B, et al. Hole filling through photomontage[C]∥BMVC 2005-Proceedings of the British Machine Vision Conference 2005, 2005.

[5] Gao Ruohan, Grauman K. On-demand learning for deep image restoration[C]∥Proceedings of the IEEE International Conference on Computer Vision, 2017: 1086-1095.

[6] Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 107.

[7] Liu G, Reda F A, Shih Kevin J, et al. Image inpainting for irregular holes using partial convolutions[C]∥In Proceedings of the European Conference on Computer Vision, 2018: 85-100.

[8] Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: Feature learning by inpainting[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 2536-2544.

[9] Yang C, Lu X, Lin Z, et al. High-resolution image inpainting using multi-scale neural patch synthesis[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6721- 6729.

[10] Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 5505-5514.

[11] Yu J, Lin Z, Yang J, et al. Free-form image inpainting with gated convolution[C]∥In Proceedings of the IEEE International Conference on Computer Vision, 2019: 4471- 4480.

[12] Dolhansky B, Canton F C. Eye in-painting with exemplar generative adversarial networks[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7902-7911.

[13] Yeh R A, Chen C, Yian L T, et al. Semantic image inpainting with deep generative models[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 5485-5493.

[14] Masci J, Meier U, Cireʂ an D, et al. Stacked convolutional auto-encoders for hierarchical feature extraction[C]∥International Conference on Artificial Neural Networks, 2011: 52-59.

[15] Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research , 2010, 11(Dec): 3371-3408.

[16] Song Y, Yang C, Lin Z, et al. Contextual-based image inpainting: Infer, match, and translate[C]∥Proceedings of the European Conference on Computer Vision, 2018: 3-19.

[17] Wang Y, Tao X, Qi X, et al. Image Inpainting via Generative Multi-column Convolutional Neural Networks[C]∥Advances in Neural Information Processing Systems, 2018: 329-338.

[18] Yan Z, Li X, Li M, et al. Shift-net: Image inpainting via deep feature rearrangement[C]∥Proceedings of the European Conference on Computer Vision, 2018: 1-17.

[19] Zhang H, Hu Z, Luo Ci, et al. Semantic Image Inpainting with Progressive Generative Networks[C]∥2018 ACM Multimedia Conference on Multimedia Conference, 2018: 1939-1947.

[20] Nazeri K, Ng E, Joseph T, et al. EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning. arXiv preprint arXiv: 1901.00212.2019.

[21] Xiong W, Lin Z, Yang J, et al. Foreground-aware Image Inpainting[C]∥In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 5840-5848.

[22] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]∥International Conference on Neural Information Processing Systems, 2014: 2672-2680.

[23] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]∥International Conference on Medical Image Computing and Computer-assisted Intervention, 2015: 234-241.

[24] Tong T, Li G, Liu X, et al. Image super-resolution using dense skip connections[C]∥Proceedings of the IEEE International Conference on Computer Vision, 2017: 4799- 4807.

[25] Mao X, Li Q, Xie H, et al. Least squares generative adversarial networks[C]∥Proceedings of the IEEE International Conference on Computer Vision, 2017: 2794-2802.

[26] Ren K, Meng L, Fan C, et al. Least Squares DCGAN Based Semantic Image Inpainting[C]∥2018 5th IEEE International Conference on Cloud Computing and Intelligence System, 2018: 890- 894.

[27] Arjovsky M, Chintala S, Bottou L. Wasserstein generative adversarial networks[C]∥In International Conference on Machine Learning 2017: 214-223.

[28] Gulrajani I, Ahmed F, Arjovsky M, et al. Improved training of wasserstein gans[C]∥Advances in Neural Information Processing Systems, 2017: 5767-5777.

[29] Miyato T, Kataoka T, Koyama M, et al. Spectral normalization for generative adversarial networks. arXiv preprint arXiv: 1802.05957.2018.

[30] Gatys L A, Ecker A S, Bethge M. A neural algorithm of artistic style. arXiv preprint arXiv: 1508.06576.2015.

作者简介

范春奇 男, 1994年生, 河北沧州人。北京工业大学硕士, 主要研究方向为深度学习、图像处理。

E-mail: fanchunq@163.com

任 坤 女, 1973年生, 陕西人。北京工业大学讲师, 主要研究方向为计算摄像学和计算机视觉。

E-mail: renkun@bjut.edu.cn

孟丽莎 女, 1992年生, 山东曲阜人。北京工业大学硕士, 主要研究方向为生成对抗网络、图像修复。

E-mail: menglisha508@163.com

黄 泷 男, 1995年生, 北京人。北京工业大学硕士, 主要研究方向为目标检测。

E-mail: kenzo@emails.bjut.edu.cn