基于对抗攻击的SAR舰船识别卷积神经网络鲁棒性研究

(国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室, 湖南长沙 410073)

摘要：随着深度学习技术的迅猛发展,卷积神经网络(Convolutional Neural Networks,CNN)在合成孔径雷达(Synthetic Aperture Radar,SAR)舰船分类任务上取得很高的精度。但同时,由于SAR成像存在相干斑噪声等特性以及CNN自身的脆弱性,使得预测结果稳定性较差,在实际应用中存在明显隐患。针对上述CNN在SAR舰船识别分类任务上鲁棒性不足的问题,本文将对抗样本引入到SAR舰船识别鲁棒性的研究之中,通过从梯度、边界、黑盒模拟等多个角度对CNN网络进行全方位的对抗攻击及干扰,实现了对各SAR舰船识别CNN网络的综合评估,并依照评估结果完成针对性的鲁棒性增强方案的制定,为SAR舰船识别鲁棒性研究开拓了新的领域。

引用格式: 徐延杰, 孙浩, 雷琳, 等. 基于对抗攻击的SAR舰船识别卷积神经网络鲁棒性研究[J]. 信号处理, 2020, 36(12): 1965-1978. DOI: 10.16798/j.issn.1003- 0530.2020.12.002.

Reference format: Xu Yanjie, Sun Hao, Lei Lin, et al. The Research for the Robustness of SAR Ship Identification Based on Adversarial Example[J]. Journal of Signal Processing, 2020, 36(12): 1965-1978. DOI: 10.16798/j.issn.1003- 0530.2020.12.002.

The Research for the Robustness of SAR Ship Identification Based on Adversarial Example

(State Key Laboratory of Complex Electromagnetic Environment Effects on Electronics and Information System, College of Electronic Science and Technology, National University of Defense Technology, Changsha, Hunan 410073, China)

Abstract: With the rapid development of deep learning technology, CNN has got great accuracy in SAR ship classification. However, because of the character of SAR picture and the fragility of CNN, the performance of CNN is unstable that causes hidden danger in practical application. For CNN’s insufficient robustness in SAR ship identification task, this paper makes use of adversarial example to research the adversarial robustness of SAR ship identification that represent the ability of maintaining stable input-output relation under small change. This paper use kinds of adversarial attack based on gradient, boundary, block box and so on to fool most common CNN in SAR ship identification task. Then, we use the identification result and network visualization technology to evaluate the CNN’s robustness, finding that most SAR ship identification CNN’s adversarial robustness is weak that would be easily fooled by little change. Finally, we enhance the robustness of CNN targeted based on the evaluation that behaves much better in adversarial robustness. The use of adversarial example and the above research process breaks new ground in the research for the Robustness of SAR Ship identification.

Key words： synthetic aperture radar; ship identification; adversarial example; convolutional neural networks

1 引言

合成孔径雷达作为一种主动式的微波成像传感器,不同于传统的光学、红外等被动式的传感器,可以不受云雾、天气、光照等影响,全天时全天候的对目标区域进行有效的观测[1]。随着SAR独特优势的逐渐显现,世界各国都着力发展了自己的SAR工业,SIR、TerraSAR-X、ALOS-2、GF-3等一系列SAR卫星的相继发射使用,大大丰富了SAR图像数据。SAR图像由于自身成像特性,可以很好的克服海洋天气多变,云雾遮挡等问题,因而在海上目标舰船探测,尤其是舰船识别分类任务中表现良好,目前已广泛应用于船舶交通,移民监控等领域[2]。

CNN[3]凭借其对于SAR舰船图像强大的特征提取能力和表征能力[4],在众多识别分类方法中脱颖而出,并在实践中不断发展。Bentes等[5]将CNN与传统识别分类方法结合,提出了CFAR-图像预处理-CNN的SAR舰船分类模式,并成功应用于高分辨率下SAR舰船与冰山的识别;史鹤欢等[6]设计了基于PCA的CNN目标识别网络,在一定程度上解决了SAR图像经平移旋转等变化后识别率低的问题;田壮壮[7]等将误差代价引入到CNN分类训练中,使CNN与SAR结合更加紧密,提升了CNN在SAR图像识别上的分类正确率;徐丰[8]等充分利用SAR图像特性,在利用强度信息的基础上充分利用特定SAR的相位信息,使用复数卷积神经网络实现对SAR图像的识别。随着各种新方法的问世,CNN已经在稳定一致的SAR舰船数据集上取得了较高的识别精度,在OpenSARShip数据集上,何敬鲁[9]已经将主要的三类目标的识别正确率提升到了将近90%,五类目标的识别正确率也达到了将近70%,FUSAR-Ship数据集[10]在其制作者公布的算法上,大类别分类的正确率也达到了87%以上。

但上述结果都是建立在数据集独立同分布的基础之上,当图像受到自然干扰时,SAR舰船识别CNN的性能往往就会发生比较大下降,当面对人造的数字域或物理域干扰时,哪怕添加用肉眼难以区分的极小噪声,SAR舰船识别CNN仍有很大的概率输出高置信度的错误识别结果。

SAR舰船识别CNN对于SAR图像的细微变化极其敏感,目标背景一旦发生较大的变化,往往难以维持准确稳定的输出,这种鲁棒性的欠缺成为限制SAR舰船识别CNN实际性能的主要问题之一,寻找制作高鲁棒性SAR舰船识别CNN是解决这一问题的关键。

2 基于对抗攻击的舰船目标识别鲁棒性研究

模型的鲁棒性指其输入发生摄动时,保持稳定输入输出关系的特性,主要包括针对对抗样本的对抗鲁棒性、针对随机噪声的鲁棒性以及针对域外分布的鲁棒性等,本文着重研究神经网络的对抗鲁棒性(后简称鲁棒性)。相对于其他鲁棒性研究,对抗鲁棒性的特殊性在于:(1)对抗鲁棒性的研究专注于对抗样本,而对抗样本丰富多样如PGD等是对扰动的数值上限进行限定,而JSMA等对扰动点的数量进行限定,对于准确率而言起决定性影响的是对抗攻击方式而非扰动参数的设定,所以难以用单一的扰动参数来衡量鲁棒性,必须结合多种具体的对抗攻击方法,进行综合研究;(2)其他鲁棒性研究的结果一般是持久稳定的,但对抗样本与对抗鲁棒性之间存在着持续的博弈,对抗鲁棒性得到提升,随之而来的是新的对抗样本,反之亦然;(3)对抗鲁棒性所面临的攻击更加精准强大,对抗鲁棒性的增强使模型更加关注图像的本质特征而忽略一定细节信息,所以对抗鲁棒性的增强往往可以实现其他鲁棒性的连带增强,反之却未必。针对对抗鲁棒性的特性,本文主要做如下研究:

2.1 SAR舰船识别CNN鲁棒性欠缺原理分析

2.1.1 SAR图像舰船目标典型特性

SAR图像舰船目标典型特性从参数特性上来看,SAR图像为雷达接收到的地物目标的微波反射成像,本质上是地物目标的后向散射信息。这些信息不仅包括散射强度信息,还有相位信息,多极化成像中还包含有极化信息,如此多的信息纠缠耦合,使得SAR图像复杂多变[11]。一般而言,平静的水域呈暗色,而粗糙突出的舰船呈现出亮色,但是具体成像结果受雷达参数、目标材料和表面结构等多重因素影响,即使同一舰船在同一卫星的不同参数观察下、或不同观测角度下甚至不同特性水域下都会呈现出相异的图像特性,对于CNN图像特征的提取造成很大的困难。从成像机理上讲,SAR由于其独特的合成孔径成像方式,使得SAR图像不可避免的存在由于信号衰落而产生的相干斑噪声[12],这种噪声在均匀的海面之上存在广泛,其存在对于信息提取是否有用几乎随机,因而对于CNN识别网络具有很强的误导作用,大大削弱了模型的鲁棒性。

2.1.2 基于CNN的深度识别模型的对抗脆弱性

最近的研究发现,对于图像添加特定的微小噪声就有可能使深度网络输出错误的、与原本判断完全不同的结果,这种通过添加精心设计的微小噪声使模型产生错误分类的输入称为对抗样本,使用对抗样本欺骗深度网络的攻击称为对抗攻击[13]。对抗样本相比于随机噪声,攻击更加“精致”,如图1(噪声图像实际强度的50倍)所示FUSAR-Ship数据集中的BulkCarrier在CNN中识别正确,但添加随机噪声后识别发生错误,而在添加人工噪声(C&W对抗样本)后,CNN以极高的置信度将BulkCarrier图像识别为Fishing。

当基于CNN的深度识别模型面对对抗样本时,表现出了严重的对抗脆弱性。解决对抗脆弱性问题首先要了解对抗样本出现的原因,目前主要的观点为流形中的低概率区域解释和线性解释,如图2所示。

流形中的低概率区域解释从数据的角度出发,认为训练集毕竟有限,只是从整个无限的样本空间中以某个特定的方式提取了一部分样本进行学习。神经网络实质学习到的可分类区域只有高维特征空间上所学样本附近的区域,而没有能力泛化到整个样本空间。就算样本是无限且致密的,如同有理数一样,依然有无穷且更多的无理数不能遍历,从这个角度看,我们的训练集是有限的,所以对抗样本的存在也就是不可能完全避免的,只能尽量使模型鲁棒,压缩对抗样本的存在空间[13]。此外模型的非线性特性会至使对数据的高维特征提取并不均匀,可能导致低概率流形,进而引出对抗样本的出现。线性解释[13]从模型计算出发,一是认为机器存储计算过程中的精度有限,添加一个小的扰动,可能就会使计算精度造成的系统误差变得不可控,对后续结果产生剧烈影响。二是认为线性网络的层层叠加计算会对扰动的结果进行放大,指数级别的叠加,特别是高维空间呈现出线性特征,配合上前面所讲的精度问题,所造成的计算结果偏差可能是极为巨大的。

这些原因导致SAR舰船识别CNN上必不可免的存在对抗样本,减少乃至消除对抗样本对于CNN的影响不只是针对于对抗样本的攻击,还使模型对于微小噪声不再敏感,关注于SAR舰船的本质信息,是鲁棒性提升的重要手段和关键环节。

2.2 对抗攻击

对抗攻击技术最近几年获得很大发展,Szegedy 等人通过给图像添加肉眼难以分辨的扰动(L-BFGS),使已训练神经网络的分类错误的概率最大化,最终误导模型输出错误的分类结果。Goodfellow 等人提出了基于快速梯度符号算法生成对抗样本的方法(FGSM)[13]。后续以此思路,产生了各种策略的迭代梯度攻击如PGD[14]、BIM、AutoPGD等。Papernot 等人使用雅可比矩阵来确定在产生对抗样本时修改哪些信息(JSMA)。Carlini和Wagner改进了L-BFGS算法的搜索策略(C&W)[15],大大减少了运算量。Deepfool[16]等算法通过正交投影寻找决策边界,HopSkipJump等算法[17]在不了解网络结构和参数的情况下通过梯度模拟制作对抗样本,此外还有SSP[18]等算法与最新的自监督学习相结合,制作对抗样本。各种对抗攻击方式层出不穷,攻击效果也越来越好,成为检验模型鲁棒性的有效手段。

对抗攻击的分类方式多种多样,可以从是否使对抗样本分类成指定类别分为定向攻击与不定向攻击;也可以从攻击前是否获悉网络结构与参数分类成白盒攻击与黑盒攻击。为了保证攻击的全面、有效,本文分别从白盒的基于梯度攻击、优化搜索、边界投影和黑盒的基于梯度模拟、自监督伪梯度攻击算法中分别选取经典方法总结如下:

2.3 鲁棒性评估

本文通过向SAR舰船图像添加对抗样本噪声和随机噪声制作对于CNN的攻击图像,使用各种SAR舰船分类CNN进行分类实验,针对输出结果进行各模型的直观评价和量化指标数据评估,再加上网络可视化,实现对于SAR舰船分类CNN的鲁棒性综合评估,最后根据评估结果实现模型鲁棒性的针对性增强,基本流程如图3所示。

2.3.1 量化指标体系

攻击图像的实验结果随SAR舰船识别CNN种类的变化而变化,攻击效果的好坏反过来体现了该CNN在SAR舰船识别任务上鲁棒性的优劣,所以说对于对抗样本等攻击图像实现了有效的评估也就对SAR舰船识别CNN实现了有效的评估。对于攻击图像的评估要从多角度出发,本文参考DEEPSEC[19]设计了一套综合考虑攻击效果、失真情况和攻击鲁棒性的有损图像评估体系:

本评估系统,既考虑了分类的最终结果,又考虑了结果的偏移程度,既以机器视觉为基础,也充分考虑人眼对于图像的识别,同时考虑到对抗样本的攻击可能会遇到各种无意的干扰或者有意的防御,还考察了有损图像在面对这些情况时是否保有鲁棒性,是对攻击图像在SAR舰船识别CNN中表现的全方位评估考察。

2.3.2 可视化评估

近些年,可解释机器学习得到迅猛发展,隐层表示方法、敏感性分析方法、可解释性网络构建等方法从多个不同角度出发,对神经网络的运行机理进行可视化,一定程度上解决了神经网络的黑盒问题,同时也推动了神经网络鲁棒性的研究。相比于背景环境,神经网络对目标给予足够关注是鲁棒的重要前提,在噪声影响下,神经网络对于目标的关注保持稳定是模型鲁棒的重要表现。SAR舰船检测识别主要使用CNN,对CNN的可解释性可视化主要方法为隐层表征方法和敏感性分析方法。隐层表征方法以可视化的方式将卷积核学习到的特征图输出或者或重构至原始图像输出,将卷积神经网络的语义特征进行清晰的符号化表达,并可以将学习到的语义与人类已有知识相匹配,使人们对于神经网络有了更加深刻的认识,具体方法有CNN特征层可视化[20]、导向反向传播[21](Guided Back Propagation)、类激活映射[22](Class Activation Mapping,CAM)等。敏感性分析方法通过对原始数据进行有计划的改动(如删除、变色等),观测网络输出结果的变化,得到图像各部分与网络输出的映射关系,经典方法有极值扰动法[23](Extremal perturbations)、梯度类激活映射[24](Grad-Class Activation Mapping,Grad-CAM)、Layer-Wise Relevance Propagation[25](LRP)等。本文从隐层表征方法和敏感性分析方法中挑选经典方法,对SAR舰船识别CNN进行可视化,辅助鲁棒性的评估:

1)导向反向传播法(Guided Back Propagation):是对CNN特征层可视化的改进,在反卷积的过程中,它会考虑修正线性单元(Rectified Linear Unit,ReLU)的激活情况,在反向传播时屏蔽不被激活的修正线性单元,并把负信号设置为阈值0,通过只保留正梯度的影响,更好的模拟了修正线性单元在正向传播过程中的激活情况,得到的特征输出也更加清晰。

2)极值扰动法(Extremal perturbations):通过对图像上的像素进行极值扰动,诱导掩码范围不断扩张,将对输出结果正向作用小的像素进行极值掩盖,得到对于输出结果有重大影响的部分,其搜索公式为:

第一部分鼓励网络保持较高的响应输出,第二部分鼓励对新的区域进行掩码操作,扩张极值部分,第三部分通过惩罚不规则的形状来规范掩码的平滑度,不断扩张最终实现整幅图像的掩码结果,其工作示意图如下:

3)梯度类激活映射(Grad-Class Activation Mapping,Grad-CAM): Grad-CAM使用梯度的全局平均来计算特征权重。针对指定类C,首先获得最后一层输入softmax层之前的类别C的分数值,通过将C类数值反向传播到对应的卷积层,得到对应的梯度,梯度尺寸与特征图一致,再将单个维度的梯度求平均,即可得到对应通道的权重。最后类似CAM那样通过加权和的方式就可以得到热力图的原始特征图,再经过处理得到热力图。

3 实验结果与分析

3.1 分类结果与分析

本文实验所用基础数据源于GF-3卫星,GF-3是我国第一颗民用全极化c波段SAR卫星,主要用于海洋遥感。2016年8月10日上线,2017年1月23日开始运营。它位于极轨道上,平均轨道高度约755公里,重复访问期29天。具有成像方式多、成像宽度大、寿命长等优点。其基础参数如表3所示。

FUSAR-Ship数据集是高分3号得到的高分辨率AIS数据集,用于舰船的检测和识别。根节点为海事目标,海事目标分为船舶和非船舶两个分支,船舶节点几乎包括所有类别的船舶,如货船、油轮和渔船。实验挑选FUSAR-Ship数据集中数量较多的BulkCarrier、CargoShip、Fishing、Tanker四种SAR舰船亚类目标共420张,按照0.8∶ 0.2划分为训练集和验证集作为实验数据集。

此数据集类间距离小,BulkCarrier和CargoShip同属Cargo大类,CargoShip、Fishing和Tanker也有很高的相似度;数据分布不均匀,数量最多的CargoShip是数量最少的Tanker的3.4倍;数据质量变化大,部分数据海杂波、散射现象明显。此数据集在满足神经网络训练基本要求的基础上,为神经网络设置了诸多不利条件,使对于神经网络鲁棒性的考察研究更具实践意义。

在此数据集上,选取经典CNN中源于不同系列的Alexnet[3]、VGG16[26]、Densenet201[27]。和同系列的ResNet18、ResNet50和ResNet101进行实验,对网络进行纵向和横向的综合对比。各CNN训练30epoch后进行测试,记录基础数据在各CNN上的分类结果,作对比实验的基准。

在基础数据集的基础上,本文从多个角度进行对抗攻击:制作PGD、FGSM对抗样本考察SAR舰船分类CNN对于梯度攻击的鲁棒性;制作Deepfool、C&W对抗样本考察SAR舰船分类CNN对于边界搜索攻击的鲁棒性;制作SSP对抗样本考察SAR舰船分类CNN对于黑盒攻击的鲁棒性,最后制作添加高斯白噪声的样本(添加Gaussian noise图像简写为GN),考察SAR舰船分类CNN对于随机噪声的鲁棒性。对于噪声限定为L∞的攻击方法(FGSM、PGD、SSP)将噪声上限设置为16,其他对抗攻击方法为各自噪声限定标准下的最小扰动,GN在原始图像上添加同图像数据方差的高斯白噪声,各样本的噪声样例如图7所示(为方便观察FGSM、PGD、SSP噪声强度扩大10倍后图像,C&W、Deepfool、GN扩大50倍)。

可以看到对抗样本噪声极小,仔细观察对抗样本噪声可以发现FGSM和SSP的背景变化更为明显,SSP的背景呈现出一定的纹理特性,Deepfool和C&W攻击产生的对抗样本噪声极小,难以察觉,基于相同原理的攻击方式可以得到类似的攻击噪声。这些攻击图像变化小,不易被人察觉,是评估模型鲁棒性的有效方法。在此攻击数据集上,使用在基础数据上训练所得到各CNN进行SAR舰船识别分类实验,得到SAR舰船分类CNN在对抗样本等攻击下的表现。

从实验结果中可以看到,在基础数据集条件下,各SAR舰船识别CNN在原始数据上并没取得类似光学遥感图像的高识别率,其中 VGG16模型提取SAR舰船图像特征能力较好,得到了最高的分类精度,但并未与其他网络拉开差距,各网络在原始数据上的表现相差不大。各SAR舰船识别CNN识别攻击图像的表现各有不同,其中ResNet101面对各类攻击图像都取得了相对较高的识别精度,而同系列的ResNet50在面对攻击图像时,在各SAR舰船识别CNN中表现相对较差,说明即使是同系列的网络,拥有类似的网络结构,随着网络的堆叠也会在进行SAR舰船识别时表现出不同的鲁棒性。VGG16在原始图像上表现良好,面对攻击图像时表现一般,而Alexnet网络在原始图像上表现一般,在面对攻击图像时表现较差,说明SAR舰船识别CNN的准确性与鲁棒性并无直接联系是需要分别评估的两种性质。值得关注的是,在面对添加高斯白噪声的图像时,即使没有针对网络进行定向的攻击,Alexnet、Densenet201、ResNet18、ResNet50也出现了识别正确率的急剧下降,直接体现了这些CNN在面对SAR舰船图像背景噪声时鲁棒性的脆弱,反过来也说明VGG16和ResNet101对于SAR背景噪声相对不敏感,在鲁棒性上具有一定的优势。

此外,为了研究对抗鲁棒性随信噪比(SIGNAL NOISE RATIO,SNR)变化的影响与其他鲁棒性随SNR变化影响的区别与联系,实验还研究了不同攻击干扰强度的PGD和高斯白噪声添加的对SAR舰船识别CNN性能的影响,结果如图8所示。

对比图8中(a)、(b)可以看到,对抗攻击对于SAR舰船识别CNN性能的破坏明显强于随机噪声,特别是小扰动情况下性能的急剧下降,表现出经典CNN在对抗鲁棒性上的严重欠缺。虽然模型的鲁棒性不足以维持输入输出的高稳定关系,但两种干扰都不会使性能无限降低,在达到一定的攻击强度之后,SAR舰船识别CNN性能趋于稳定。观察图(a)可以看到在PGD攻击强度小于6时,各SAR舰船识别CNN性能随攻击强度增加而急剧下降,其中ResNet18和ResNet50在攻击强度为2时相对正确率就已经下降了80%以上,性能崩溃,说明了这两个CNN的在SAR舰船识别任务上鲁棒性的脆弱。之后很多SAR舰船识别CNN的性能出现了一定波动然后趋于稳定,波动的出现说明SAR舰船识别CNN的性能并不一定完全与攻击强度成反比,在小范围内可能出现一定变化。观察图5可以看到各SAR舰船识别CNN受高斯白噪声影响表现的趋势基本相同,其中VGG16和ResNet101相对其他CNN对噪声的增大更加不敏感,VGG16和Alexnet在大强度干扰下,表现相对较差。纵观各SAR舰船识别CNN在不同强度的各种干扰下的表现可知,ResNet101和VGG16对于强度变化相对更不敏感,ResNet101和Densenet201网络在大强度干扰下依旧可以保持相对较高的性能,这些网络在SAR舰船识别上表现出了更好的鲁棒性。

3.2 量化指标评估结果与分析

PGD对抗样本在诸多有损图像中对SAR舰船识别CNN的影响较大,是行之有效的对抗攻击方式且制作方便常作为标准对抗攻击方式考察神经网络,因此本文实验主要以PGD对抗攻击方法制作攻击图像,评估对抗样本在各SAR舰船识别CNN上的表现结果如表5所示。

结合原始图像的识别率可以看到,当误差限定为16时,MR和各SAR舰船识别CNN的原始图像识别率相同,这也就意味着此限定下PGD对抗样本可以对所有网络的所有正确类进行成功攻击,充分体现了PGD攻击的高效,也体现了各网络鲁棒性的不足。Densenet201、ResNet18、ResNet50在RCAC上数值极高,ACTC值极低,说明这些CNN完全受到对抗样本的误导,对于输出的错误SAR舰船分类结果极端确信,是鲁棒性脆弱性的重要表现。相比之下ResNet101网络上RCAC上数值低,ACTC值相对较高,说明ResNet101 SAR舰船分类网络即使被误导也并不确信所获得的错误结果,体现了ResNet101在SAR舰船分类上的鲁棒性优势。观察ALDp可知,从机器视觉角度出发,Alexnet网络的对抗样本变化最大,最易被机器检测;VGG16变化最小,通过改变较少的值就实现了对于VGG16 SAR舰船分类网络的最佳干扰,说明VGG16 SAR舰船分类网络对于二阶扰动限定更敏感。观察ASS和PSD可知VGG16网络产生的对抗样本更难用人眼分辨,人眼观察与计算机视觉的结果不完全相同,但总体趋势相似。观察NTE和RGB可知,在ResNet101网络上PGD对抗样本在SAR舰船分类上欺骗鲁棒性最差,容易受到随机噪声的影响,使攻击失效,VGG16、ResNet18、ResNet50网络上的对抗样本则恰恰相反,表现出了极强的鲁棒性,体现了这些网络的在SAR舰船分类识别任务上的鲁棒性问题。综上,ResNet101是SAR舰船识别任务中极具鲁棒性的CNN,具有很高的使用和研究价值。

由于ResNet101在各SAR舰船分类CNN中表现出较强的鲁棒性,且应用十分广泛,因此,本文针对ResNet101网络,通过多种方式制造有损图像,对ResNet101网络进行更加全面的综合评估,结果如表6所示。

从评估结果的MR中可以看到,白盒攻击的效果明显优于黑盒攻击,黑盒攻击又优于高斯白噪声添加。面对专门设计的有损图像,直接训练的resn101很难做出有效的抵抗,面对大方差的高斯白噪声,ResNet101虽然受影响,但仍对SAR舰船实现有效的识别。观察RCTC和ACTC可知,黑盒梯度模拟(HopSkipJump)的攻击由于信息的缺乏,制作的对抗样本更加保守,扰动相对较少,制作的对抗样本即使成功欺骗ResNet 101,也不能保证ResNet 101对错误结果的高度确信,说明在不了解网络结构及参数的情况下,通过梯度模拟制作对抗样本欺骗神经网络是有困难的,ResNet 101面对黑盒攻击本身就有一定鲁棒性。SSP攻击虽然攻击成功率不高,但凭借自监督学习到的大量信息及对于图像的积极改变,使ResNet 101对于错误识别有很高的确信度。

观察ALDp、ASS和PSD可知,SSP对于ResNet101 SAR舰船识别网络的改动极大,容易被察觉,CW攻击极力降低扰动量,不论人还是机器都很难区分。结合之前数据观察NTE和RGB可知,扰动大小和SAR舰船识别鲁棒性损坏接近正相关,同时也受到对抗攻击种类的影响。

3.3 可视化结果与分析

1)为观察不同攻击图像对于模型激活的影响,选取四类舰船的典型图像各一张,使用Guided Back Propagation方法观察图像在ResNet101网络上的激活情况,结果如图9所示。

从Guided Back Propagation结果图中可以看到,不同攻击图像干扰CNN激活的方式各不相同。对比原始图像,C&W对抗样本的干扰设计精巧,对CNN激活的影响范围不大,但位置关键,变化往往发生在目标物附近,如增强CNN对于十字斑噪声的关注度,以极小的成本实现对于CNN的误导,同时由于这种攻击设计十分苛刻,攻击的鲁棒性不足,在实践中受海杂波等影响很难顺利实现攻击,因此更多的可以作为一种数字域上鲁棒性检验的方法;PGD对抗样本对于神经网络的干扰也是发生在目标物附近,但范围更大,使CNN的关注点发生分散,进而误导模型,这类干扰的干扰效果好,从激活上看,攻击的鲁棒性也较好,是物理域中设计欺骗神经网络的重要发展方向,也是神经网络要防范的重要内容;SSP对抗样本实现了背景样本化,使模型关注分散到全图,进而实现误导;GN攻击图像虽然也会降低神经网络分类正确率,但从CNN激活的角度看,并未对CNN产生大量的激活误导,是比较好解决的问题。因此,SAR舰船识别CNN要提高鲁棒性,需要提升对于关键目标位置的关注度,减少背景对于神经网络判断的影响,同时对于十字斑等SAR特有的现象,要充分利用先验知识,实现祛斑降噪,提升SAR舰船识别CNN鲁棒性。

2)为观察攻击图像对不同模型激活情况的影响,选取特征明显的BulkCarrier的原始图像和PGD对抗样本,使用Grad-CAM方法观察图像在同系列的ResNet18、ResNet101及不同系列的Densenet201网络上的激活情况,结果如图10所示。

从Grad-CAM结果图中可以看到,PGD对抗样本对于各SAR舰船识别CNN的影响极大但有差别,ResNet18网络在第一层结束时就已经完全被对抗样本误导,将背景作为主要关注对象,体现了其鲁棒性的脆弱;ResNet101网络在信息提取初期受对抗样本影响较小,只出现细微噪声,与原始图像的激活基本一致,表现出一定的鲁棒性,但发展到最后还是出现了关注背景的错误,因此对于ResNet101网络,可以针对性的对后端网络进行训练,提升其鲁棒性。Densenet201网络在各层激活中出现了明显的关注分散,但并未出现只关注背景的情况,并在网络的最后展示出与原始图像相近的激活结果,说明其具有相对较好的鲁棒性。攻击图像在各CNN各层上的激活不尽相同,提升模型的鲁棒性要对症下药,面对VGG16和Densenet201这样的模型需要从一开始就进行好噪声的过滤,而ResNet101这类模型则需要把更多的精力放到模型后端的增强上。

3)为研究图像不同类别对模型激活的影响,选取四类舰船的典型图像各一张,使用Extremal perturbations方法观察图像在ResNet101网络上的激活情况,结果如图11所示。

从Extremal perturbations结果图中可以看到,图像对网络的激活并不总是以目标物为中心向四周扩散的,可能和目标之间有一定距离,与目标物毫无联系的背景也会对网络的输出产生一定的影响,这对背景复杂多变的舰船目标识别任务是十分不利的,要想保持足够的鲁棒性需要提升网络对于目标的专注度,对于背景做好降噪同质化工作,减少背景的影响。

对比各类图像激活情况可以发现,模型在各类别识别上的鲁棒性不尽相同,BulkCarrier特征明显,模型对于BulkCarrier图像的关注区域十分明确,而相比之下Fishing的特征与CargoShip和Tanker都有相近的地方,模型对于其识别目标不明确,更易受背景的影响。所以提升模型的鲁棒性对特征不够明显的类别也要特殊关照,通过对这些类进行数据上的增强扩充,训练上的重复强化,提升模型鲁棒性。

3.4 鲁棒性增强结果与分析

从鲁棒性评估的结果分析中我们知道,不同SAR舰船识别CNN在鲁棒性上差异很大,其中ResNet101 SAR舰船识别相较于其他CNN表现相对较好,但面对对抗样本时,依然表现得十分脆弱,有待加强。增强CNN鲁棒性的方法主要是进行对抗训练,即使用基础数据训练的同时,将对抗样本数据加入到训练集进行训练,但这样的训练往往耗时耗力,且针对性不足。经过一系列的网络鲁棒性分析及研究,我们发现各SAR舰船识别CNN鲁棒性的特定缺陷各有不同,鲁棒性增强也应对症下药,形成测试-分析-改进-再测试的CNN鲁棒性改进闭环程序。

ResNet101网络测试结果相对较好,是SAR舰船识别任务中的优先选择,其面对攻击时不易发生误判,即使发生误判也不是极端信任,因此具有很高研究价值和提升空间,针对其网络被误导主要发生在网络后部的现象,本文尝试在不同程度的冻结网络上进行对抗训练,考察后部定向效果。鉴于ResNet101的4layers结构,实验分别在已在基础数据集上完成训练的ResNet101上冻结至layer0(无冻结)、layer1、layer2、layer3进行对抗训练共10个epoch,选取在对抗样本上表现最优的模型,得到模型在SAR舰船原始数据和PGD对抗样本上的表现如表7所示。

观察实验结果,可以看到经过对抗训练后ResNet101 SAR舰船识别网络抵御PGD攻击的能力明显提升,对比各行可以看到,为了寻找各情况下最鲁棒的模型,评价标准发生变化,导致选取的ResNet101 SAR舰船识别网络在对抗样本上的识别正确率甚至已经高于原始图像;对比各列可以发现无冻结对抗训练训练模型在PGD攻击下表现较差,作为可视化下出现问题的Layer4单独训练(冻结到layer3),模型的鲁棒性得到提升,但不能达到最高,冻结layer2前训练得到的模型实现了最高的鲁棒性,但原始图像的识别正确率下降明显。综上可知,模型鲁棒性的提升往往需要以一定的准确性作为代价,在SAR舰船识别分类任务中应综合考虑,寻找满足应用需求的最优解;提升SAR舰船识别CNN的鲁棒性应对模型作具体分析,这样才能抓住关键问题,以较小的时间和资源代价实现鲁棒性的最优提升。

除了上述经典的对抗训练外,SAR舰船识别CNN的鲁棒性还可以通过多种方式进行提升,首先在数据域上,可以通过特征压缩,噪声抑制等方式如Feature Squeezing,实现数据的净化;然后,在模型设计上,可以添加注意力网络结构[4],增强网络对于图像本质属性的理解与提取[28],增强鲁棒性;在网络训练中,可以引入自监督对抗预训练如ROCL方法,以增强模型鲁棒性[29],通过Generative Adversarial Networks(GAN)实现对抗攻防[30]的博弈进化也是鲁棒性增强研究的重要方向;最后,通过最后的输出结果进行后端分析[31],在近几年也取得了进展,为提升鲁棒性提供了新的思路。SAR舰船识别CNN在对抗鲁棒性上表现出了普遍的脆弱性,关于其鲁棒性增强的研究是接下来SAR舰船识别CNN研究的重要方向与关键内容。

4 结论

本文针对SAR舰船识别鲁棒性脆弱性突出的问题,将对抗样本技术引入到SAR舰船识别CNN的鲁棒性研究之中,通过使用多类型对抗攻击方法,从不同角度考察了各SAR舰船识别CNN的鲁棒性表现,并通过量化指标数据分析和可视化展示,实现了对于SAR舰船识别CNN鲁棒性的结构级解读,最后根据解读完成鲁棒性的高效增强。这一基于对抗样本的评估-分析-改进-再评估体系为SAR舰船识别鲁棒性研究提供了完整范式,将促进这一领域的持续发展。

[1] 唐雄, 沈健, 卢晓勇. 基于中值对消的ACSI-SAR杂波抑制算法[J]. 指挥信息系统与技术, 2013, 4(4): 60- 64+79.

Tang Xiong, Shen Jian, Lu Xiaoyong. ACSI-SAR clutter suppression algorithm based on median cancellation [J]. Command Information System and Technology, 2013, 4 (4): 60- 64+79.(in Chinese)

[2] Mazzarella F, Vespe M, Santamaria C. SAR Ship Detection and Self-Reporting Data Fusion Based on Traffic Knowledge[J]. IEEE Trans on Geoscience &Remote Sensing Letters, 2015, 12(8): 1685-1689.

[3] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]∥Advances in Neural Information Processing Systems, Dec. 3- 8, 2012, Lake Tahoe, NV, USA. 2012: 1097-1105.

[4] 杨真真, 匡楠, 范露, 等. 基于卷积神经网络的图像分类算法综述[J]. 信号处理, 2018, 34(12): 1474-1489.

Yang Zhenzhen, Kuang Nan, Fan Lu, et al. Review of Image Classification Algorithms Based on Convolutional Neural Networks[J]. Journal of Signal Processing, 2018, 34(12): 1474-1489.(in Chinese)

[5] Bentes C, Velotto D, Lehner S. Target classification in oceanographic SAR images with deep neural networks: Architecture and initial results[C]∥Geoscience & Remote Sensing Symposium. IEEE, 2015.

[6] 史鹤欢, 许悦雷, 马时平, 等. PCA 预训练的卷积神经网络目标识别算法[J]. 西安电子科技大学学报, 2016, 43(3): 161-166.

Shi Hehuan, Xu Yuelei, Ma Shiping, et al. Convolutional neural network recognition algorithm based on PCA[J]. Journal of Xi’an University, 2016, 43(3): 161-166.(in Chinese)

[7] 田壮壮, 占荣辉, 胡杰民, 等. 基于卷积神经网络的SAR图像目标识别研究[J]. 雷达学报, 2016, 5(3): 320-325.

Tian Zhuangzhuang, Zhan Ronghui, Hu Jiemin, et al. SAR ATR Based on Convolutional Neural Network[J]. Journal of Radars, 2016, 5(3): 320-325.(in Chinese)

[8] 徐丰, 王海鹏, 金亚秋. 深度学习在SAR目标识别与地物分类中的应用[J]. 雷达学报, 2017, 6(2): 136-148.

Xu Feng, Wang Haiping, Jin Yaqiu. Deep Learning as Applied in SAR Target Recognition and Terrain Classification[J]. Journal of Radars, 2017, 6(2): 136-148.(in Chinese)

[9] 何敬鲁. SAR图像舰船目标检测与分类方法研究[D]. 西安: 西安电子科技大学, 2019.

He Jinglu. Research on Detection and Classification of Ship Targets in SAR Images[D]. Xi’an： Xidian University, 2019.(in Chinese)

[10] Hou Xiyue, Ao Wei, Song Qian, et al. FUSAR-Ship: building a high-resolution SAR-AIS matchup dataset of Gaofen-3 for ship detection and recognition[J]．中国科学, 2020, 63(4): 36-54

[11] 王彦平, 王官云, 李洋, 等. 多角度极化SAR图像散射特征建模及其应用[J]. 信号处理, 2019, 35(3): 396- 401.

Wang Yanping, Wang Guanyun, Li Yang, et al. Multi-Aspect PolSAR Scattering Signatures Modeling and Application[J]. Journal of Signal Processing, 2019, 35(3): 396- 401.(in Chinese)

[12] 王彦平, 黄增树, 谭维贤, 等. 地基SAR干涉相位滤波优化方法[J]. 信号处理, 2015, 31(11): 1504-1509.

Wang Yanping, Huang Zengshu, Tan Weixian, et al. Ground-based SAR Interferometric Phase Filtering Optimization[J].Journal of Signal Processing, 2015, 31(11): 1504-1509.(in Chinese)

[13] Goodfellow I, Shlens J, Szegedy C, et al. Explaining and Harnessing Adversarial Examples[J]. (2014)arXiv preprint arXiv: 1412.6572.

[14] Madry A, Makelov A, Schmidt L, et al. Towards Deep Learning Models Resistant to Adversarial Attacks[J]. International Conference on Learning Representations (ICLR)2018.

[15] Carlini N, Wagner D. Towards Evaluating the Robustness of Neural Networks[C]∥IEEE Symposium on Security and Privacy, 2017: 39-57.

[16] Moosavi-Dezfooli S M, Fawzi A, Frossard P. Deepfool: a simple and accurate method to fool deep neural networks [C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2016: 2574-2582.

[17] Chen Jianbo, Jordan, Michael, Wainwright, Martin. Hop-

SkipJumpAttack: A Query-Efficient Decision-Based Attack. 2020: 1277-1294. 10.1109/SP40000.2020.00045.

[18] Naseer M, Khan S, Hayat M, et al. A Self-supervised Approach for Adversarial Robustness[J]∥CVPR 2020.

[19] Ling Xiang, Ji Shouling, Zou Jiaxu, et al. DEEPSEC: A Uniform Platform for Security Analysis of Deep Learning Models, IEEE S&P, 2019.

[20] Zeilermd, Fergusr. Visualizing and understanding convolutional networks[C]∥Proceedings of European Conference on Computer Vision. Berlin, Germany: Springer, 2014: 818- 833.

[21] Springenbergjt, Dosovitskiya, Broxt, et al．Striving for simplicity: the all convolutional net[EB/OL]. [2020-04-01]. https:∥arxi.org/abs/1412.6806．

[22] Zhou B L, Khosla A, Lapedriza A, et al．Learning deep features for discriminative localization[C]∥Proceedings of International Conference on Computer Vision and Pattern Recognition．Washington D. C, USA: IEEE Press, 2016: 2921, 2929.

[23] Fong R, Patrick M, Vedaldi A. Understanding Deep Networks via Extremal Perturbations and Smooth Masks[J]. ICCV, 2019: 2950-2958.

[24] Selvaraju R R, Cogswell M, Das A, et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization[J]. International Journal of Computer Vision, 2020, 128(2): 336-359.

[25] Lapuschkin S, Binder A, Montavon G, et al. The LRP toolbox for artificial neural networks[J]. Journal of Machine Learning Research, 2016, 17: 3938-3942.

[26] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv: 1409.1556v1, 2014.

[27] Huang Gao, Liu Zhuang, Van Der Maaten L, et al. Densely connected convolutional networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. 2017: 2261-2269.

[28] 牟效乾, 陈小龙, 关键, 等. 基于INet的雷达图像杂波抑制和目标检测方法[J]. 雷达学报, 2020, 9(4): 640- 653.

Mou Xiaoqian, Chen Xiaolong, Guan Jian, et al. Clutter Suppression and Marine Target Detection For Radar Images Based on INet[J]. Journal of Radars, 2020, 9(4): 640- 653.(in Chinese)

[29] Kim M, Tack J, Hwang S J. Adversarial Self-Supervised Contrastive Learning[J]. NeurIPS, 2020.

[30] Mou Xiaoqian, Chen Xiaolong, Guan Jian, et al. Sea Clutter Suppression for Radar PPI Images Based on SCS-GAN[J]. IEEE Geoence and Remote Sensing Letters, 2020, PP(99): 1-5.

[31] Chandrasekaran V, Chaudhuri K, Giacomelli I, et al. Exploring Connections Between Active Learning and Model Extraction[J]. arXiv, 2018.

徐延杰男, 1995年生, 辽宁海城人。国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室硕士研究生, 主要研究方向为智能电子对抗与评估、多源遥感图像识别等。

E-mail: 603220383@qq.com

孙浩(通信作者) 男, 1984年生, 博士研究生, 国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室副教授, 主要从事多源遥感图像协同解译与语义挖掘方面的研究。

E-mail: sunhao@nudt.edu.cn

雷琳女, 1980年生, 博士研究生, 国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室副教授, 主要研究方向为遥感图像处理、图像融合、目标识别等。

E-mail: leilin@nudt.edu.cn

计科峰男, 1974年生, 博士, 国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室教授, 博士生导师, 研究方向为SAR图像解译、目标检测与识别、特征提取、SAR和AIS匹配。

E-mail: jikefeng@nudt.edu.cn

匡纲要男, 1966年生, 博士, 国防科技大学电子科学学院电子信息系统复杂电磁环境效应国家重点实验室教授, 博士生导师, 图形与图像处理方向学科带头人, 研究方向为遥感图像智能解译、SAR图像目标检测与识别。