1 引言
近年来,遥感图像场景分类研究受益于深度学习技术的迅猛发展,在分类精度上得到了很大的提升。卷积神经网络(Convolutional Neural Networks, CNN)作为一种经典的深度学习方法,凭借其对于图像数据的强大特征提取能力和表征能力,广泛应用于遥感图像的分类识别任务之中,并取得了突破性的成果。然而,通用的骨干网络如ResNet、Inception等在广泛提升遥感分类正确率的同时也带来了很大的安全隐患。在遥感图像上添加精心构造且人眼不易察觉的噪声即对抗样本可以误导神经网络产生错误的识别结果。以往的研究显示,对抗样本对于遥感图像分类任务的影响是巨大且不容忽视的[1]。
对抗样本自Szegedy等人提出以来受到了广泛的关注,其提出通过深度神经网络训练得到的模型,在输入与输出之间的映射往往不是线性的,这导致向原始图像中添加特定的微小噪声(对抗噪声),可以致使模型以高置信度给出一个错误的输出[2]。近年来,对抗攻击技术得到了巨大发展,种类也逐渐丰富,可根据是否获悉被攻击模型的网络结构和参数分为白盒攻击和黑盒攻击[3-4]。白盒攻击主要依靠梯度回传、优化搜索等方法制作对抗样本,攻击效果更好,黑盒攻击主要依靠梯度模拟、差分进化等方式制作对抗样本,攻击效果稍弱,但具备更高的实用价值。
传统的对抗攻击方法可以有效攻击单波段遥感图像的分类器,大大降低其分类准确率,然而这并不适用于攻击多源遥感图像分类器。由于成像特性的差异,不同波段的对抗扰动并不具备耦合性,如同区域的光学和SAR遥感图像对抗噪声往往在位置信息和幅度信息上都无直接联系,在现实世界中难以同时实现。因此 本文旨在提供一种针对多源遥感图像分类器的对抗攻击方法,可以在多源成像的背景下,制作高度耦合的对抗噪声,以便物理实现。本文攻击方法为像素级攻击,通过设定多源遥感图像扰动发生在相同位置,实现对抗噪声的耦合,并通过差分协同进化不断寻找综合攻击效果更好的对抗噪声,最终完成多源对抗样本的制作。总的来说,本文贡献可概括为以下三点:
我们首次提出了可以同时欺骗多源遥感图像分类网络,如光学和SAR图像分类网络的对抗攻击方法,将对抗攻击与遥感分类任务进行了更加紧密的连接。
本文将稀疏方法与差分协同进化方法充分结合,提出了一种行之有效且与物理世界联系紧密的对抗攻击方法。
实验证明,本文方法通过改变遥感图像个别像素点的数值可以使不同源图像分类器的正确率急剧下降,为多源遥感条件下对抗样本的物理实现提供了可能。
2 基本原理
2.1 差分协同进化
差分协同进化[5]算法采用实值编码, 主要包含种群变异、种群交叉、种群选择等3个步骤。种群变异通过原始种群个体子集的线性组合生成新的种群个体, 由此产生变异种群。变异和交叉在同种群内进行,产生新的子代。种群选择用于产生进入下一次迭代的新种群, 选择的对象为原始种群及种群交叉产生的候选种群,可视为约束条件下的多目标优化任务。其中, 贪婪选择策略是最为常用的选择策略, 其保证了种群中适应度更优的个体进入下一次迭代。由于多目标属性,种群选择必须综合考虑所有结果,再根据各评估分数在父代与子代间进行淘汰,实现协同进化。
2.2 稀疏对抗攻击
对抗攻击一般会对对抗噪声做出一定的限制,目前普遍使用L∞、L2、L0三种限制。其中,L∞和L2攻击为全图攻击,分别对扰动的最大值和二范数值作出限定,L0攻击对发生扰动像素的个数进行限定而并不关注扰动数值本身的大小。L0限制下得到的对抗噪声在计算机视觉中以稀疏矩阵的形式存在,一系列稀疏矩阵算法应用于对抗样本的制作,攻击效果明显[6-7]。其中,白盒攻击以Jacobian Saliency Map Attack(JSMA)[8]。最为经典,其通过计算显著性矩阵,得到各像素对模型分类影响的显著性因子,并通过修改显著性较高的像素点,增加图像分类为指定标签的概率。不断计算与筛选,直到分类器输出指定标签。此算法攻击成功率较高,但计算量极大,且要求模型可导,在海量遥感数据的背景下使用困难。黑盒攻击中,Pixel-Attack 使用较广,它通过差分进化,在位置-数值空间内进行搜索,最终得到最优的对抗噪声。
2.3 多源遥感
随着遥感技术的快速发展,对地观测的卫星传感器种类逐渐丰富扩展至光学、微波、红外等,同一区域可得到多组遥感数据即多源遥感。相较于单源遥感,多源遥感可以充分发挥不同遥感的优势[9],如光学遥感的高可识别度、SAR遥感的全天时、全天候等[10]。在使用多源数据进行分类任务时,需进行信息融合,融合通常在像素级、特征级和决策级进行。像素级融合一般具有较高的正确率,但数据量、计算量消耗巨大,实际应用较少;特征级融合首先通过模型提取多源图像特征,并以特征矢量的形式表示,再对特征矢量进行分析,取得了一定的效果并具有巨大潜力;决策级融合则直接对两个分类器的输出结果进行分析,这种方法对多源数据的完整性要求不高,使用最为广泛。多源遥感数据往往对同一区域的观测往往来自于不同的拍摄高度和俯仰角,因而使用前一般需要先进行配准操作,经配准后的图像虽然成像差异巨大,但具有严格的空间对应关系[11],如图1所示。
图1 已配准多源遥感图像实例,上方图片为遥感场景示意图,中间和下方图片分别为同一地区的SAR图像和光学图像,最下方为遥感场景的标签
Fig.1 Example of registered multi-source remote sensing images.The picture above is the schematic diagram of remote sensing scene and the middle and bottom images are SAR and optical images of the same area, respectively.The label of the remote sensing scene is at the bottom
3 方法与原理
3.1 问题描述
对于同一区域使用多源遥感进行观测,以遥感中最为常见的光学和SAR为例,得到数据集X1和X2并通过训练得到深度分类网络f1和f2。取数据集中同一区域的一对光学和SAR图像x1和x2,要实现多源遥感分类的对抗攻击,我们希望通过一定算法制作相应的对抗噪声
满足如下条件:
(1)
即在改变尽可能少像素点的情况下,实现对于同一区域的两种遥感图像分类器的同时误导,其中
和
在信息维度上有所不同,数值变化也独立进行,但变化点的位置相同如图2所示,使多源对抗噪声在空间上耦合,在物理世界具有现实意义,便于实现。
图2 对抗噪声及样本实例,左侧图片为原始图像,下方为其预测标签,中间为对抗噪声图像,右侧为对抗样本,其下方标签为模型对对抗样本的识别结果
Fig.2 Example of adversarial examples of our method, the picture left to the plus sign is the clean data and the label under clean data is the true label(original prediction as well), the right is the perturbation.The picture right to the equal sign is it is the new prediction
3.2 稀疏差分协同进化攻击
稀疏差分协同进化攻击是针对稀疏信息(像素级噪声信息),通过差分协同进化,寻找到最优方案,最终实现攻击的方法。首先投放一定数量包含完整对抗噪声信息(x,y,R,G,B,S)的随机产生的种子,其中x,y代表噪声点的位置信息,为多源遥感对抗噪声图像的共同约束,R,G,B为噪声点光学遥感成像中三个通道的数值,S为该噪声点在SAR成像中的数值。然后以这些种子作为初始父代,依次通过种群变异和种群交叉产生子代:
a≠b≠c
(2)
其中,ci代表个体中的一个元素,k代表个体的代数,a≠b≠c确保信息来自于不同个体,保证基因的多样性,避免陷入局部最大值,基因的交叉以
为蓝本,确保基因的稳定性,F为变异系数,控制变异给基因带来变化的大小,为种群进化提供动力。之后进行种群选择,将种子中的信息投影到遥感图像上,制作对抗样本,通过对抗样本在相应分类网络中的表现,对种子进行评分,并将父代和子代进行一一比较,筛选更具适应性的个体存活下来作为新一轮的父代样本。由于多源遥感攻击是约束条件下的多目标攻击,所以必须考虑所有分类器输出的结果进行综合评估。以光学和SAR分类器的对抗攻击效果评估为例,我们希望两种成像模式下的对抗样本在相应分类器下的正确项概率都趋向0,但是当某一分类器输出概率足够小时,继续降低此概率将几乎不对攻击效果产生收益,因此,差分进化需要对高概率的输出给予更高的惩罚,设置评分函数如下:
(3)
其中P为分数,父代与子代分数高者可存活进入下一轮,F1、F2为遥感图像分类器,输出对抗样本在正确类上的概率。总的流程图如图3所示。
图3 本文方法实现流程图,首先由父代种子经交叉变异、交叉产生子代种子;然后由父代种子和子代种子分别制作对应的光学和SAR对抗样本,并输入相应成像模式的分类网络;最后根据分类网络的结果对父代和子代种子进行评估,得分低的种子被淘汰,得分高的种子将存活下来重复此流程
Fig.3 Illustration of our method.Firstly, generates new parameter vectors by adding the weighted difference vector between two population members to a third member; then, generate optical and SAR adversarial examples according to the vectors and input them into the corresponding classifier; finally, evaluate experimental results, choose the vector whose score is higher to survive and repeat this progress
4 实验与评估
4.1 实验设置
本文实验使用So2Sat LCZ42标准数据集[12],此数据集为Sentinel-1和Sentinel-2在全球范围内的42城市群和10个额外的较小区域进行多源遥感所得多光谱图像,图像尺寸为32×32,对应的实际尺寸为320×320 m,多源图像数据经过严格的配准,因而具有稳定的空间对应关系,非常适合多源遥感的研究。本实验选取居民区、工业区、林区、沙地和水体这5类典型遥感场景,并以同一区域的光学(RGB)图像和垂直极化SAR图像作为实验数据,如图1所示。将光学和SAR数据分别划分为训练集和验证集,具体各场景的数量如表1所示。
表1 数据数量
Tab.1 Amount of datasets
数量居民区工业区林区沙地水体总量训练集256860228767226096684测试集266905236557025306636
将光学和SAR图像分别投入ResNet18模型进行训练,优化器选用Adam优化器,学习率设为10-3,batch_size大小设为256,得到光学分类模型和SAR分类模型,策略级融合二者生成合成模型,当光学分类模型和SAR分类模型任一识别正确则视合成模型识别正确。
使用稀疏差分协同进化攻击两分类器前先对初代种子的参数进行初始化,其中噪声点位置x,y初始化为32×32图像中均匀随机分布,噪声强度信息初始化服从高斯分布N(0.5,1)。初代投放100个种子,经100次种群选择,最终挑选出攻击效果最佳的对抗样本。
4.2 结果与分析
使用稀疏差分协同进化进行单点攻击和双点攻击,观察光学分类模型、SAR分类模型和合成模型的正确率变化,结果如表2所示。
表2 原始图像及对抗样本在多源分类模型上的正确率(%)
Tab.2 Clean data and adversarial examples accuracy rates of remote sensing models(%)
光学分类模型SAR分类模型合成模型原始数据92.3681.0094.17单点对抗样本30.9842.0744.90双点对抗样本3.3728.9831.45
从实验结果中可以看到,稀疏差分协同进化可以有效攻击多源遥感分类器,在只改变原始图像一个点的情况下,就可以降低光学分类器61.38%、SAR分类器38.93%和合成模型49.27%的正确率,当攻击达到两点,光学分类器将完全崩溃,正确率降低88.99%,SAR分类器和合成模型的正确率也下降52.02%和62.72%。光学分类器较SAR分类器虽然对原始数据的分类能力更强,但也更易受到稀疏攻击的影响,正确率急剧降低。多源分类器不论单独使用或是合成使用都无法抵抗稀疏差分协同进化攻击。
为了进一步研究稀疏差分协同进化攻击对于多源遥感分类网络的攻击效果,我们制作了混淆矩阵,如图4所示。
图4 混淆矩阵,上方三个矩阵(a)(b)(c)为原始图像矩阵,为观察方便,对角线上颜色已固定,下方(d)(e)(f)为本文方法单点对抗样本混淆矩阵.左侧一列(a)(d),中间一列(b)(e)及右侧一列(c)(f)分别为光学模型、SAR模型及两模型预测对应矩阵
Fig.4 The upper three graphs show the confusion matrix of clean data.The confusion matrix of true label and RGB model and SAR model prediction is shown in picture a, b.The confusion matrix of RGB model and SAR model is shown in picture c.Their diagonal color are fixed to observe others conveniently.The lower three graphs are the confusion matrix of one pixel adversarial examples
从实验结果中可以看到,原始图像中居民区和工业区容易混淆,林区、沙地和水体容易混淆,在对抗样本中同样如此,对抗样本对于模型的欺骗并不是随机的,误判的对抗样本往往会集中至指定类别,如光学模型中的居民区识别为工业区,林区识别为水体和SAR模型下居民区识别为工业区,林区识别为沙地,对抗样本往往将图像诱导至距其特征距离较近的其他类别。观察两种模型的预测矩阵可以看到攻击前两模型预测的一致性很高,而攻击后对角线上的值快速减低,说明即使在相同的位置设置噪声点,多源分类器也常常会因为成像特性的差异而做出不同的评断。
为验证基于稀疏差分协同进化的对抗攻击的通用性,我们将使用其对多种网络构架进行了攻击,合成模型在攻击前后的分类结果如下表所示,其中横轴为RGB分类器网络类型,纵轴为SAR分类器网络类型。
表3 原始图像在合成多源分类模型上的正确率(%)
Tab.3 Clean data accuracy rates of remote sensing models (%)
ResNet18ResNet50VGG16Moblenet_v2ResNet1898.7197.9295.2497.89ResNet5096.4096.9194.0397.21VGG1696.7197.0593.8497.30Moblenet_v296.4996.9693.9697.20
此实验结果中可以看出,本文方法能够普遍的误导模型,不同构建的模型在本文方法攻击下分类准确率都严重下降。攻击效果取决于光学和SAR两种分类器,其中SAR分类器的骨干网类别影响更大。
表4 对抗样本在合成多源分类模型上的正确率(%)
Tab.4 Adversarial examples accuracy rates of remote sensing models(%)
ResNet18ResNet50VGG16Moblenet_v2ResNet1844.9056.7949.6450.54ResNet5042.8645.5435.7135.71VGG1660.7162.5060.7161.61Moblenet_v246.4348.3236.6135.71
5 结论
本文首次提出了一种基于稀疏差分协同进化的对抗攻击方法,并首次将对抗攻击引入到多源遥感分类攻击任务中。实验证明,本文方法可以有效攻击多源遥感分类器,通过添加像素级对抗噪声使分类器的分类正确率严重下降。同时本文方法也暴露出计算消耗过大等问题,下一步研究我们将围绕小计算量对抗攻击和多源遥感白盒攻击展开,进一步完善对抗攻击在遥感领域,尤其是多源遥感领域的应用。
[1] XU Yonghao, DU Bo, ZHANG Liangpei.Assessing the threat of adversarial examples on deep neural networks for remote sensing scene classification: Attacks and defenses[J].IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(2): 1604-1617.
[2] GOODFELLOW J, SHLENS J, SZEGEDY C, Explaining and harnessing adversarial examples[J].International Conference on Learning Representations(ICLR), 2014.
[3] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al.Intriguing properties of neural networks[EB/OL].2013.
[4] MADRY A, MAKELOV A, SCHMIDT L, et al.Towards deep learning models resistant to adversarial attacks[EB/OL].2017.
[5] STORN R, PRICE K.Differential evolution-A simple and efficient heuristic for global optimization over continuous spaces[J].Journal of Global Optimization, 1997, 11(4): 341-359.
[6] SU Jiawei, VARGAS D V, SAKURAI K.One pixel attack for fooling deep neural networks[J].IEEE Transactions on Evolutionary Computation, 2019, 23(5): 828-841.
[7] KOTYAN S, VARGAS D V.Adversarial robustness assessment: Why both L0 and L∞ attacks are necessary[EB/OL].2019: arXiv: 1906.06026[cs.LG].https:∥arxiv.org/abs/1906.06026.
[8] WIYATNO R, XU Anqi.Maximal Jacobian-based saliency map attack[EB/OL].2018.
[9] 张天坤, 李汶原, 平凡, 等.面向多源遥感图像的自适应目标检测[J].信号处理, 2020, 36(9): 1407-1414.
ZHANG Tiankun, LI Wenyuan, PING Fan, et al.Adaptive object detection for multi-source remote sensing images[J].Journal of Signal Processing, 2020, 36(9): 1407-1414.(in Chinese)
[10] 王彦平, 王官云, 李洋, 等.多角度极化SAR图像散射特征建模及其应用[J].信号处理, 2019, 35(3): 396-401.
WANG Yanping, WANG Guanyun, LI Yang, et al.Multi-aspect PolSAR scattering signatures modeling and application[J].Journal of Signal Processing, 2019, 35(3): 396-401.(in Chinese)
[11] 姜刚, 贾鸿顺, 顾俊凯, 等.一种改进的辐射不变特征多源图像配准算法[J].测绘科学, 2020, 45(11): 68-74.
JIANG Gang, JIA Hongshun, GU Junkai, et al.An improved multi-source remote sensing image registration method with radiation invariant features[J].Science of Surveying and Mapping, 2020, 45(11): 68-74.(in Chinese)
[12] ZHU Xiaoxiang, HU Jingliang, QIU Chunping, et al.So2Sat LCZ42: A benchmark data set for the classification of global local climate zones[software and data sets][J].IEEE Geoscience and Remote Sensing Magazine, 2020, 8(3): 76-89.
