1 引言
流量分类是通过分析网络中传输的数据流,按照某种规则判断其业务类型,是网络安全、网络管理的重要依据[1]。在不同应用环境下流量分类的类型不同,需要依据实际情况进行预定义。通过对正常或异常流量的分类,可检测网络异常流量[2-5],从而保证网络安全运行;通过对流量应用属性的分类[6-10],可为不同应用提供相应的处理、转发策略,满足各种流量的差异化QoS(Quality of Service)需求,从而保证网络高效运行。但是,随着信息安全技术的不断发展,网络流量中的加密流量占比增大、流量加密形式复杂,给流量分类技术带来了新的挑战。传输加密流量时,通常采用端口动态分配和端口混淆技术,且加密流量解析难度大、耗时长,因此,传统的基于端口号的流量分类方法和基于深度报文解析的流量分类方法难以完成加密流量分类任务。
基于机器学习的流量分类方法通过人工或神经网络提取流量特征[11],然后根据特征的差异性进行流量分类,与传统方法相比,更适于加密流量分类。但是人工提取特征受限且难度较大,而且特征选择的好坏直接影响分类性能,进一步提高分类性能较为困难。而自动提取特征的深度学习方法只需要将处理好的流量数据输入到深度神经网络,就可以自动完成特征提取和特征选择工作,学习输入数据的特征从而实现流量分类,能够满足对加密流量分类的要求。近年来,基于深度学习的加密流量分类方法成为研究热点[12-13]。
Wang等人[6] 率先提出应用卷积神经网络来进行加密流量分类,Wang将流量中的每个字节作为一个像素点,生成灰度图作为卷积神经网络的输入来进行流量分类,较传统的浅层学习如C4.5决策树等方法有明显的性能提升。王勇等人[7]沿用卷积神经网络,用另一种方式生成灰度图,将Moore特征作为像素点生成灰度图,作为卷积神经网络的输入,在Moore数据集上达到了99.3%的准确率,在微软发布的校园网流量数据集上达到了90.68%的准确性。但是这两种方法更多关注数据包层面的特征,没有考虑流层面数据包之间的时间序列特征。为解决该问题,更全面地反映流量特征,Zou等人[8]提出了一种卷积长短期记忆网络的模型,从数据包层面和流层面提取特征来进行加密流量分类。该模型通过在卷积神经网络后连接长短期记忆网络(LSTM,Long Short-Term Memory)实现流层面的特征提取,实验证明该方法比基于卷积神经网络的加密流量分类方法的准确率提高了5%。
为进一步提高流量分类准确率和实时性,Cui等人[9]分析卷积神经网络结构,认为池化层会导致有效流量信息丢失,影响流量分类准确性,提出在对流量进行处理时删除池化层以提高准确性的方法。随着注意力机制成为深度学习中的研究热点[14],在卷积神经网络中加入注意力机制,使网络具有识别特征重要程度的功能,有助于提升分类性能,在图像分类领域[15-16]、文本分类领域[17]和人脸识别领域[18]的实验证明加入注意力机制的卷积神经网络的性能较之前有明显提升。循环神经网络可以从流层面有效提取流量特征,在典型的循环网络中,Cho等人[19]提出的门控循环单元(GRU,Gated Recurrent Unit)具有与LSTM相似的性能和更简单的网络结构,在应用中便于训练,且具有高实时性。
本文基于文献[8]从包层面和流层面提取特征的思路,从提高分类准确率和实时性角度,对卷积长短期记忆网络模型进行改进,提出基于卷积注意力门控循环网络(CAGRN,Convolutional Attention Gated Recurrent Networks)的加密流量分类方法。采用卷积神经网络来进行单个数据包的特征提取,为避免池化层导致的特征丢失对分类准确率的影响,提出通过调整卷积层参数,代替池化层进行去冗余和压缩功能。同时引入注意力机制,以提高训练效率和分类准确率。采用门控循环单元提取流层面多个数据包的时间序列特征,减少网络的复杂性,有助于提高训练效率和分类实时性。最后在现有的数据集上对该方法进行评估。
2 方法设计
流量分类首先提取流量特征,然后通过对特征差异性的分析进行分类。依此思路,CAGRN首先把原始流量进行预处理,生成规则的灰度图以便后续神经网络完成特征提取任务。在特征提取阶段,该方法分别从单个数据包层面和多个数据包组成的流层面进行特征提取,从而全面地反映流量的整体和局部特征。在提取单个数据包特征时,将灰度图输入到卷积神经网络进行深层特征提取,得到单个数据包的特征图。为找出关键特征,提升分类性能,在卷积神经网络的输出之后加入注意力机制,对特征图中不同位置的特征按照重要程度进行加权,得到新的特征图,完成单个数据包的特征提取工作。然后进入流层面特征提取阶段,在流中抽取3个连续的数据包,将它们的特征图依次输入到循环神经网络进行时间序列特征提取,得到流层面的特征向量,完成流特征提取。最终采用全连接层来分析同时具有单个数据包特征和流特征的特征向量的差异性,得到分类结果。该方法的模型结构如图1所示。
图1 基于卷积注意力门控循环网络的加密流量分类模型
Fig.1 The classification model of encrypted traffic based on convolutional attention gated recurrent network
2.1 数据预处理
数据预处理是将原始流量数据转化成可以输入到神经网络中的数据形式,该模块将原始流量转化成了28×28的灰度图。具体步骤如下:
1)汇聚成流。首先将原始流量进行解析,将每一类业务解析成数据包的形式,其次将一定时间内具有相同五元组(源端口号、目的端口号、源IP地址、目的IP地址、协议)的数据包汇聚成流。本文认为这样的流是同一种业务产生的流量。
2)选择样本。传统流量分类方法需要提取流中的所有数据包或者流中固定位置的数据包,当数据包在传输过程中出现丢失或者损坏,将对分类性能造成极大影响。本模型随机选取三个连续的数据包作为样本来实现分类任务,在实践中应用更为灵活,鲁棒性更强。
3)数据包转化成灰度图。本文所采用的模型的输入为图片格式,所以要把流量转化成图片。提取每一个数据包的前784个字节,将每一个字节转化为0到255之间的某个数据,然后进行归一化处理得到784个0到1之间的值,作为一个长和宽都为28像素的灰度图的每一个像素值,数值0代表黑色,数值1代表白色。若数据包大于784个字节,则只取前784个字节,若数据包小于784个字节,则其余的像素点补零,最终把样本数据包转化成3个28×28的灰度图。
2.2 包特征提取
该模块对卷积神经网络进行改进用以提取包特征。传统的卷积神经网络采用卷积层和池化层交替出现的结构来对图片进行处理,卷积层用于提取图片的深层特征,池化层用于压缩图片,去除冗余特征[20]。把这种适用于图片处理的结构应用到流量所产生的图像中会出现两点问题:一是无论是最大池化还是平均池化都不含参数,无法进行学习;二是池化层的功能是用来压缩图片,会丢弃一些特征[9]。对于自然图片而言,相邻像素之间相关性较强,池化所丢弃的特征对其影响不大,但是对于数据包所产生的图片而言,图片的每一个像素都是数据包中的每一个字节,相邻像素之间相关性较小,所以,池化会导致某些重要的特征丢失,影响最终的分类结果。
池化层主要有平均池化和最大池化两种方法。其处理过程如图2所示。平均池化即将池化核范围内的所有像素用其平均值代替;最大池化即将池化核范围内的所有像素用其最大值代替,其他像素值则全部被丢弃。
图2 池化层示意图
Fig.2 Schematic diagram of pooling layer
卷积层通过卷积运算提取图片深层特征,处理过程如图3所示,X表示输入图片,W表示卷积核,O表示输出。卷积层计算过程如公式(1)所示:
图3 卷积层示意图
Fig.3 Schematic diagram of convolution layer
O(i, j)=(X*W)(i, j)=
(1)
卷积层输出尺寸计算公式如公式(2)所示:
O=(X-K+2P)/S+1
(2)
上式中,X表示输入图片大小,O表示输出图片大小,K表示卷积核的大小,S表示卷积核的步长,P表示填充的像素数。
为避免池化层造成的特征丢失和无法学习的问题,该模块通过调整卷积层的参数,如卷积核大小、步长,填充的像素数等,以得到一个理想输出O的输出尺寸,达到压缩和去冗余的作用,代替池化层。如图3所示当卷积层选用不同的参数时,输出的尺寸是不一样的,当步长为2,填充为0时,卷积层能够达到池化核为2的池化层的效果,这种方法不会造成特征丢失,更适合于处理流量转化的图片。
2.3 注意力机制
特征的差异性是分类的依据,但只有有用的特征才有助于分类,且不同特征对分类起到不同重要程度的作用。将重要特征赋予更高的权重有助于更快、更准的实现分类。注意力机制在计算机视觉领域的应用中得到了比较好的效果,被用来衡量不同区域特征的重要程度。类比到数据包所转化的图片中,数据包所产生的各个像素点的重要程度也是不一样的。有些像素点是报头信息产生的、有些像素点是负载信息产生的、有些像素点是某些固定字段产生的,其重要程度必然有所差别。于是,在该模型中引入注意力机制模块。该模块将上一模块提取的特征图输入到一个不改变图像尺寸的卷积层,可以得到一个与特征图尺寸相同的注意力图。将特征图与注意力图进行融合可以得到新的特征图,计算过程如公式(3)所示。
F2=F1⊙M
(3)
其中F1表示卷积神经网络输出的特征图,M表示注意力图,F2表示特征图与注意力图融合重建的新的特征图,⊙表示矩阵元素积,即两幅图对应像素点分别相乘。
如图1所示,输入图像经卷积神经网络的特征提取后,得到了一个特征图F1,注意力机制通过一个卷积层对F1进行学习,将F1输入到一个不改变图像尺寸的卷积层,得到一个与特征图F1尺寸完全相同的注意力图M,卷积层选用的激活函数为sigmoid函数,使注意力图的每一个像素点都在0和1之间,表示这个像素点的重要程度,然后经注意力图M与特征图F1按照公式(3)进行计算,对应像素点分别相乘进行融合,重建出新的特征图F2,输入到下一模块。
2.4 流特征提取
在传输业务时,通常需要将业务分成多个数据包,以流的形式传输。所以各个数据包之间还存在着时间序列特征,即流特征。循环神经网络可以有效地提取时间序列特征,常用的循环神经网络主要有长短期记忆网络和门控循环单元。长短期记忆网络包含两个隐态和三个门,参数较多,网络较为复杂,相比之下门控循环单元在性能上与长短期记忆网络相差不大,但其网络结构更为简单,于是该模块采用门控循环单元来进行数据包之间的时间序列特征的提取。GRU最早在文献[19]中提出,并在应用中不断改进发展,本模型在经典GRU的基础上,在门函数内增加偏置以提高拟合能力,更好地学习特征。
GRU包含两个门和一个隐态,分别为更新门、重置门和状态信息。结构如图4所示。
图4 门控循环单元
Fig.4 Gated recurrent unit
rt是更新门,控制上一时刻信息输入到当前状态的待更新信息
的程度。。
rt=σ(Wr·[ht-1,xt]+br)
(4)
zt是重置门,对当前时刻待更新信息进行有选择的更新。
zt=σ(Wz·[ht-1,xt]+bz)
(5)
则更新后的状态信息为:
(6)
公式(4)～(6)中W和b分别表示各个门的连接权重和偏置,x表示GRU输入,σ表示sigmoid函数。
GRU的结构决定GRU具有良好的时间序列特征提取性能的同时,结构更简单,更容易进行训练,能够很大程度上提高训练效率和分类实时性,易于计算。
2.5 分类模块
最终将单个数据包特征和数据包之间的时间序列特征构成的特征向量输入到一个由全连接层和Softmax层组成的分类器中,全连接层的神经元数量为预划分的流量类型的总数,Softmax层输出的为目标为各个类型的概率,最终选择概率最大的类型,得到最终的分类结果。
3 实验仿真
实验中采用纽布伦斯威克大学公开发布的ISCX VPN-nonVPN加密流量数据集[21],对提出的方法进行验证。ISCX VPN-nonVPN加密流量数据集包括7种常规加密流量和7种VPN加密流量,本文在常规加密流量和VPN加密流量中分别选择了5种作为实验样本,对2种加密方式和10种流量类别进行分类实验。各样本所对应的灰度图如图5所示。
图5 各种类型流量对应的灰度图
Fig.5 Gray scale map corresponding to various types of traffic
在实验中,首先将数据集分成训练集和测试集,然后将训练集数据按照第2节所提出的方法进行预处理后开始对神经网络模型进行训练,然后将测试数据输入到训练好的模型中即可得到分类结果,最后将分类结果与真实标签类型对比来进行性能评估。为验证所提出模型的合理性,本文采用控制变量的方法,在文献[8]所提模型的基础上分别加入三种创新方法,即用卷积层代替池化层的CNN改进方法、用GRU代替LSTM的创新方法和加入注意力机制的创新方法,作为对照实验。其中CNN+LSTM代表文献[8]的模型,改进CNN+LSTM代表加入对CNN的改进,CNN+GRU代表将LSTM替换为GRU的模型,CNN+LSTM+Attention代表加入了注意力机制,CAGRN代表本文所提模型。通过对几个分类模型的分类准确性、实时性和训练效率进行对比,分析验证本文所提出创新方法的有效性以及所提模型的优势。
本文所选取的实验硬件环境为一台内存为16 GB,搭载2.5 GHz 主频处理器的64 位Win 10 操作系统PC。软件环境为2.3.1 版本的Tensorflow 框架以及4.2.0 版本的Anaconda3 环境。具体搭建的神经网络框架如下:
CNN+LSTM按照文献[8]中结构,卷积部分采用卷积核为3*3*64和3*3*128的卷积层进行两次卷积,每次卷积后加入一个2*2的池化层,然后经过Flatten后连接一个256个神经元的全连接层,LSTM部分的隐藏单元个数为256,经LSTM后连接一个10个神经元的全连接层最终输出分类结果。改进CNN+LSTM模型的实现是将池化层用卷积核为3*3*16和3*3*128、步长为2的卷积层代替;CNN+GRU则直接将LSTM换成GRU;CNN+LSTM+Attention是将第二个卷积层的输出连接一个卷积核为3*3*128、激活函数为softmax的卷积层,产生注意力图,然后通过Multiply层进行融合;CAGRN则是上述三种改进的融合。
3.1 分类准确性分析
本文在对分类准确性进行分析时,主要以准确率(Accuracy)、查准率(Precision)、查全率(Recall)作为指标进行分析。计算公式如下:
(7)
其中,真正(TP,True Positive)表示被正确分类的正样本数目,即把A类正确分类到A类的数量,真负(TN,True Negative),表示正确分类的负样本数目,即把其他类正确分到其他类的数量,假正(FP,False Positive),表示被错误分类为正样本的负样本数目,即把其他类错误的分到A类的数量,假负(FN,False Negative),表示被错误分类的正样本数目,即把A类错误的分到其他类的数量。
则准确率表示正确分类的样本数占总样本数的比例,查准率表示正确分类为A的数量占分类为A的总数的比例,查全率表示正确分类为A的数量占A的实际数量的比例。
图6是几种分类模型的查准率、查全率对比图,从图中可以看出,CAGRN模型和改进CNN+LSTM模型对各个加密流量类型的查准率和查全率整体要优于其他三种模型。CNN+GRU和CNN+LSTM+Attention模型的查准率和查全率略高于CNN+LSTM。图7是不同训练样本数量下几种分类模型的分类准确率对比图,由图可知在训练样本数量为1000和2000时,CAGRN模型和改进CNN+LSTM模型分类准确率均高于其他三种模型。但是当样本数量达到5000时,上述两种模型分类准确率虽仍高于其他模型,但是准确率提升不明显。从图6和图7的结果可以分析,对CNN池化层的改进能够明显增加模型的分类准确性,加入注意力机制和用GRU代替LSTM则对准确性提升不明显。当样本较大的情况下模型的分类准确性差别不大是因为当样本较大时即使是很简单的神经网络模型也能达到较高的准确性,在CNN+LSTM模型的分类准确率已经接近99%的情况下,对其进行改进很难有明显的性能高提升,所以CAGRN模型在大样本情况下的分类准确率仍有提升是有意义的。图8是CAGRN模型分类结果的混淆矩阵,可以清楚的看出各个类型流量正确分类和错误分类的情况。CAGRN模型错误分类情况占比极少,且都集中在常规加密流量内部和VPN加密流量内部,不会出现将常规加密流量和VPN加密流量混淆的情况,对不同加密方法的识别度较高。证明了本文的改进方法能够有效提高加密流量分类准确性。
图6 五种分类模型的查准率和查全率对比图
Fig.6 Precision and recall comparison of five classification models
图7 五种模型训练样本数量与分类准确率的关系图
Fig.7 The relationship between the number of training samples and classification accuracy of five models
图8 CAGRN模型分类结果的混淆矩阵
Fig.8 Confusion matrix of classification results of CAGRN model
3.2 分类实时性分析
实验中,用各个模型对10、100、1000个加密流量样本进行分类的时延作为实时性的评估指标,可以计算出分类时延如图9所示。
从图9的实验结果可以看出改进CNN+LSTM和CNN+LSTM+Attention模型的分类时延明显高于CNN+LSTM,CNN+GRU和CAGRN模型的分类时延明显高于CNN+LSTM,这证明了用卷积层代替池化层和加入注意力机制在一定程度上增加了模型的复杂度,导致实时性变差;GRU相对于LSTM结构更加简单,增加了模型的分类实时性。而CAGRN模型的分类实时性高于CNN+LSTM证明了本文的改进方法能够有效提高加密流量分类的实时性。
图9 五种模型实时性对比
Fig.9 Real time comparison of five models
3.3 训练效率分析
图10为五种模型在训练样本为2000时的训练过程。由图可知,五种模型的分类准确率都是随着训练轮次的增加而逐渐增加,直到训练到某一轮后开始收敛,当准确率收敛时,即认为模型完成训练。此时的收敛时间即模型完成训练的最小时间,可以反应模型的训练效率,收敛时间越短训练效率越高,收敛时间越长,训练效率越低。由图10可知,仅从训练轮次看,三种改进方法均能明显的提高CNN+LSTM的训练效率。
图10 训练轮次与分类准确率的关系
Fig.10 Relationship between training rounds and classification accuracy
表1是五种模型的平均每轮训练时间,模型的收敛时间的值为收敛轮次的数值乘平均每轮训练时间,由图10可知,CAGRN模型在第13轮之后开始收敛,CNN+LSTM模型在第21轮开始收敛。则可计算出每个模型的收敛时间。CAGRN模型的收敛时间为81.25 s,CNN+LSTM模型的收敛时间为129.78 s。CAGRN模型的收敛时间明显低于CNN+LSTM,在实际应用中可以显著提高训练效率。
表1 模型的平均每轮训练时间
Tab.1 The average training time per round of five models
模型名称平均每轮训练时间/sCNN+LSTM6.18改进CNN+LSTM6.43CNN+GRU5.94CNN+LSTM+Attention6.36CAGRN6.25
4 结论
为实现加密流量的快速准确分类,本文提出了一种基于卷积注意力门控循环网络的加密流量分类方法。将卷积神经网络与循环神经网络相结合,分别从包层面和流层面进行特征提取,全面的反映流量特征。该方法对卷积神经网络进行改进,通过调整卷积层参数代替池化层的功能,避免了流量特征的丢失和池化层无法学习的问题;通过引入注意力机制,使网络具有识别分类关键特征的功能,提高分类准确性。在设计循环神经网络时,采用性能较好、结构简单的门控循环单元提取流特,提高分类实时性和训练效率。在公开的ISCX VPN-nonVPN加密流量数据集的实验证明:利用卷积层代替池化层能够有效的增加分类准确性和训练效率,但是会增加分类时延;利用GRU代替LSTM能够有效的减少分类时延和增加训练效率,但是对分类准确性提升作用不明显;加入注意力机制能够有效的加快训练效率并能小幅度增加分类准确性,但是会增加分类时延。作为三种创新的组合,CAGRN模型在准确性、实时性和训练效率均高于CNN+LSTM模型,在实际应用中具有重要的应用价值。而在不同的加密流量分类的应用背景下,对分类准确性、实时性以及训练效率等指标有不同的要求,很难找到一个具有普适性的模型来满足各种应用背景的需求。最合适的加密流量分类模型一定是针对具体应用背景来设计的,本文在提出一个具有较高准确性和实时性的加密流量分类模型的同时也分析了添加不同改进模块的特点,以便在具体应用背景下进行选择性应用和进一步研究。
[1] PACHECO F, EXPOSITO E, GINESTE M, et al.Towards the deployment of machine learning solutions in network traffic classification: A systematic survey[J].IEEE Communications Surveys & Tutorials, 2019, 21(2): 1988-2014.
[2] 陈卓, 吕娜.基于随机森林和XGBoost的网络入侵检测模型[J].信号处理, 2020, 36(7): 1055-1064.
CHEN Zhuo, LYU Na.Network intrusion detection model based on random forest and XGBoost[J].Journal of Signal Processing, 2020, 36(7): 1055-1064.(in Chinese)
[3] 陈卓,吕娜,陈坤,等.基于时空图卷积网络的无人机网络入侵检测方法[J/OL].北京航空航天大学学报:1-11.https:∥doi.org/10.13700/j.bh.1001-5965.2020.0095.
CHEN Zhuo, LYU Na, CHEN Kun, et al.UAV network intrusion detection based on spatio-temporal graph convolutional network[J/OL].Journal of Beijing University of Aeronautics and Astronautics: 1-11.https:∥doi.org/10.13700/j.bh.1001-5965.2020.0095.(in Chinese)
[4] FERDOWSI A, SAAD W.Generative adversarial networks for distributed intrusion detection in the Internet of Things[J].2019 IEEE Global Communications Conference(GLOBECOM), 2019: 1-6.
[5] ZHANG Jun, CHEN Chao, XIANG Yang, et al.An effective network traffic classification method with unknown flow detection[J].IEEE Transactions on Network and Service Management, 2013, 10(2): 133-147.
[6] WANG Wei, ZHU Ming, WANG Jinlin, et al.End-to-end encrypted traffic classification with one-dimensional convolution neural networks[C]∥2017 IEEE International Conference on Intelligence and Security Informatics(ISI).Beijing, China.IEEE, 2017: 43-48.
[7] 王勇, 周慧怡, 俸皓, 等.基于深度卷积神经网络的网络流量分类方法[J].通信学报, 2018, 39(1): 14-23.
WANG Yong, ZHOU Huiyi, FENG Hao, et al.Network traffic classification method basing on CNN[J].Journal on Communications, 2018, 39(1): 14-23.(in Chinese)
[8] ZOU Zhuang, GE Jingguo, ZHENG Hongbo, et al.Encrypted traffic classification with a convolutional long short-term memory neural network[C]∥2018 IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems(HPCC/SmartCity/DSS).Exeter, UK.IEEE, 2018: 329-334.
[9] CUI Susu, JIANG Bo, CAI Zhenzhen, et al.A session-packets-based encrypted traffic classification using capsule neural networks[C]∥2019 IEEE 21st International Conference on High Performance Computing and Communications; IEEE 17th International Conference on Smart City; IEEE 5th International Conference on Data Science and Systems(HPCC/SmartCity/DSS).Zhangjiajie, China.IEEE, 2019: 429-436.
[10] ILIYASU A S, DENG Huifang.Semi-supervised encrypted traffic classification with deep convolutional generative adversarial networks[J].IEEE Access, 2020, 8: 118-126.
[11] 周志华.机器学习[M].北京: 清华大学出版社, 2016.
ZHOU Zhihua.Machine learning[M].Beijing: Tsinghua University Press, 2016.(in Chinese)
[12] Rezaei S, Liu X.Deep Learning for Encrypted Traffic Classification: An Overview[J].IEEE Communications Magazine, 2019, 57(5):76-81.
[13] YAN Jinghua, YUAN Jing.A survey of traffic classification in software defined networks[C]∥2018 1st IEEE International Conference on Hot Information-Centric Networking(HotICN).Shenzhen, China.IEEE, 2018: 200-206.
[14] 朱张莉,饶元,吴渊,等.注意力机制在深度学习中的研究进展[J].中文信息学报,2019,33(6):1-11.
ZHU Zhangli, RAO Yuan, WU Yuan, et al.Research progress of attention mechanism in deep learning[J].Journal of Chinese Information Processing, 2019, 33(6): 1-11.(in Chinese)
[15] BELLO I, ZOPH B, LE Q, et al.Attention augmented convolutional networks[C]∥2019 IEEE/CVF International Conference on Computer Vision(ICCV).Seoul, Korea(South).IEEE, 2019: 3285-3294.
[16] 李红艳,李春庚,安居白,等.注意力机制改进卷积神经网络的遥感图像目标检测[J].中国图象图形学报,2019,24(8):1400-1408.
LI Hongyan, LI Chungeng, AN Jubai, et al.Attention mechanism improves CNN remote sensing image object detection[J].Journal of Image and Graphics, 2019, 24(8): 1400-1408.(in Chinese)
[17] 汪嘉伟,杨煦晨,琚生根,等.基于卷积神经网络和自注意力机制的文本分类模型[J].四川大学学报(自然科学版),2020,57(3):469-475.
WANG Jiawei, YANG Xuchen, JU Shenggen, et al.Text classification model based on convolutional neural network and self-attention mechanism[J].Journal of Sichuan University(Natural Science Edition), 2020, 57(3): 469-475.(in Chinese)
[18] Li J, Jin K, Zhou D, et al.Attention Mechanism-based CNN for Facial Expression Recognition[J].Neurocomputing, 2020, 411.
[19] CHO K, VAN MERRIENBOER B, GULCEHRE C, et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[C]∥Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing(EMNLP).Doha, Qatar.Stroudsburg, PA, USA: Association for Computational Linguistics, 2014: 1724-1734.
[20] 周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(6):1229-1251.
ZHOU Feiyan, JIN Linpeng, DONG Jun.Review of convolutional neural network[J].Chinese Journal of Computers, 2017, 40(6): 1229-1251.(in Chinese)
[21] HABIBI LASHKARI A, DRAPER GIL G, MAMUN M, et al.Characterization of Encrypted and VPN Traffic using Time-related Features[C]∥Proceedings of the 2nd International Conference on Information Systems Security and Privacy-Volume 1(ICISSP).Rome, Italy.SciTePress, 2016:407-414.
