1 引言
通信辐射源个体识别,又称辐射源指纹识别或特定辐射源识别技术(Specific Emitter Identification, SEI),是通过提取接收的电磁信号特征,根据已有的先验信息,确定辐射源个体的过程。通信辐射源个体识别可以归结为模式识别问题,提取能够充分体现个体差异的特征并进行分类识别,在军用和民用上都具有重要的意义。
通信辐射源个体识别任务,要求能够从同一型号、同一批次的多个辐射源中识别出每一个体。但在复杂电磁环境中,通信电台的个体特征微弱,难以获得完备的特征集,对辐射源进行个体识别的难度较大。电台从开机到正常工作,总是从开机时刻的过渡状态到系统稳定的工作状态,因此指纹特征可以被分为暂态特征和稳态特征。N. Scrinken等人[1]通过提取信号的信息维数、关联维数等特征,一定程度上解决了对暂态信号的识别问题,但是这种方法易受时变特性影响。由于暂态信号持续时间短,难以提取并且暂态特征易受复杂信道的影响,难以得到广泛应用[2]。稳态信号由于其较易获取,能够通过处理、变换得到稳态特征,逐渐成为了后期指纹特征研究的热点。蔡忠伟等人[3]利用双谱提取信号特征,但在一定程度上损失了部分相位信息。YUAN等人[4]用经过希尔伯特黄变换得到的特征实现通信辐射源的个体识别;余沁等人[5]利用小波变换提取通信辐射源信号特征;任东方等人[6]利用固有时间尺度分解算法,结合非线性分析对舰船信号进行识别。Udit Satija等人[7]在单跳和中继情况下,所提出的VMD-SF识别方法优于VMD-EM2方法和EMD-EM2方法。通过指纹特征提取进行分类取得了一些成果,但是这些方法往往提取的特征较为单一,对特征有效性要求较高。而在复杂电磁环境下的非协作通信中的实际场景,难以得到有效地先验信息,进而分类误差较大,分类效果不佳。
伴随着计算机硬件性能和大数据技术的发展,近年来,深度学习技术[8]在语音识别[9]、图像识别[10]、人脸识别[11]等方面取得了惊人的效果。He等人[12]提出的残差神经网络(ResNet)解决了随着网络层数增加误差逐渐增大和梯度弥散问题,在目前的图像分类任务中取得了极佳的性能。文献[13]将卷积神经网络运用到无线电认知中,文献[14]将IQ两路信号直接输入到深度卷积神经网络中,对不同调制类别的无线电信号进行分类。文献[15]将深度受限玻尔兹曼机用于辐射源的提取识别,取得了较好的识别效果。文献[16]采用深度置信网络进行辐射源识别,在小样本条件下取得了较好的效果。目前的深度学习方法大都是基于实数的,虽然复数神经网络提出时间较早,但是由于复数数据的处理更加困难,当实数网络取得突破进展时,关于复数网络的研究却较少。论文[17]提出了复数神经网络基本组件系统性的公式化推导,用实验证明了复数网络和实数网络在实数数据集上的性能不相上下,但复数网络在音乐预测和语音分析领域具有更好的效果。
实际复杂电磁环境条件下,为解决从同一型号、批次,发射相同参数信号的多个通信电台中精准识别出每一个电台的通信辐射源个体识别的问题,本文提出一种基于复数残差网络(complex-valued residual network,CVResNet)的通信辐射源个体识别方法,将I路和Q路采集数据组合成复数后输入到复数残差网络中,获得反映辐射源个体内在信息的细微特征。实验证明,复数残差网络在通信辐射源个体识别任务中表现出优于实数残差神经网络的性能,并且在低信噪比的条件下,复数残差网络鲁棒性更强,识别效果更好。
2 复数神经网络
对于复数输入z=x+iy,x为实部分量,y为虚部分量,因为复数之间的运算本质上是由实数运算组成,因此我们用实数网络模拟复数网络的运算。
2.1 复数卷积层和复数全连接层
卷积层通过对多个张量卷积的数学操作,对输入信号进行特征提取。为了获得与实数域上等价的复数卷积网络,定义复数滤波器W=A+iB(A和B是实矩阵),对于二维复数输入z=x+iy(x和y是实矩阵),采用实数网络模拟复数操作得到复数形式的卷积输出形式如下
W*z=(A*x-B*y)+i(B*x+A*y)
(1)
采用矩阵形式进行表达,运算的实部和虚部分别可以表示为
(2)
其中R(W*z)是卷积W*z结果的实部,V(W*z)是卷积W*z结果的虚部。以二维复数卷积层为例,复数卷积结果分为四个部分:ZR与WR进行卷积,ZI与WI进行卷积,ZR与WI进行卷积,ZI与WR进行卷积,其中ZR、ZI、WR、WI分别是输入特征图的实部、虚部,卷积核的实部、虚部。四部分卷积均按照实数域卷积方式进行,得到四个新的特征图。并且ZR*WR-ZI*WI为输出特征图的实部,ZI*WR+ZR*WI为输出特征图的虚部,将实部和虚部组合为新的复数,即为复数卷积的结果。
图1 复数卷积过程
Fig.1 Complex-valued convolution process
上述推导过程不仅适用于复数卷积网络,同样适合于全连接层。对于卷积层和全连接层而言,上述复数网络所采用的“*”操作分别为卷积运算和矩阵乘积。因此实现了在实数神经网络结构的基础上构建复数网络结构:复数全连接层(Complex-valued Fully Connection Layer, CVFC)和复数卷积层(Complex-valued Convolution Layer, CVCL)。
2.2 复数权重初始化方法
合适的权重初始化方式能加快网络的收敛速度进而很快找到最优解;一定程度上避免网络在反向梯度传播时出现梯度消失或爆炸现象。目前常用的实数域权重初始化方案有Xavier初始化、He初始化等。
为推导复数域Xavier权重初始化,定义复数权重的形式为
w=|w|eiθ=R{w}+iV{w}
(3)
其中|w|和θ分别表示权重w的幅值与相位,复数权重的方差表示如下:
Var(w)=E[ww*]-(E[w])2=E[|w|2]-(E[w])2
(4)
上面公式中的*表示矩阵的共轭。当权重w均值为0时,上述公式可简化为Var(w)=E[|w|2],而E[|w|2]无法计算得出。引入复权重w服从高斯分布的假设条件,此时其幅值服从瑞利分布,根据|w|的方差计算可以得到如下公式
Var(|w|)=E[|w||w|*]-
(E[|w|])2=E[|w|2]-(E[|w|])2
(5)
因此Var(|w|)=Var(w)-(E[|w|2])2,即Var(w)=Var(|w|)+(E[|w|2])2。获得权重的方差只需要计算出幅值|w|的均值与方差,根据瑞利分布的特性可知|w|的均值与方差可以通过瑞利分布的参数σ表示
(6)
因此复数权重为:
(7)
2.3 复数激活函数
激活函数能将有用的数据特征保留,将冗余的数据过滤。目前卷积神经网络中使用的激活函数以校正线性单元函数(Rectified Linear Unit, ReLU)及其变体居多。
(8)
其中z为激活函数的输入,当z为复数变量时,其无法直接与0作比较,因此ReLU在复数域中无法使用。目前主要的复数激活函数有modReLU、CReLU、和zReLU三种。
modReLU(z)=ReLU(|z|+b)eiθz=
(9)
CReLU(z)=ReLU(R(z))+iReLU(V(z))
(10)
(11)
modReLU只是对复数幅值进行ReLU,相位值保留;CReLU是分别对实部和虚部进行ReLU;zReLU只对相位进行ReLU,这三种激活函数在不同数据集上各有优势。
2.4 复批归一化层和复数池化层
批量归一化是对权重初始化的补充。实数网络的批量归一化操作是在隐层中添加两组参数γ和β,目的是保持模型的建模能力,其中γ是对归一化后的数据进行尺度上的缩放、β是对归一化的数据进行左右平移。传统的批量归一化的计算标准仅适用于实数值,零均值、方差为1的标准化方案。复数的批量归一化推导过程基于实数归一化的推导,推导公式如下:
(12)
(13)
γrr和γii初始化为
和γir以及β的实部虚部均初始化为0。为了使得训练和测试时的批归一化效果吻合,在一些参数上加入随网络学习而改变的均值偏移量,Vrr和Vii的均值偏移量初始化为
和β的均值偏移量初始化为0,均值偏移量的动量为0.9。
在实数域的池化操作基础上可以获得复数域的池化操作。复数域上的最大池化操作是基于复数节点的幅值进行的;而复数平均池化则通过将局部区域内所有复数节点的实部与虚部分别取平均获得,将实部的均值和虚部的均值分别作为池化后复数值的实部和虚部,该复数值即为选中局部区域内进行平均池化操作的结果。
3 基于复数残差网络的通信辐射源个体识别
3.1 基于复数残差网络的识别过程
通信辐射源个体识别问题在深度学习中本质上是一个分类问题。要进行辐射源的个体识别需要经过以下5个阶段:1对辐射源数据集进行预处理。2把经过预处理后的分段数据分为训练集和测试集,为训练集和测试集数据加上标签。3把经过处理后的I路和Q路两路训练集数据信号作为组合复数,输入到深度复数神经网络中,进行网络训练并结合优化策略对网络进行优化。4依据softmax层输出结果,结合反向传播算法,不断迭代校准网络参数,调整复数残差神经网络模型。5利用训练好的复数残差网络模型识别测试集数据,评估网络模型的性能。
图2 系统框图
Fig.2 System diagram
3.2 复数残差结构
在前一节我们介绍了关于复数神经网络基本结构组件的理论公式,通过这些基本结构组件,我们构建出复数神经网络。实验发现,在复数神经网络中,网络层数逐渐增加同样会带来误差进一步增大以及梯度弥散问题,使得识别分类结果不佳。为了解决这个问题,我们在改进实数域残差结构的基础上,构建了复数域残差结构,并将其应用到复数神经网络中得到了复数残差网络。
图3 复数残差结构
Fig.3 Complex-valued residual structure
3.3 超参数设置
损失函数用来判定预测值与真实值的接近程度,将误差反向传播至网络模型中,指导网络参数学习。本文采用交叉熵作为损失函数,交叉熵值反映实际输出与期望输出的距离大小,交叉熵的值越小,表示预测值与真实值就越接近,误差也就越小;梯度下降法是机器学习中常用的优化方法,本文所采用的小批量梯度下降方法克服了批量梯度下降训练过程慢以及随机梯度下降准确度低的缺陷,恰当选择每次训练的批量数能够提高内存利用率以及减少迭代次数。Adam优化方法设置学习速率为0.001,批量大小为100。训练迭代次数为100。
3.4 数据预处理
数据预处理主要有数据分段、信号筛选和标准化三部分。首先,对实际采集数据取长度为2048的切片,在获得具有相同大小的数据的同时扩大了数据集。其次,由于原始信号存在传输静默时间,而静默时间的样本数据无法体现辐射源个体特性,因此当样本信号值的方差小于规定的阈值时,舍弃该静默信号样本。最后,辐射源个体指纹特征与信号功率无关,为了避免信号功率差异造成的影响,需要对样本数据进行标准化。对序列中每个样本的数据减去均值后除以标准差,使得所有样本数据的均值为0,方差为1。
3.5 复数残差网络设计
受文献[17]和实数残差网络的启发,我们在pytorch的框架下以复数残差块构建出复数残差网络,并进一步对比不同网络层数的复数残差网络在实验数据上的识别效果、收敛速度,更改和优化后的复数残差网络模型框架如图4所示。
(1) 用复数卷积层、复数批量归一化、复数残差块等复数网络结构替换实数卷积层、实数批量归一化、实数残差块等实数网络结构。
(2) 除第1个复数卷积层的卷积核大小为7x7外,其他复数卷积层的卷积核大小均为3x3,采用小的卷积核可以提取更为精细的特征,并在每个复数卷积层后都增加了复数激活函数,用来提高网络的非线性建模能力。
(3) 复数残差块中网络层的具体顺序为Complex BN→CRelu→Complex Conv→Complex BN→CRelu→Complex Conv,更改残差块中模块的顺序,使得求导时梯度可以反向传播,提高了复数残差网络模型的收敛性、稳定性。
(4) 将第一个复数卷积层的输入通道设为32,最后一个复数卷积层的输出通道设为256,在一定的网络参数的条件下,增加网络模型的深度比增加网络模型的宽度效果更好,因为更深的网络模型非线性表达能力更好,可以学习更加复杂的变换,从而可以拟合更加复杂的特征输入。
4 实验结果
4.1 实验数据
实验数据由同一台接收设备采集得到,分别来自5个相同型号的辐射源电台,存储格式均为h5文件。信号分为I路和Q路,载频为225 MHz,调制方式为8PSK,采样率为3.84 MHz,信噪比大于15 dB。4.2、4.3节都是在实际数据集上进行的实验,4.4节是通过添加高斯白噪声来改变数据集的信噪比条件。图5为经过预处理后的单个样本I\Q信号示例。
图4 复数残差网络
Fig.4 Complex-valued residual structure
图5 分段标准化信号
Fig.5 Segmented normalized signal
4.2 识别结果
训练样本集为每个电台的1000个预处理分段数据,共5000个样本,测试集也按照上述方法处理,重复实验20次,取识别结果的平均准确率,以下是几种识别方法对5个同一型号电台的识别准确率。
EMD-EM2方法是先对信号做8阶EMD分解,再进行希尔伯特变换得到每个子信号的时频分布,然后分别提取信息熵、一阶矩、二阶矩三种特征得到24维特征向量输入到SVM分类器中进行分类识别;VMD-SF方法是先对信号做8阶VMD分解,再进行FFT变换,提取每个子信号的三个频谱特征,得到24维特征向量输入到SVM分类器中进行分类识别。ITD-DIM方法是先对信号做7阶ITD分解,再结合信号及其子信号的信息熵、分形盒维数、高阶R特征,得到24维特征向量输入到SVM分类器中进行分类识别。
表1 五种方法识别效果
Tab.1 Five ways to identify effects
识别方法识别准确率/%CVResNet99.78ResNet99.52EMD-EM284.83VMD-SF87.05ITD-DIM86.85
以采用EMD-EM2、VMD-SF和ITD-DIM作为特征提取并基于支持向量机的传统识别方法和基于深度学习神经网络的识别方法进行比较。从识别效果可以看出,两种基于深度学习的识别方法识别准确率明显好于基于SVM分类器的三种传统的识别方法,深度学习分类方法能够在缺少先验信息的情况下解决人为提取特征的主观性和特征提取是否有效的问题,在非协作通信领域具有很大优势。相比于实数神经网络,复数残差网络能够通过复数运算捕捉I路和Q路采样信号之间的耦合关系,提高了识别的精度。
图6 特征可视化结果
Fig.6 Feature visualization results
深度学习网络中数据大多是高维度数据,不能直观的展示数据的本质特征,采用流形学习方法降维高维数据,从而直观了解数据分布,发现存在规律。将实数残差网络和复数残差网络第一个全连接层的输入用作特征可视化的数据,用TSNE方法进行处理,得到5个相同型号的辐射源电台特征分布。
从特征可视化结果可以看出实数网络和复数网络的方法对于5种电台的指纹特征都具有较为明显的区分度,但是从图6中可以看出,采用复数残差网络的方法,5种电台的指纹类间距离更大,分类效果更好一些。为了进一步对比两种识别方法,改变训练样本集的条件,从训练样本数和数据信噪比两个方面研究实数域、复数域神经网络的性能差异。
4.3 不同训练样本数对识别准确率的影响
测试样本集为每个电台的1000个预处理分段数据,共5000个样本测试样本数,改变训练样本集中每个电台的训练样本数,其他实验条件设置相同,重复实验20次,取识别结果的平均准确率,识别效果对比如下。
表2 不同训练样本数与识别准确率的关系
Tab.2 The relationship between different training sample Numbers and recognition accuracy
识别方法100200300CVResNet96.44%98.90%99.60%ResNet95.70%98.74%99.50%
从实验结果可以看出,在有监督学习的条件下,当训练样本数为100、200、300,实数网络模型和复数网络模型都能在测试集上达到很高的识别准确率。从训练样本数为300时的混淆矩阵结果中可以看出,对于输入到实复数网络模型的5种电台数据,电台1的分类结果最佳,电台4的分类结果误差最大,但是复数网络对于电台4的分类效果比实数网络更好。相比于目前在分类任务中性能最好的残差神经网络,复数残差网络模型在不同训练样本数条件下均表现出了更佳的性能,适用于通信辐射源个体识别领域。
图7 训练样本数为300时的混淆矩阵结果
Fig.7 The results of the obfuscation matrix when the number of trained samples is 300
深度学习大多是基于实数的操作,基于实数神经网络的方法将IQ两路信号作为两个独立的通道,没有考虑两路信号之间的幅度和相位关系,一定程度上损失了I路和Q路两路数据之间的内在联系。本文提出的复数残差网络,将IQ两路信号作为一个通道的实部和虚部,综合利用了两路信号的幅度和相位信息,通过复数卷积、复数全连接、复数池化等一系列复数网络的结构元件,有效提升了通信辐射源个体识别的精度。
4.4 不同信噪比对识别准确率的影响
训练样本集与测试样本集均为每个电台的1000个预处理分段数据,共5000个样本,通过添加高斯白噪声改变样本集的信噪比条件(-2 dB,-1 dB,0 dB…3 dB),其他实验条件设置相同,重复实验20次,取识别结果的平均准确率,识别效果对比如下。
图8 不同信噪比与识别准确率的关系
Fig.8 Relationship between different SNR and recognition accuracy
在有噪声影响的条件下,复数网络的鲁棒性更强的原因在于结合残差神经网络和复数网络的复数残差网络能够更好的提取低信噪比条件下组合复数数据的细微特征,网络结构元件不易受噪声的影响。在复杂的电磁环境背景下,复数残差网络能够更好的克服噪声的影响,对于电台个体的识别准确率较高,在通信辐射源个体识别任务中取得了较好的效果。
5 结论
针对复杂电磁环境的通信辐射源个体识别问题,本文提出了一种基于复数残差网络的通信辐射源个体识别方法。实际电台数据的测试结果表明,相比于传统的人工提取特征方法和实数域深度学习方法,该方法能够有效地识别出通信辐射源的个体。并且实验表明,在低信噪比的条件下,复数残差网络性能远优于残差神经网络,对辐射源个体的识别准确率较高,更适用于愈加复杂的战场电磁环境。
[1] SERINKEN N, URETEN O. Generalised dimension characterisation of radio transmitter turn-on transients[J]. Electronics Letters, 2000, 36(12): 1064-1066.
[2] 徐书华. 基于信号指纹的通信辐射源个体识别技术研究[D]. 武汉: 华中科技大学, 2007.
XU Shuhua. Research on individual Identification Technology of Communication Radiation Source based on signal Fingerprint[D]. Wuhan: Huazhong University of Science and Technology, 2007.(in Chinese)
[3] 蔡忠伟, 李建东. 基于双谱的通信辐射源个体识别[J]. 通信学报, 2007(2): 75-79.
CAI Zhongwei, LI Jiandong. Individual identification of communication Radiation source based on bispectrum[J]. Journal of Communications, 2007(2): 75-79.(in Chinese)
[4] YUAN Yingjun, WU Hao, WANG Xiang, et al. Specific emitter identification based on Hilbert-Huang transform-based time-frequency-energy distribution features[J]. IET Communications, 2014.
[5] 余沁, 程伟, 李敬文. 利用小波变换特征提取的通信辐射源个体识别方法[J]. 信号处理, 2018, 34(9): 1076-1085.
YU Qin, CHENG Wei, LI Jingwen. Individual Identification method of Communication Radiation source using Wavelet Transform Feature Extraction[J]. Journal of Signal Processing, 2018, 34(9): 1076-1085.(in Chinese)
[6] 任东方, 张涛, 韩洁. 结合ITD与非线性分析的通信辐射源个体识别方法[J]. 信号处理, 2018, 34(3): 331-339.
REN Dongfang, ZHANG Tao, HAN Jie. Individual Identification method of Communication Radiation Source combining ITD and Nonlinear Analysis[J]. Journal of Signal Processing, 2018, 34(3): 331-339.(in Chinese)
[7] SATIJA U, TRIVEDI N, BISWAL G, et al. Specific Emitter Identification Based on Variational Mode Decomposition and Spectral Features in Single Hop and Relaying Scenarios[J]. IEEE Transactions on Information Forensics and Security, 2018, 14(3): 581-591.
[8] HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006.
[9] 黄丽霞, 王亚楠, 张雪英, 等. 基于深度自编码网络语音识别噪声鲁棒性研究[J]. 计算机工程与应用, 2017, 53(13): 49-54.
HUANG Lixia, WANG Yanan, ZHANG Xueying, et al. Research on the robustness of speech recognition noise based on deep self-coding network[J]. Computer Engineering and Applications, 2017, 53(13): 49-54.(in Chinese)
[10] 王鑫, 李可, 宁晨, 等. 基于深度卷积神经网络和多核学习的遥感图像分类方法[J]. 电子与信息学报, 2019, 41(5): 1098-1105.
WANG Xin, LI Ke, NING Chen, et al. Remote sensing image classification method based on deep convolutional neural network and multi-core learning[J]. Journal of Electronics & Information Technology, 2019, 41(5): 1098-1105.(in Chinese)
[11] ZHANG S, YANG H, YIN Z. Multiple deep convolutional neural networks averaging for face alignment[J]. Journal of Electronic Imaging, 2015, 24(3): 033013.
[12] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016.
[13] ZHANG M, DIAO M, GUO L. Convolutional Neural Networks for Automatic Cognitive Radio Waveform Recognition[J]. IEEE Access, 2017, PP(99): 1-1.
[14] WEST N E, O’SHEA T. Deep architectures for modulation recognition[C]∥Proc. of the 2017 IEEE International Symposium on Dynamic Spectrum Access Networks, 2017.
[15] 周东青, 王玉冰, 王星, 等. 基于深度限制波尔兹曼机的辐射源信号识别[J]. 国防科技大学学报, 2016, 38(6): 136-141.
ZHOU Dongqing, WANG Yubing, WANG Xing, et al. Radiation Source Signal Identification based on Depth restriction Boltzmann Machine[J]. Journal of National University of Defense Technology, 2016, 38(6): 136-141.(in Chinese)
[16] 张晓博. 基于深度置信网络的通信辐射源个体识别[D]. 西安: 西安理工大学, 2019.
ZHANG Xiaobo. Individual Identification of Communication Radiation Sources based on deep confidence Network[D]. Xi’an: Xi’an University of Technology, 2019.(in Chinese)
[17] TRABELSI C, BILANIUNK O, ZHANG Y, et al. Deep Complex Networks[J]. International Conference on Learning Representations, 2018.
