1 引言
随着无线用户数量的快速增长,频谱资源愈加紧缺。认知无线电(Cognitive Radio, CR)作为一种具有学习能力的频谱共享技术,缓解了频谱紧缺的状况[1]。认知无线电网络的媒体访问控制(Medium Access Control, MAC)协议是认知无线电技术应用的重要组成部分[2]。一方面,识别主用户网络使用的MAC协议类型可以协助认知用户更智能地与周围环境交互信息,从而更好地检测频谱空洞,同时减少对活跃主用户的干扰。另一方面,随着认知无线电技术的不断发展,实现可重构的MAC协议[3]以及异构认知网络[4]都迫切需要MAC协议识别技术。
目前,MAC协议识别的研究主要基于机器学习方法[5],其中又以支持向量机(Support Vector Machine, SVM)为代表[6]。文献[6]首先提出基于SVM的MAC协议识别方法,选择认知终端接收信号的能量均值和方差作为特征,实现了两种MAC协议的识别。文献[7]在文献[6]的基础上增加了信道忙碌时间和信道空闲时间两个特征,用以识别四种MAC协议。文献[8]把文献[7]的识别方法扩展到多天线环境中,相较于单天线环境具有更高的识别准确率。考虑到无线信道的复杂性,文献[9]提出融合多个认知节点的思想,获得了比文献[7]更好的MAC协议识别性能。需要指出的是,以上方法均基于传统的机器学习理论,采用SVM作为分类器,具有一定的局限性。一方面,当网络负载较低的时候,它们识别准确率普遍不高。另一方面,识别算法依赖手动提取特征,需要较大的工作量和较高的专业技能。
近年来,机器学习已经发展到深度学习的新阶段。深度学习[10]源于人工神经网络的研究,通过加深隐含层,善于从大量数据中自动提取特征[11]。循环神经网络(Recurrent Neural Network,RNN)是一种具有循环反馈功能的深度学习神经网络[12],能够考虑序列的时域相关性,擅长解决序列化相关问题。长短期记忆(Long Short-term Memory,LSTM)网络是一种特殊的RNN,通过加入一个判断信息是否有用的“处理器”[13],绕开了常规RNN训练过程中的梯度消失和梯度爆炸问题[14]。
为了克服传统MAC协议识别的局限性,本文引入深度学习替代传统的机器学习。考虑到接收信号具有较强的时域相关性,我们采用LSTM网络作为分类器。基于LSTM网络的MAC协议识别,一方面可以充分利用通信中的大量数据,提高识别准确率;另一方面可以避免手动特征提取,减少人工干预过程。本文的后续内容安排如下:第2部分介绍LSTM网络的基本原理;第3部分介绍系统模型、基于LSTM网络的MAC识别方法和网络训练过程;第4部分是实验结果及分析;最后一部分是总结。
2 网络概述
2.1 循环神经网络
RNN是包含循环的网络,环路展开后是同一网络复制的多个副本,顺序连接进行信息传输[15],如图1所示。从循环展开之后的表示来看,RNN的信息只能传递给相邻的后继者。当相关输入与期望输出间隔很长的时候,网络训练就会产生梯度消失或者梯度爆炸的问题,使得RNN的长时记忆失效。因此,常规的RNN很难将距离较远的输入和输出关联起来,这个问题被称为长期依赖问题[16]。
图1 RNN展开图
Fig.1 Expanded structure of RNN
2.2 长短期记忆网络
LSTM网络就是为了解决长期依赖问题产生的[17]。与常规RNN相比,LSTM网络将数据维护在独特的cell结构中,被称为cell state。cell state会决定状态应该被遗忘与否。此外,常规RNN中的重复单元只包含单层,LSTM网络中的重复单元包含四个交互层[18],如图2所示。
图2 LSTM重复单元中四个交互的层
Fig.2 Four interactive layers in repeated modules of LSTM
考虑到通信信号具有时域相关性,本文选择LSTM网络作为MAC协议识别的分类器。所用的网络结构源于文献[19],为了使该网络适用于本文的MAC协议识别任务,我们做了如下修改:LSTM网络层的数量lstm_layers=2;每一个LSTM网络单元的维度lstm_size=10;序列长度seq_len=20。
3 系统模型
本文讨论的CR系统模型由N个主用户(PU1,PU2,...,PUN)和一个次级用户(SU)构成。N个主用户在可选的MAC协议集合{C1,C2,...,CM}中选择一种Cj(1≤j≤M)与基站进行通信。次级用户通过监测主用户信号来确定Cj的类型,如图3所示。
图3 系统模型
Fig.3 System model
类似于文献[20][21],本文考虑的MAC协议集合包括TDMA、Slotted Aloha、Pure Aloha和CSMA。图4是这四种协议的示意图。白色、灰色和黑色分别表示信道空闲、发送成功和发送冲突。本文假设四种协议发送数据包的长度相等;TDMA和Slotted Aloha时隙长度相等,且都等于数据包长度;传输信道为瑞利衰落信道[7];采样得到的信号功率p服从指数分布,其概率密度函数为
(1)
其中P0是功率均值。
图4 四种MAC协议示意图
Fig.4 Schematic diagram of four MAC protocols
在TDMA协议中,N个主用户被分配在不同的时隙无冲突地发送数据包。每个数据包的产生是一个伯努利随机过程,产生概率为σt。
在Slotted Aloha协议中,每个主用户都有权力使用任意时隙,不管此时隙是否被其他用户占用。在每个时隙,所有主用户均以概率σt产生新的数据包,并发送出去。如果有多个用户在相同时隙发送,就会产生冲突。
在Pure Aloha协议中,不存在时隙结构,每个主用户都可以在任意时刻以概率σt生成新的数据包,并发送出去。如果多个主用户的发送时间有重叠,也会产生冲突。
在CSMA协议中,同样不存在时隙结构,数据包也可以从任意时刻开始。不同于Pure Aloha的是,每个用户在以概率σt产生和发送数据包之前,都会先进行信道侦听。只有侦听到信道空闲,才会发送,从而避免冲突。
4 基于LSTM网络的MAC协议识别
4.1 理论依据
从上文第3节和图4中可以看出,MAC协议序列在时域上存在很强的相关性和依赖性。现有研究方法,大多将每个观测向量视为独立的个体,没有考虑前后观测向量之间的依赖关系,具有一定的局限性。LSTM由于自身网络结构的记忆能力,能够把过去的观测向量和当前观测向量结合起来,充分考虑观测向量之间的时域联系,更准确地完成MAC协议识别。
4.2 数据预处理
参照文献[7][8],我们考虑认知用户接收到的多个主用户信号的总功率为
(2)
其中Pi(t)表示认知用户在t时刻接收到的主用户PUi(1≤i≤N)的信号功率。如果主用户正在发送,Pi(t)的大小服从公式(1)中的指数分布;如果主用户没有发送,其取值为0。主用户发送与否,和MAC协议类型有关。
对接收到的P(t)进行采样。假定采样周期为数据包长度的1/Nf,则每个数据包由Nf个采样点构成。选取Ns个采样点作为一组观测值,构成一个Ns×1向量。该向量即可作为LSTM网络的输入,用以网络训练或者结果推断。
4.3 数据集生成
为了生成训练数据集,我们对四种协议分别进行了仿真,按照4.1节中的方法获得观测向量。如果获得的观测向量过少,网络训练容易过拟合;如果观测向量过多,数据生成的工作量太大。在本文中,每种协议都折中生成了50万个Ns×1的观测向量。然后根据协议的不同,对每个观测向量进行标识;TDMA、Slotted Aloha、Pure Aloha和CSMA的标签值分别为0,1,2和3。这样就获得了200万个打过标签的观测向量作为训练集。
测试数据集的生成和训练数据集类似,其中每种MAC协议包含5万个观测向量,共计有20万个打过标签的观测向量。
4.4 网络训练
本文的模型训练是基于TensorFlow[22]框架来实现的,图形处理器使用的是Nvidia GTX 1080 Ti。训练数据使用前文生成的200万个观测向量,每类分别有50万个。
训练过程中,如果迭代次数过少,模型拟合可能不理想;如果迭代次数过多,模型可能过拟合。本文设置的迭代次数iteration为30000。其中还引入了梯度截断,用以在反向传播中防止梯度爆炸,从而提升训练效果。具体参数设置见表1。
表1 参数设置
Tab.1 Parameters setting
参数参数值lstm_size10lstm_layers2batch_size1111seq_len20learning_rate0.001epochs40n_classes4n_channels1
5 实验结果
5.1 损失曲线
图5 训练过程的损失曲线
Fig.5 Loss curves in training
图5记录了当主用户数N=10、功率均值P0=1、数据包产生概率σt=0.1时,训练过程中的损失曲线。如图所示,当迭代次数达到30000时,两条损失曲线基本平缓,侧面验证了本文所设置的迭代次数的合理性。每次训练耗时约3个小时,最终可获得一个训练好的网络模型用于MAC协议识别。
5.2 精度分析
本文利用前面生成的包含20万个观测向量的测试数据集,对训练出的网络模型进行测试。
表2 当主用户数N=10、功率均值P0=1、数据包产生概率σt=1时的混淆矩阵
Tab.2 Confusion matrix with N=10、P0=1、σt=1
TDMASlotted AlohaPure AlohaCSMAAccuracyTDMA48351034161596.7037%Slotted Aloha049413587098.8268%Pure Aloha11198948000096.0013%CSMA3933014606692.1321%
表2给出了当主用户数功率N=10、均值P0=1、数据包产生概率σt=1时,四种MAC协议识别的混淆矩阵。整体上看,每一种协议都较高的识别精度。其中精度最低为CSMA,只有约92%;它与TDMA之间容易产生混淆。此外,Slotted Aloha和Pure Aloha之间也容易产生混淆。
图6 识别精度随发送概率变化曲线
Fig.6 The curve of identification accuracy varying with transmission probability
图6描绘的是当主用户数N=10、功率均值P0=1时,四种MAC协议识别精度随数据包产生概率σt的变化曲线。如图所示,随着σt的增大,四种协议的识别精度均不断提升。其中,本文方法识别具有时隙结构的两个协议TMDA和Slotted Aloha效果更好。
5.3 性能比较
为突出本文基于LSTM网络的方法的性能,我们与传统的基于SVM的方法进行了对比。图7给出了当主用户数N=5,10,功率均值P0=1,2时,两种方法的平均识别精度随数据包产生概率σt的变化曲线。从图中不难看出,在相同的条件下相较于SVM方法,本文方法识别精度提升10%左右。此外,两种方法的识别精度都随着主用户数的增加而增大,且随着功率均值的增加而增大。
图7 两种方法平均精度比较
Fig.7 Comparison of average identification accuracy between LSTM and SVM based methods
6 结论
针对传统MAC协议识别方法精度不高且需要手动特征提取的问题,本文提出了基于LSTM网络的MAC协议识别方法。该方法充分利用LSTM网络处理接收信号,自动提取特征,实现了四种常见的MAC协议的识别。相较于传统基于SVM的方法,本文方法的识别精度有显著提升,且整个识别过程人工干预较少。
[1] Kakalou I, Psannis K, Krawiec P, et al. Cognitive Radio Network and Network Service Chaining toward 5G: Challenges and Requirements[J]. IEEE Communications Magazine, 2017, 55(11): 145-151.
[2] Chen F, Fund M, Jia W. Joint resource allocation for multi-homing and single-network users in heterogeneous cognitive radio networks[C]∥International Conference on Wireless Communications and Signal Processing(WCSP), Nanjing, 2017: 1- 6.
[3] Huang K, Jing X, Raychaudhuri D. MAC Protocol Adaptation in Cognitive Radio Networks: An Experimental Study[C]∥International Conference on Computer Communications and Networks, San Francisco, CA, 2009: 1- 6.
[4] Satria M B, Mustika I W, Widyawan. Resource Allocation in Cognitive Radio Networks Based on Modified Ant Colony Optimization[C]∥International Conference on Science and Technology(ICST), Yogyakarta, 2018: 1-5.
[5] Bkassiny M, Li Y, Jayaweera S K. A Survey on Machine-Learning Techniques in Cognitive Radios[J]. Communications Surveys & Tutorials IEEE, 2013, 15(3): 1136-1159.
[6] Yang Zhuo, Yao Yudong, Chen Sheng, et al. MAC protocol classification in a cognitive radio network[C]∥The Annual Wireless and Optical Communications Conference(WOCC 2010), Shanghai, 2010: 1-5.
[7] Hu S, Yao Y, Yang Z. MAC protocol identification approach for implement smart cognitive radio[C]∥IEEE International Conference on Communications(ICC), Ottawa, 2012: 5608-5612.
[8] 侯万兴, 沈雷, 卜燕燕, 等. 多天线下基于能量特征的MAC协议识别[J]. 杭州电子科技大学学报: 自然科学版, 2015(6): 36-39.
Hou Wanxing, Shen Lei, Bu Yanyan, et al. MAC Protocol recognition based on Energy characteristics under multiple antennas[J]. Journal of Hangzhou University of Electronic Science and Technology: Natural Science Edition, 2015(6): 36-39.(in Chinese)
[9] 吴碧霞. 认知传感网中节能感知、MAC协议识别与调制识别算法研究[D]. 南京: 南京理工大学, 2016.
Wu Bixia. Energy-saving perception、MAC Protocol recognition and Modulation recognition algorithms in Cognitive Sensor Networks[D]. Nanjing: Nanjing University of Science and Technology, 2016.(in Chinese)
[10] Naieera P, Anu P, Sadiq M. An Intelligent Action Predictor from Video Using Deep Learning[C]∥International Conference on Emerging Trends and Innovations In Engineering and Technological Research(ICETIETR), Ernakulam, 2018: 1- 4.
[11] Darugar M J, Kiong L C. Gender estimation based on supervised HOGAction Units and unsupervised CNN feature extraction[C]∥Artificial Intelligence and Robotics(IRANOPEN), Qazvin, 2017: 23-27.
[12] Jin L, Li S, Hu B. RNN Models for Dynamic Matrix Inversion: A Control-Theoretical Perspective[J]. IEEE Transactions on Industrial Informatics, 2018, 14(1): 189-199.
[13] Ergen T, Kozat S S. Online Training of LSTM Networks in Distributed Systems for Variable Length Data Sequences[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(10): 5159-5165.
[14] 刘斌, 陶建华. 联合长短时记忆递归神经网络和非负矩阵分解的语音混响消除方法[J]. 信号处理 2017, 33(3): 268-272.
Liu Bin, Tao Jianhua. A Research to Speech Dereverberation Method Based on BLSTM Recurrent Neural Networks and Non-negative Matrix Factorization[J]. Journal of Signal Processing, 2017, 33(3): 268-272.(in Chinese)
[15] Hochreiter S. Recurrent Neural Net Learning and Vanishing Gradient[J]. International Journal of Uncertainity, Fuzziness and Knowledge-Based Systems, 1998, 6(2): 107-116.
[16] Bengio Y, Simard P, Frasconi P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE Transactions on Neural Networks, 1994, 5(2): 157-166.
[17] 李海峰, 徐聪, 马琳. 基于C-LSTM模型的端到端多粒度运动想象脑电信号分析方法[J]. 信号处理, 2018, 34(8): 883- 890.
Li Haifeng, Xu Cong, Ma Lin. End-to-End Multi-Granular Motor Imagery EEG Signal Analysis Method Based on C-LSTM Model[J]. Journal of Signal Processing, 2018, 34(8): 883- 890.(in Chinese)
[18] Zhang Z, Yang R, Fang Y. LSTM Network Based on on Antlion Optimization and its Application in Flight Trajectory Prediction[C]∥IEEE Advanced Information Management, Communicates, Electronic and Automation Control Conference(IMCEC), Xi’an, 2018: 1658-1662.
[19] Guillaume Chevalier. LSTMs for Human Activity Recognition[EB/OL]. http: ∥github. com/guillaume-chevalier/LSTM-Human-Activity-Recognition, 2016.
[20] Hui K H, Yue O, Lau W C. FRASA: Feedback Retransmission Approximation for the Stability Region of Finite-User Slotted ALOHA[J]. IEEE Transactions on Information Theory, 2013, 59(1): 384-396.
[21] Tseng S, Kuo Y, Hsu Y. Simpler and More Accurate Throughput Analysis of CDMA Pure ALOHA Networks with Variable Length Traffic[C]∥International Conference on Advanced Information Networking and Applications, Okinawa, 2008: 440- 444.
[22] Ertam F, Ayd
n G. Data classification with deep learning using Tensorflow[C]∥International Conference on Computer Science and Engineering(UBMK), Antalya, 2017: 755-758.
