1 引言
在信号检测领域中,传统统计信号检测方法存在检测统计量推导与计算复杂,有时难以得到显式解;不同检测准则得到的检测性能差异较大;低信噪比下检测性能不佳等不足,迫切需要寻找高效、智能的信号检测方法[1]。近两年,深度学习在信号检测领域得到了广泛的关注[2],Satyabrata等人[3]基于随机森林算法实现对可穿戴步态信号的检测;Robinson等人[4]基于机器学习实现水文气候信号的检测;张梦熙等人[5]基于集成树模型实现对混泥土桩起爆声的检测;朱新挺等人[6]使用卷积神经网络实现电磁信号的智能检测;李启飞等人[7]使用迁移学习基于AlexNet深度卷积神经网络实现低信噪比下水下目标磁异常信号的检测;周聪等人[8]利用深度自编码网络实现地震异常信号的自动检测;Krishnan等人[9]使用基于径向基函数的支持向量机对脑电图信号检测来对精神分裂症状况的分析;Toraman等人[10]基于卷积神经网络实现对语音偏向性信号的检测。然而,上述方法存在以下不足:只能检测单个信号的有无,不具备同时检测多个信号的能力,特别是当时频图上多个信号存在重叠或交叉时,难以实现对这些信号的同时检测。
掩膜区域卷积神经网络(Mask R-CNN)是继Faster R-CNN之后提出的目标检测方法,其不仅能输出物体的具体类别和物体框,还能够对物体目标进行实例分割。石杰等人[11]将Light-Head RCNN引入Mask R-CNN网络,提高检测速度和机器人目标检测的检测精度;张强等人[12]利用Mask R-CNN网络对车辆损伤检测,提高了解决交通事故补偿问题的效率;刘晓阳等人[13]基于Mask R-CNN实现黄瓜果实的检测,解决了黄瓜果实与叶子颜色相似,难以检测的问题;音松等人[14]基于改进的Mask R-CNN提高了行人实例分割的检出率;绍康等人[15]基于Mask R-CNN网络实现了停车位智能标记检测。然而,Mask R-CNN在对网络多个目标训练时,若像素信息图中多个目标之间存在重叠部分时,仅能够对第一个完整目标的像素信息实现读取,其他目标重叠部分的像素信息则是缺失状态。为克服上述不足,本文针对时频域重叠多信号智能检测中存在时频图中信号交叉部分像素位置信息缺失问题,提出将Criminisi算法与Mask R-CNN相结合,实现对时频重叠多信号的智能检测。
2 多信号智能检测
针对Mask R-CNN在进行训练时信号重叠部分像素位置信息缺失的问题,在进行Mask R-CNN网络训练前,利用Criminisi算法对时频图中的信号重叠部分像素位置信息进行信号缺失信息恢复,并将恢复后的图像保存到本地,减少了网络训练时间开销,提升了Mask R-CNN的训练速度与准确度。基于Criminisi算法的Mask R-CNN信号检测流程如图1所示。
图1 基于Criminisi算法的Mask R-CNN信号检测流程图
Fig.1 Mask R-CNN signal detection flow chart based on Criminisi algorithm
2.1 信号缺失信息恢复
Mask R-CNN在进行网络训练时,需要信号像素位置信息。以图2中的两个不同信号为例来说明信号像素位置缺失现象。图2中信号A的像素值为绿色,信号B的像素值为红色,其余部分的像素值为黑色,同一信号的像素值相同。由于重叠部分的像素值唯一,重叠部分像素位置信息只能归属于单个信号(图2中重叠部分的像素值为绿色,归属于信号A),信号B的该重叠部分像素位置信息则是缺失状态。
图2 信号像素位置信息示意图
Fig.2 Schematic diagram of signal pixel position information
为了恢复缺失的信号像素信息,可采用Criminisi算法[16]。该算法首先进行优先级值初始化。一个优先级值对应一个样本块,样本块填充顺序由优先级值确定。算法包含以下几个步骤,不断重复迭代,直到信号缺失信息恢复完成。
首先,选取优先级值最高的样本块。设Ω为图像像素缺失区域,O为待恢复图像,Φ为已知像素区域。优先级值函数计算如下式:
M(m)=E(m)·F(m)
(1)
其中,E(m)是数据值项,F(m)是置信度项,分别定义为:
(2)
(3)
式中,F(n)表示整个图像Ζm∩Φ中n像素的置信度项值;|Ζm|表示中心像素点为m的缺失块Ζm的面积大小。
和hm都是单位向量,符号⊥代表正交性。hm表示缺失块的中心像素m与图像缺失区域边缘轮廓线δΩ正交的单位向量,即梯度法向量;表示该点的等照度线向量,即m灰度变化最小的方向,与点m的梯度方向垂直。α表示归一化因子,在灰度图像中α=255。
然后,传播纹理和结构信息。fSSD(Ζm,Ζo)表示计算待恢复块Ζm和匹配块Ζo之间的纹理相似距离平方和,即利用误差平方和算法准则(SSD准则)在已知区域中搜索最优匹配块
使用
填充像素缺失区域:
(4)
最后,用重构像素缺失区域,更新置信度。重复上述步骤,直到缺失信息恢复完成。
2.2 Mask R-CNN的网络结构
Mask R-CNN的网络结构图如图3所示。Mask R-CNN目标检测选用了经典的目标检测算法Faster R-CNN和经典的语义分割算法FCN[17]。Faster R-CNN可以既快又准地完成目标检测的功能,FCN可以精准地完成语义分割的功能,两者相结合提升了检测算法的泛化能力。
图3 Mask R-CNN的网络结构图
Fig.3 Network structure diagram of Mask R-CNN
a) 特征提取网络
采用深度残差网络(ResNet101)进行特征提取得到特征图。深度残差网络使用残差块学习恒等映射,有利于网络层数的加深以及图像信息的提取。区域生成网络(RPN)使用滑动窗口扫描特征图生成待检测区域,使得这些区域相互重叠并覆盖整个特征图,最终在待检测区域中寻找与目标拟合程度最高的区域解。
b) Mask
Mask可以实现像素级实例分割,对每一个实例都有很好的分割效果。对于每一个感兴趣区域(ROI)可能存在目标的区域,都会产生N种m×m的可能值。LMask定义为平均二值交叉熵损失函数(the average binary cross-entropy loss)[18],该函数仅在第n个类别上有定义,其他的n-1个Mask输出不参与计算[19]。Mask原理如图4所示,这里简单介绍一下图4的工作流程。
图4 Mask原理
Fig.4 Principle of Mask
3 实验与结果分析
3.1 实验环境及参数设置
本文实验采用GTX 1060显卡,使用Nvidia图像处理驱动CUDA10.0以及CUDNN7.6.5优化神经网络计算,使用Tensorflow与Keras结合的深度学习框架,运行环境为Python3.7,模型采用公开的coco[20]预训练权重模型。实验参数设置如下:初始学习率0.001,迭代300次后为0.0001,momentum系数为0.9,权重衰减系数为0.0001。
3.2 获取数据集
仿真产生时频域存在重叠的两个信号分量,分别为单频信号与线性调频(LFM)信号,信号参数设置为:单频信号与LFM信号的载频都设为10 MHz,采样频率都为40 MHz,时宽都为6 μs,幅度都为1,LFM信号的调频斜率为1.25×1012 Hz/s～2.5×1012 Hz/s,带宽为7.5 MHz～15 MHz。信噪比(SNR)范围设为-6 dB～9 dB,步长为3 dB;每个SNR下的训练样本数为1200,交叉信号测试样本数为400。采用短时傅里叶变换获取时频图,图5给出了SNR=0 dB时的信号时频图。从图5中可以看出,两个信号分量时存在交叉重叠现象。
图5 SNR=0 dB时信号的时频图
Fig.5 Time-frequency diagram of signal when SNR=0 dB
3.3 信号缺失信息恢复
采用Labelme工具制作的目标像素位置信息示意图如图6(a)所示,在进行网络训练时首先读取完整信号的像素位置信息,并将该像素值置为白色,如图6(b)所示,然后利用Criminisi算法进行信号缺失信息恢复,效果如图6(c)所示,基于恢复后的图像读取剩下的信号像素位置信息。可以看出,经过信息恢复的图像整体效果较好,缺失部分的像素信息能够完全重构,没有出现明显的像素偏差,达到了恢复信号重叠部分像素信息的目的。
图6 Criminisi算法的修复效果示意图
Fig.6 Schematic diagram of the repair effect of Criminisi algorithm
在SNR=0 dB时对是否采用Criminisi算法进行信号时频域缺失信息恢复的模型检出率的对比验证,结果如表1所示。由于使用Criminisi算法后得到的信号时频信息更为完整,模型检出率可达到99%,比未使用Criminisi算法进行信息恢复的模型检出率提高了2.7%。
表1 SNR=0 dB时模型检出率对比
Tab.1 Comparison of model detection rate when SNR=0 dB
未使用Criminisi算法使用Criminisi算法模型检出率/%96.399
3.4 K折交叉验证
本仿真实例选用5折交叉验证方法进行模型选择,在SNR=0 dB时得到5个模型的检测结果,如表2所示,模型最优检测检出率为99 %,平均误差值为0.014。
表2 5折交叉验证结果
Tab.2 5-fold cross-validation results
模型检出率/%误差1980.02298.80.012398.70.0134990.01598.50.015最高检出率/%99平均误差0.014
3.5 检测结果及分析
根据5折交叉验证选择最优模型,在不同信噪比下进行了时频重叠信号的蒙特卡洛实验。图7给出了模型对图5的检测结果图,图中给出了信号的标注框及检测概率。红绿分别表示信号检测的大致轮廓。从图中可以看出,每个信号分量的检测概率达到了1。
图7 时频重叠信号检测效果
Fig.7 Time-frequency overlapping signal detection effect
采用检测率(true positive rate, TPR)、误检率(false positive rate, FPR)、漏检率(loss positive rate, LPR)作为算法性能的评价指标[21]。其中,检测率表示在一个样本集中,预测为正样本的个数(np)与所有正样本个数(n)的比值:
(5)
误检率表示负样本被误判为正样本的个数(nFP)与预测为正样本个数(np)的比值:
(6)
漏检率表示未被检测出的正样本个数(nL)与所有正样本个数(n)的比值:
(7)
LPR和TPR的关系为:LPR=1-TPR。指定信噪比范围为[-6 dB,9 dB],步长为3 dB,实验得到的TPR、FPR、LPR曲线分别如图8所示。从图8中可看出,当SNR大于0 dB时,信号的TPR达99%以上,FPR在5%以下;当SNR为-3 dB时,信号的TPR仍然可达92%。
图8 两个时频域重叠信号时的TPR、FPR、LPR
Fig.8 TPR, FPR, LPR when two time-frequency domain overlapping signals
为了验证本文方法的优越性,这里与传统的基于Neyman-Pearson(NP)检测方法和文献[6]中基于卷积神经网络使用VGGNet模型自动生成特征提取器的信号检测方法进行了对比。使用前述3.2中的同一数据集,考虑对于给定的虚警率使检测概率最大的情况,传统的基于Neyman-Pearson(NP)检测方法在给定虚警率为10-4,10-5,10-6时的信号检测概率如图9所示。图9表明,传统的信号检测方法在低信噪比的情况下无法实现信号的有效检测。本文方法与文献[6]中的方法检测结果对比如图10所示。图10表明,本文方法的检测概率均高于基于卷积神经网络的信号检测方法,在SNR大于-3 dB时,信号检测概率平均提高20%。
图9 传统信号检测方法
Fig.9 Traditional signal detection method
图10 本文方法与文献[6]方法的性能对比
Fig.10 Performance comparison between the method in this paper and the method in literature[6]
3.6 三个分量的时频重叠信号检测结果
根据5折交叉验证选择最优模型,在不同信噪比下进行了有3个分量的时频重叠信号的蒙特卡洛实验,信号参数设置为:单频信号的载频为10 MHz,2个LFM信号的载频分别为10 MHz和6.25 MHz,带宽分别为15 MHz和2.5 MHz,调频斜率为-2.5×1012 Hz/s和0.4×1012 Hz/s,时宽均为6 μs。图11给出在SNR=0 dB时一次检测的结果图,其中(a)是时频图原图,(b)是本文的检测效果,图中给出了信号的标注框及检测概率。红蓝绿分别表示三个信号检测的大致轮廓。图中可以看出,三个信号分量的检测概率都在0.998以上,验证了该模型对三个分量的时频重叠信号也具有良好的检测能力。
图11 不同信号检测效果
Fig.11 Different signal detection effects
4 结论
本文提出基于MASK R-CNN的时频重叠信号智能检测方法,并对网络训练时不能读取目标重叠部分的问题通过Criminisi算法加以改进。实验结果表明,本文采用的算法在信噪比为-3 dB时的检测率可达92%,性能比采用Neyman-Pearson准则(虚警概率为10-4)的统计检测方法的检测率高出15 dB,具有良好的鲁棒性,且比基于卷积神经网络的方法平均提高20%的检测率。进一步可深入研究更复杂的时频域重叠信号场景,如非线性调频信号与通信信号在时频域重叠时的智能检测。
[1] 代振, 王平波, 卫红凯. 非高斯背景下基于Sigmoid函数的信号检测[J]. 电子与信息学报, 2019, 41(12): 2945-2950.
DAI Zhen, WANG Pingbo, WEI Hongkai. Signal detection based on sigmoid function in non-Gaussian noise[J]. Journal of Electronics & Information Technology, 2019, 41(12): 2945-2950.(in Chinese)
[2] 张索非, 冯烨, 吴晓富. 基于深度卷积神经网络的目标检测算法进展[J]. 南京邮电大学学报(自然科学版), 2019, 39(5): 72- 80.
ZHANG Suofei, FENG Ye, WU Xiaofu. Recent advances on object detection using deep CNNs: An overview[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science Edition), 2019, 39(5): 72- 80.(in Chinese)
[3] AICH S, YOUN J, CHAKRABORTY S, et al. A supervised machine learning approach to detect the on/off state in Parkinson’s disease using wearable based gait signals[J]. Diagnostics, 2020, 10(6): 421.
[4] ROBINSON B, COHEN J S, HERMAN J D. Detecting early warning signals of long-term water supply vulnerability using machine learning[J]. Environmental Modelling & Software, 2020, 131: 104781. https:∥doi.org/10.1016/j.envsoft.2020.104781.
[5] ZHANG Mengxi, LI Mingchao, ZHANG Jinrui, et al. Onset detection of ultrasonic signals for the testing of concrete foundation piles by coupled continuous wavelet transform and machine learning algorithms[J]. Advanced Engineering Informatics, 2020, 43: 101034. https:∥doi.org/10.1016/j.aei.2020.101034.
[6] 朱新挺, 陈志坤, 彭冬亮. 面向一体化应用的电磁信号智能检测方法研究[J]. 信号处理, 2020, 36(10): 1708-1713.
ZHU Xinting, CHEN Zhikun, PENG Dongliang. Research on intelligent detection method of electromagnetic signal for integrated application[J]. Journal of Signal Processing, 2020, 36(10): 1708-1713.(in Chinese)
[7] 李启飞, 吴芳, 韩蕾蕾, 等. 基于AlexNet迁移学习的磁异常信号检测方法[J]. 水下无人系统学报, 2020, 28(2): 162-167.
LI Qifei, WU Fang, HAN Leilei, et al. Detection method of magnetic anomaly signals based on AlexNet transfer learning[J]. Journal of Unmanned Undersea Systems, 2020, 28(2): 162-167.(in Chinese)
[8] 周聪, 曾祥芝, 袁静, 等. 利用深度自编码算法的地震脉冲信号检测方法[J]. 武汉大学学报(信息科学版), 2020, 45(7): 980-987,995.
ZHOU Cong, ZENG Xiangzhi, YUAN Jing, et al. Earthquake pulselike records detection based on deep autoencoder[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 980-987,995.(in Chinese)
[9] KRISHNAN P T, JOSEPH RAJ A N, BALASUBRAMANIAN P, et al. Schizophrenia detection using MultivariateEmpirical Mode Decomposition and entropy measures from multichannel EEG signal[J]. Biocybernetics and Biomedical Engineering, 2020, 40(3): 1124-1139.
[10]TORAMAN S, TUNCER S A, BALGETIR F. Is it possible to detect cerebral dominance via EEG signals by using deep learning?[J]. Medical Hypotheses, 2019, 131: 109315.
[11]SHI Jie, ZHOU Yali, ZHANG W X Q. Target detection based on improved mask rcnn in service robot[C]∥2019 Chinese Control Conference (CCC). Guangzhou, China. IEEE, 2019: 8519- 8524.
[12]ZHANG Qinghui, CHANG Xianing, BIAN S B. Vehicle-damage-detection segmentation algorithm based on improved mask RCNN[J]. IEEE Access, 2020, 8: 6997-7004.
[13]LIU Xiaoyang, ZHAO Dean, JIA Weikuan, et al. Cucumber fruits detection in greenhouses based on instance segmentation[J]. IEEE Access, 2019, 7: 139635-139642.
[14]音松,陈雪云,贝学宇.改进Mask RCNN算法及其在行人实例分割中的应用[J/OL].计算机工程:2020:1-10.
YIN Song, CHEN Xueyun, BEI Xueyu. Improved Mask RCNN algorithm and its application in pedestrian instance segmentation[J/OL]. Computer Engineering: 2020:1-10.(in Chinese)
[15]JIANG Shaokang, JIANG Haobin, MA Shidian, et al. Detection of parking slots based on mask R-CNN[J]. Applied Sciences, 2020, 10(12): 4295.
[16]张勇. 基于图像结构张量的改进样本图像修复算法[J]. 重庆理工大学学报(自然科学), 2020, 34(3): 145-151.
ZHANG Yong. Improved sample image inpainting algorithm based on image structure tensor[J]. Journal of Chongqing University of Technology (Natural Science), 2020, 34(3): 145-151.(in Chinese)
[17]SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640- 651.
[18]HE Kaiming, GKIOXARI G, DOLL
R P, et al. Mask R-CNN[C]∥2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy. IEEE, 2017: 2980-2988.
[19]陶志勇, 韩月明, 林森. 基于Mask-RCNN无分割手写数字字符串的识别[J]. 激光与光电子学进展, 2020, 57(14): 122-129.
TAO Zhiyong, HAN Yueming, LIN Sen. Unsegmented recognition of handwritten numerical strings based on mask-RCNN[J]. Laser & Optoelectronics Progress, 2020, 57(14): 122-129.(in Chinese)
[20]HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA. IEEE, 2017: 2261-2269.
[21]李大军, 何维龙, 郭丙轩, 等. 基于Mask-RCNN的建筑物目标检测算法[J]. 测绘科学, 2019, 44(10): 172-180.
LI Dajun, HE Weilong, GUO Bingxuan, et al. Building target detection algorithm based on Mask-RCNN[J]. Science of Surveying and Mapping, 2019, 44(10): 172-180.(in Chinese)
