基于Skip-LSTM的机场群延误预测模型

随着航空运输业的迅速发展,国内外形成了诸多机场群。例如国内的京津冀机场群,长三角机场群等,国外的纽约机场群,巴黎机场群等。但是同国外机场群相比,国内机场群存在着延误情况更严重,资源分配不均衡,发展不平衡的问题,给机场群的健康发展带来严峻的挑战。机场群的延误预测算法,可以预测机场群在未来某段时间的延误状况,为机场群工作人员的排班提供参考,从而促进机场群地区的协调发展。

近年来机场群一直是研究热点,国内外的学者已经对机场群展开了一定的研究。文献[1]研究了机场群的发展特征,根据机场群与城市群协同发展的特点,针对我国机场群与城市群发展不协调的问题,为机场群的协调发展提供了建议。文献[2]研究了珠三角机场群中各个机场的定位问题,避免了机场群中各个机场的恶性竞争,促进机场群的良性发展。文献[3]通过研究机场群中各个机场的依赖关系来确定机场群中的资源分配,以此来降低机场群的拥堵和延误。文献[4]分析了纽约机场群的延误对美国空域系统延误的影响,指出了美国空域系统中有40%的延误是由纽约机场群产生或扩散的。文献[7]提出了多机场系统终端机动区动态到达和离开航线设计框架,从而减少机场群整体延误,充分的利用机场群中各个机场的资源。文献[8]研究了机场群中的航班调度和空域因素等,协调分配了机场群的资源。虽然国内外的研究学者已经对机场群进行了一定的研究,但是鲜少有人对机场群的延误状况进行预测,本文尝试对机场群未来某段时间的延误状况进行预测,从而优化机场群的排班,充分利用机场群中的资源,促进机场群地区的协调发展。

面向大数据的深度学习算法在计算机视觉,自然语言处理等方面得到了广泛的应用[9-13],其性能普遍优于传统的算法。因此本文尝试使用深度学习算法预测机场群的延误状况。因为机场群的延误状态具有时间相关性,前一刻的延误状态会直接影响到后面时刻的延误状态,所以本文尝试使用循环神经网络(RNN, Recurrent Neural Network)对机场群的延误状态进行预测。因为RNN网络存在着梯度消失或爆炸的问题,导致无法学习更长的时间序列,文献[16]提出的LSTM网络在RNN的基础上增加了遗忘门,输入门和输出门,在一定程度上避免了梯度消失或爆炸,能够学习到长距离的时序信息。但是由于LSTM在每一个时刻中所有的神经元都需要更新状态,所以训练时间较长,且预测精度也无法继续提高。

为了提高预测的准确率,本文提出了基于Skip-LSTM的机场群延误预测模型。该模型利用Skip-LSTM[14]网络充分地提取机场群延误状态的时间相关性,有效的预测机场群的延误状况,并且在LSTM的基础上增加了Skip门,通过Skip门控制神经元状态的更新,减少了对状态更新的依赖,从而有效地解决LSTM训练速度慢,预测精度低的问题。

2 Skip-LSTM

2.1 Skip-LSTM网络描述

传统的LSTM神经元的结构如图1中的(a)所示,每个神经元包含三个门单元,分别是输入门,遗忘门和输出门。本文采用的Skip-LSTM在传统的LSTM神经元中增加了Skip门, Skip门的输出将决定LSTM神经元在该时刻是否执行状态更新。当Skip门的输出为0时,在该时刻神经元不进行状态更新,保留上一时刻的状态。当Skip门的输出为1时,在该时刻神经元的状态需要进行更新,生成新的神经元状态。因此增加Skip门之后,神经元将跳过某些时刻的状态更新,减少神经元更新的次数。

2.2 Skip门

Skip门是一个控制状态更新的门,结构如图1中的(b)所示。Skip-LSTM前向传播过程如式(1)～(9)所示:

其中xt是t时刻的输入, ft是t时刻遗忘门的输出, it和at是t时刻输入门的输出,ct是t时刻的细胞状态,yt是t时刻输出门的输出,ut是t时刻Skip门的输出, ht是t时刻的隐藏状态。σ和tanh为神经元内置激活函数, fbinarize将输入值二值化;wf,wi,wa,wo,wp分别为t-1时刻遗忘门,输入门,输出门,Skip门的权重矩阵;uf,ui,ua,uo分别为t时刻遗忘门,输入门,输出门的权重矩阵;bf,bi,ba,bo,bp分别为遗忘门,输入门,输出门,Skip门的偏置。

Skip-LSTM反向传播过程通过梯度下降法迭代更新所有的参数。在本文中有两个隐藏状态ht和ct,所以定义两个δ,即

和

反向传播过程如式(10)～(11)所示:LSTM的反向传播是沿时间维度的反向传播,即从当前的时刻反向传播计算前一个时刻的梯度值、损失值。其中

是t时刻隐藏状态的梯度,

是t时刻细胞状态的梯度,l为损失函数,lt为t时刻的损失值,lt+1是t时刻以后的损失,由

反向推导

通过计算出

和

可以计算神经元中各个参数的梯度,即参数对于损失函数的偏导数,例如wf的梯度计算过程如式(12)所示:

3 基于Skip-LSTM的机场群延误预测

3.1 机场群介绍

机场群是一个城市或者一个城市群拥有两个及其以上的提供商业运营的机场,在伴随着区域经济一体化和交通运输日益发达的过程中,由每个独立的机场发展成为一个机场的集合,称之为机场群[26]。

纽约机场群和京津冀机场群2018年的准点率对比如图2所示。从图2可以看出,京津冀机场群中各个机场的准点率普遍低于纽约机场群,尤其是首都国际机场作为京津冀机场群的国际枢纽机场,准点率却差强人意。

同时与纽约机场群对比,京津冀机场群发展并不平衡,主要体现在2018中纽约机场群中各个机场的航班量之比为1∶1∶1,而京津冀机场群各个机场航班量之比为7∶2∶1。形成了首都机场可利用资源短缺,天津和石家庄机场却存在着资源空闲的状况。通过预测机场群未来的延误状况,便于机场群工作人员及时调整排班,避免机场群发生大面积的延误状况,同时促进机场群地区的协调发展。

3.2 机场群延误预测模型

机场群延误预测模型如图3所示,机场群中因为各个机场分工不同,分为国际枢纽机场和区域枢纽机场,在纽约机场群中,纽瓦克和肯尼迪机场为国际枢纽机场,拉瓜迪亚机场为区域枢纽机场;在京津冀机场群中,北京首都机场为国际枢纽机场,天津机场和石家庄机场为区域枢纽机场。为了预测中美机场群的延误状况,首先对机场群的数据进行预处理,包括数据均衡处理,数据融合,特征选取和数据编码,获得完整的机场群数据集。其次利用Skip-LSTM对机场群的数据进行特征提取,最后利用Softmax分类器对机场群的延误状况进行分类预测。下面主要对机场群数据的预处理,和机场群延误状况分类预测进行描述。特征提取部分介绍详见第2节。

3.3 数据预处理

本节首先介绍了中美机场群的数据集,其次对数据进行了均衡处理,然后进行了数据融合,特征选择和数据编码。

美国数据集:本文使用的纽约机场群数据为美国交通运输局(Bureau of Transportation Statistics,BTS)提供的2016年,2017年及2018年的航班数据和美国国家海洋和大气管理局(National Oceanic and Atmospheric Administration,NOAA)提供的本地气候质量监控数据(Quality Controlled Local Climatological Data,QCLCD)。

机场数据定义为DA:具体包括日期(Date),时间(Time),机场ID号,机场所在城市的ID号,机场所在州的ID号。

航班数据定义为DF:具体包括年(Year),月(Month),日期(DayofMonth),季度(Quarter),星期数(DayofWeek),航班号(FlightNum),航线号(AirlineID),飞机尾号(TailNum),承运人(Carrier),起飞/降落机场的ID号(Origin/DestAirportID),起飞/降落城市的ID号(Origin/DestCityMarketID),起飞降落城市所在州的ID号(Origin/DestStateFips),计划起飞/降落的时间(CRSDepTime/CRSArrTime),起轮/放轮的时间(WheelsOff/WheelsOn),航程(Distance)。

气象数据定义为DW:具体包括日期(Date),时间(Time),观测站类型(StationType),机场的天气状况(SkyCondition),湿度(RelativeHumidity),风速(WindSpeed),风向(WindDirection),能见度(Visibility),观测站气压(StationPressure),海平面气压(SeaLevelPressure),记录类型(RecordType),高度(Altimeter)。

中国数据集:本文使用的京津冀机场群数据为国内空管局提供的2018年3月到2019年2月的航班数据。

机场数据定义为DA:包括日期,时间,机场名称。

航班数据定义为DF:包括执行日期,时间,航班号,二次雷达编号,计起时间,计达时间,计划起站,计划达站,计划机型,计划机号,巡航速度,巡航高度,保障种类,任务类型,保障等级,执行状态,全国SARB,军方批号。

数据均衡处理:本文对机场群的航班延误等级的分类如表1所示[23]。从表1中可以看出,在数据均衡处理之前各个延误等级的航班量所占的比重存在着很大的偏差,其中75%的航班是准时的航班,延误的航班只占了25%。为了使模型充分的学习延误航班的特征,增强模型的适用性,本文对美国延误航班数据进行了增强处理,通过增加2018年的延误航班数据,扩大了延误航班的数据集。数据增强以后,准点的航班所占比重为60%,延误航班的比重由25%增加到了40%。

数据融合:首先提取机场群中所有起降航班数据,以及提取机场群中观测站的天气数据。然后选择航班的计划起飞或降落时间为关联主键1,选择观测站的观测时间为关联主键2,最后融合具有相同键值的数据,保证机场群的航班数据和相同时间的天气数据进行融合,在本文中融合了纽约机场群的航班数据和天气数据。

特征选择:根据得到的纽约机场群的天气数据,对天气特征进行了筛选,删除了重复和干扰的特征。

数据编码:本文将数据特征分为离散型特征和连续型特征,对离散型特征进行了平数据编码[22],对连续性特征进行了min-max[26]编码。

3.4 机场群延误状况分类预测

机场群准点率是机场群准点的航班量与总航班量之比。在本文中,通过预测机场群中各个航班的延误等级,进而得到机场群中各个延误等级的航班量占总航班量的比重,以此作为机场群延误状况的评估指标。

本文将航班的延误状况分为五个等级, 模型通过Skip-LSTM网络充分学习数据的特征,最后Softmax分类器对输入的数据特征进行分类,例如输入1条航班数据:

数据1:日期:20180127,季度:1,星期数:6,航班号:2415,航线号:20409,飞机尾号:N818UA,承运人:UA,起飞/降落机场的ID号:11618/14057,起飞/降落城市的ID号:31703/34057,起飞降落城市所在州的ID号:34/41,计划起飞/降落的时间:8:40/11:52,起轮/放轮的时间:9:04/11:53,航程:2434,机场的天气状况:FEW:02 250,湿度:82,风速:5,风向:220,能见度:10,观测站气压:30.47,海平面气压:30.5,高度:30.5。

模型会给出该条航班数据属于各个类别的概率,如下所示:

数据的分类概率信息为:[0.9794946, 0.01381706, 0.00032783, 0.00030673, 0.00605379]

然后模型会选择概率最大的类别作为输出结果,以此判定该航班的延误等级,所以模型判定输入的该条航班数据为未延误。其中判断正确的航班数据占输入航班数据的比例,为模型的准确率,其中模型的准确率越高,则模型的预测效果越好。

为了评估Skip-LSTM和LSTM网络模型在机场群延误预测问题上的准确率,本文所用的评价准则为:

其中N为测试集中所有的数据量,C代表模型预测的延误状态和真实的延误状态相同的数量。precision为模型的准确率。

4 实验结果分析

本节首先介绍了实验计算机硬件配置、软件平台以及实验中的各个参数;然后基于纽约机场群和京津冀机场群验证了所用算法的有效性以及讨论了天气特征对机场群延误预测的影响。

4.1 实验环境及参数

实验硬件配置为:处理器为英特尔至强Xeon E5-1620,CPU频率为3.60 GHz;内存为16.00 width=1,height=1,dpi=110

4GB;操作系统为Ubuntu16.04(64位);图形加速卡为GeForce GTX TITAN Xp;深度学习开发平台为Tensorflow 1.10.0。

本文实验中的参数设置如表2所示:其中学习率分别在10000次、30000次的时候进行衰减,每次衰减10倍。

4.2 机场群延误预测

本文使用了不同层数的Skip-LSTM和LSTM网络模型预测纽约机场群以及京津冀机场群的延误状况。为了讨论天气对机场群延误的影响,本文对比了在不同数据集上Skip-LSTM的准确率,证明了增加天气数据以及适当选择特征能提高网络模型的预测准确率。

表3列举出了不同层数的Skip-LSTM和LSTM在纽约机场群和京津冀机场群的数据集上的准确率。美国数据集和中国数据集时效性、体量和内容丰富性上都相差较大,具体体现在:时效性:美国数据集为2016到2018年的数据;中国数据集为2018年3月到2019年2月的数据。体量:美国数据集包含的数据量为290万条;中国的数据集为104万条。内容丰富完整性:美国数据集包含航班数据及天气数据,共有特征35个;中国数据集只包含航班数据,共有特征21个。结果的差异性主要体现在:基于Skip-LSTM时,在美国数据集上模型的最高准确率为91.70%;在中国数据集上模型的最高准确率为82.04%。基于LSTM时,在美国数据集上模型的最高准确率为91.01%;在中国数据集上模型的最高准确率为81.30%。通过表3也可以看出,在中美机场群数据集上Skip-LSTM的最高准确率均高于LSTM,且当网络层数到达四层时,LSTM的准确率已经趋于不变,其准确率的最大值为91.01%,而Skip-LSTM的准确率从第一层到第四层,准确率稳步上升,直到第四层,网络达到最高的准确率即91.70%,验证了Skip-LSTM网络模型的有效性。

表4列举了不同层数的Skip-LSTM和LSTM基于不同序列长度的纽约机场群数据集上的训练时间,迭代次数为40000次,从表中可以看出,当网络层数为3时,序列长度由30增加到60时,Skip-LSTM增加的时间为2小时,LSTM增加的时间为5.1小时;当序列长度由60增加到90时,Skip-LSTM增加的时间为3.8小时,LSTM增加的时间为11.6小时。当序列长度为30时,网络层数由1增加到2时,Skip-LSTM增加的时间为0.7小时,LSTM增加的时间为1.4小时,当网络层数由2增加到3时,Skip-LSTM增加的时间为0.3小时,LSTM增加的时间为2.1小时进而说明了Skip-LSTM能提供更快更稳定的训练途径,简化了机场群延误预测任务难度。

4.3 损失值

图4分别表示了Skip-LSTM和LSTM在纽约机场群数据集上的损失值大小随迭代次数的变化趋势,其中损失值越小,则模型预测的结果与真实情况更接近。从图中可以看出,当网络层数为1层时,两种网络的损失值基本相同;当网络层数为3层时,在训练趋于稳定时,Skip-LSTM损失值略低于LSTM网络。

图5分别表示了Skip-LSTM和LSTM在京津冀机场群数据集上的损失值随迭代次数的变化趋势。从图中可以看到,无论网络层数是1层还是3层,在训练前期Skip-LSTM的损失值随迭代次数的增加,呈现更快的下降速度,并且低于LSTM的损失值,保持在稳定的状态,最终损失值维持在了0.4附近。

4.4 天气特征对预测准确率的影响

为了讨论天气对机场群延误预测的影响,基于Skip-LSTM模型在美国机场群的数据中加入了天气数据,因为暂时没有国内的天气数据,所以本文只讨论了加入天气特征以后对纽约机场群延误预测准确率的影响。从表5可以看出,增加天气数据以后,准确率提升了3.65%。

4.5 特征选择对准确率的影响

本节基于Skip-LSTM模型讨论了对天气特征进行选择以后对结果的影响。天气特征中的观测站类型,记录类型和高度都是单一重复的特征,所以删除了上述特征。从表6中可以看出,对天气特征进行适当的筛选后,准确率提高了0.05%。

5 结论

本文提出了一种基于Skip-LSTM的机场群延误预测模型。通过实验表明,该模型在预测准确率方面高于传统的LSTM网络模型,证明了在LSTM的基础上添加Skip门的有效性。其次本文尝试利用基于大数据的深度学习算法对中美机场群的延误状况进行预测,充分挖掘机场群中机场数据,航班数据,以及天气数据中包含的信息,并且对机场群中的天气数据特征进行了合理地选择,从而得到了更高的准确率,更准确的预测机场群的延误状况,为机场群的工作人员提供参考意见。以后工作重点增加国内机场群的气象数据,扩大国内数据的特征量,将该模型用于国内机场群,对国内机场群进行分析研究,为国内机场群提供合理的建议。

[1] 张莉, 高超, 胡华清. 我国三大机场群与城市群协调发展比较与建议[J]. 综合运输, 2015(9): 4-10.

Zhang Li, Gao Chao, Hu Huaqing. Comparison and Suggestions on the Coordinated Development of Three Biggest Airport Groups and City Groups of China[J]. China Transportation Review, 2015(9): 4-10.(in Chinese)

[2] 杨依莹, 陈子怡, 杨新湦. 珠三角机场群协同发展定位分析[J]. 航空计算技术, 2016, 46(1): 53-55.

Yang Yiying, Chen Ziyi, Yang Xinsheng. Analysis on Positioning of Collaborative Development of Airport Group around Pearl River Delta Area[J]. Aeronautical Computing Technique, 2016, 46(1): 53-55.(in Chinese)

[3] Ayyalasomayajula S, Delaurentis D. Developing Strategies for Improved Management of Airport Metroplex Resources[C]∥Aiaa Aviation Technology, Integration, & Operations Conference, California, USA, 2009.

[4] Bolanos M E, Murphy D. How Much Delay does New York Inject into the National Airspace System? A Graph Theory Analysis[C]∥Aviation Technology, Integration, & Operations Conference, Los Angeles, USA, 2013.

[5] 杨学兵. 论京津冀协同发展中国际一流航空枢纽的丰富内涵[N]. 中国民航报, 2019- 08- 01(006).

Yang Xuebing. On the Rich Connotation of the World’s First-class Aviation Hub in the Coordinated Development of Beijing-Tianjin-Hebei[N]. China Civil Aviation, 2019- 08- 01(006).(in Chinese)

[6] 赵冰, 曹允春. 京津冀协同发展下天津疏解首都航空物流功能的路径研究[J]. 综合运输, 2019, 41(7): 114-120.

Zhao Bing, Cao Yunchun. Development Path of Tianjin Relieves Beijing’s Air Logistics Function Under the Beijing-Tianjin-Hebei Coordinated Development Strategy[J]. China Transportation Review, 2019, 41(7): 114-120.(in Chinese)

[7] Sidiropoulos S, Majumdar A, Han K. A Framework for the Optimization of Terminal Airspace Operations in Multi-Airport Systems[J]. Transportation Research Part B: Methodological, 2018, 110: 160-187.

[8] Capozzi B J, Atkins S C, Choi S. Towards Optimal Routing and Scheduling of Metroplex Operations[C]∥Aiaa Aviation Technology, Integration, & Operations Conference, California, USA, 2009:21-23.

[9] Kim Y J, Choi S, Briceno S, et al. A Deep Learning Approach to Flight Delay Prediction[C]∥35th Digital Avionics Systems Conference ,Sacramento,USA,2016.

[10] Hang G, Liu Z, Weinberger K Q. Densely Connected Convolutional Networks[C]∥Computer Vision and Pattern Recognition, Honolulu, USA, 2017:2261-2269.

[11] Nair V, Hinton G E. Rectified Linear Units Improve Restricted Boltzmann Machines[C]∥27th International Conference on Machine Learning, Haifa, Israel, 2010: 807- 814.

[12] Li S, Li W, Cook C, et al. Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN[C]∥Computer Vision and Pattern Recognition, Piscataway, USA, 2018:5457-5466.

[13] Takeru M, Andrew M D, Ian G. Adversarial Training Methods for Semisupervised Text Classification[C]∥International Conference on Learning Represrntations, Toulon, France, 2017.

[14] Campos V, Jou B, Giro-I-Nieto X, et al. Skip RNN:Learning to Skip State Updates in Recurrent Neural Networks[C]∥International Conference on Learning Representations, Vancouver, Canada, 2018.

[15] 屈景怡, 叶萌, 渠星. 基于区域残差和LSTM网络的机场延误预测模型[J]. 通信学报, 2019, 40(4): 149-159.

Qu Jingyi, Ye Meng, Qu Xing. Airport Delay Prediction Model Based on Regional Residual and LSTM Network[J]. Journal on Communications, 2019, 40(4): 149-159.(in Chinese)

[16] Hochreiter S, Schmidhuber J. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[17] Simaiakis I, Sandberg M, Balakrishnan H. Dynamic Control of Airport Departures: Algorithm Development and Field Evaluation[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(1): 285-295.

[18] Mcgill M, Perona P. Deciding How to Decide: Dynamic Routing in Artificial Neural Networks[C]∥International Conference on Machine Learning, Sydney, Australia, 2017: 2363-2372.

[19] Bertschinger N, Natschlager T. Real-Time Computation at the Edge of Chaos in Recurrent Neural Networks[J]. Neural Computation, 2004, 16(7): 1413-1436.

[20] 李鸿儒, 王建辉, 顾树生. 准对角递归神经网络及其算法的研究[J]. 系统仿真学报, 2004, 16(7): 1542-1544, 1547.

Li Hongru, Wang Jianhui, Gu Shusheng. Study on a Quasi-Diagonal Recurrent Neural Network and Its Algorithm[J]. Journal of System Simulation, 2004, 16(7): 1542-1544, 1547. (in Chinese)

[21] 朱承元, 卫宏, 刁琳. 珠三角地区多机场系统航班时刻的仿真优化[J]. 计算机工程与应用, 2013, 49(4): 236-239.

Zhu Chengyuan, Wei Hong, Diao Lin. Simulation Optimization of Flight Schedule of Multi-airport System in PRD Region[J]. Computer Engineering and Applications, 2013, 49(4): 236-239.(in Chinese)

[22] Micci-Barreca D. A Preprocessing Scheme for High-Cardinality Categorical Attributes in Classification and Prediction Problems[J]. ACM SIGKDD Explorations Newsletter, 2001, 3(1): 27-32.

[23] 吴仁彪, 赵婷, 屈景怡. 基于深度SE-DenseNet的航班延误预测模型[J]. 电子与信息学报, 2019, 41(6): 1510-1517.

Wu Renbiao, Zhao Ting, Qu Jingyi. Flight Delay Prediction Model Based on Deep SE-DenseNet[J]. Journal of Electronics and Information Technology, 2019, 41(6): 1510-1517.(in Chinese)

[24] 吴仁彪, 李佳怡, 屈景怡. 融合气象数据的并行化航班延误预测模型[J]. 信号处理, 2018, 34(5): 505-512.

Wu Renbiao, Li Jiayi, Qu Jingyi. Parallel Flight Delay Prediction Model Based on Fusion of Meteorological Data[J]. Journal of Signal Processing, 2018, 34(5): 505-512.(in Chinese)

[25] 陈梵驿. 京津冀机场群协同发展下的航线优化研究[D]. 天津: 中国民航大学, 2017.

Chen Fanyi. Study on Airline Optimization of Beijing Tianjin Hebei Region Multi-airport System Coordinated Development[D]. Tianjin: Civil Aviation University of China, 2017.(in Chinese)

[26] 吴仁彪, 李佳怡, 屈景怡. 基于双通道卷积神经网络的航班延误预测模型[J]. 计算机应用, 2018, 38(7): 2100-2112.

Wu Renbiao, Li Jiayi, Qu Jingyi. Flight Delay Prediction Based on Dual-channel Convolutional Neyral Networks[J]. Journal of Computer Applications, 2018, 38(7): 2100-2112.(in Chinese)

[27] 屈景怡, 叶萌, 曹磊. 基于混合编码和长短时记忆网络的机场延误预测方法[J]. 信号处理, 2019, 35(7): 1160-1169.

Qu Jingyi, Ye Meng, Cao Lei. Airport Delay Prediction Method Based on Hybrid Coding and LSTM Network[J]. Journal of Signal Processing, 2019, 35(7): 1160-1169.(in Chinese)