1 引言
农作物的长势、覆盖度、种植面积估计等是农业监测的一个重要部分[1],其中农作物种植面积估计是国家农业统筹方面的重要问题之一。传统的农作物种植面积估计是通过统计方法来获得,主要有两种方法:一是层层上报,按照县、地区、省、国家为单位逐级进行统计、汇总并最后上报;二是通过抽样调查,设置有代表性的样本,根据抽样统计原理来估算大区域内的农作物种植面积[2]。传统方法耗费了大量的人力物力、速度慢,结果不够客观,并且不能时空动态监测。
遥感技术由于其大面积同步观测、成本低、数据综合性强、能够时空动态监测等特点,较大程度地避免了人为因素的影响,逐渐取代了传统的人工区域调查方法,被广泛应用于农业遥感监测的各个方面。1974年,美国农业部(USDA)、国家海洋大气管理局(NOAA)、宇航局(NASA)和商业部合作主持了“大面积农作物估产实验(LACIE)”计划,应用Landsat MSS影像对美国、加拿大和世界其他地区小麦等农作物的面积、总产量进行估算,其中估算精度均达到90%以上[3],开启了遥感农业监测的先河。随后,欧盟在1987年提出了MARS计划(Monitoring Agriculture with Remote Sensing),目的是利用遥感技术开发出能够改善欧洲共同体内部农业统计体系的新方法,通过在相当大的范围内进行实验,最终形成一个能够实际应用的运行系统[4]。
国内的学者也很早就意识到遥感农业监测的重要性,自20世纪70～80年代起,我国在遥感农作物估产方面的研究进展迅速:从单一作物估产发展到多种农作物遥感估产,并建立了专业的遥感估产系统,如中科院地理所建立的“江汉平原水稻遥感估产集成系统”,浙江大学建立的“浙江省水稻卫星遥感估产运行系统”等。这些监测方法与系统可以进行农作物种植面积的提取、作物的识别等工作,为国家制定政策、进行决策提供了有效的依据[5]。
传统的遥感农业检测常使用人工目视解译的方法,但是人工目视解译对于解译人员的技术要求高,并且其效率不能满足海量的遥感数据处理。近几年来,深度学习在图像处理、自然语言处理、数据分析等领域取得了大量关键性突破,成为当今最受关注的科学研究之一。目前,很多学者也在尝试用深度学习来实现特定地物信息的计算机自动提取,比如Zhuang Zhou等人发现CNN比SVM在农作物分类方面的效果更好[6]。在农作物种植区域分类方面,Nataliia Kussul等人使用Landsat- 8与Sentinel-1A RS卫星数据对乌克兰的小麦、向日葵、甜菜等农作物进行分类,准确度达到94.60%[7];M. Rußwurm等人使用Sentinel-2A卫星栅格数据对德国慕尼黑的玉米、芦笋、小麦、大麦、冬季黑麦、夏季燕麦等农作物进行分类,准确度达到76.2%[8];程清等人使用高分二号卫星(GF2)数据对中国湖北省鄂州市华容区的农作物进行识别分类,总体分类精度达到87.1332%[9]。
本文结合深度学习与遥感农业监测的技术特点提出了一种基于深度学习的花生种植区域分类方法。首先获取Sentinel-2卫星数据,进行预处理后根据实地考察结果对卫星数据进行人工目视解译。然后通过基于Caffe框架的SegNet深度学习分割网络对解译后的遥感图像进行深度学习,对测试图像进行分类,最后获得分类结果。
2 研究区概况与数据来源
2.1 研究区概况
本研究选取河南省新蔡县,河南省商丘市民权县、宁陵县、睢县、柘城县,河南省驻马店市平舆县作为研究区。以上各地区均隶属于河南省。新蔡县位于河南省东南部,地处北纬32°35′～32°38′,东经114°38′～115°13′之间,地形以平原为主,土地总面积1453平方公里,其中耕地面积148万亩,约占总面积的67.91%。商丘市位于河南省东部,华北平原南端,地处东经114°49′～116°39′,北纬33°43′～34°52′之间,地形以平原为主,土地总面积为10704平方公里,约占河南省总面积的6.4%,其中常用耕地面积1080万亩,约占总面积的67.26%。驻马店市平舆县位于河南省中南部,驻马店市东部,位于淮北平原,地处北纬32°44′～33°10′,东经114°24′～114°55′,地形以平原为主,土地总面积1282平方公里,其中耕地面积134万亩,约占总面积的69.68%。河南省是国家重要的粮食产区,因此针对河南省的遥感农作物监测研究可以为相关农业监管部门提供数据,便于决策的制定与执行。
2.2 数据来源与数据预处理
Sentinel-2地球观测卫星是高分辨率多光谱成像卫星,重访周期为5天。卫星在运行期间可用于观测陆地和沿海水域,为农业监测、紧急灾害处理、地物类型分类以及水质监测等提供信息。Sentinel-2携带了一枚多光谱成像仪,可以覆盖13个光谱波段,从可见光、近红外到短波红外波段,有着不同的分辨率,最高可达10 m分辨率。本研究主要用到了其中的2、3、4、8波段,其主要参数见表1。
本研究选取了河南省新蔡县,河南省商丘市民权县、宁陵县、睢县、柘城县,河南省驻马店市平舆县这6个县在2018年8月的Sentinel-2A晴空遥感影像,主要研究花生的种植面积估算。在进行花生种植面积标注之前,首先对遥感影像预处理:使用ENVI软件对从Sentinel-2获得的遥感影像进行图像镶嵌与裁剪,并对遥感影像进行假彩色合成,使得水体和植被更加明显,更有利于进行农作物分类,最终得到研究区域的遥感图像。
表1 Sentinel-2卫星的主要参数
Tab.1 Main parameters of Sentinel-2
谱段号Sentinel-2A中心波长/nm带宽/nmSentinel-2B中心波长/nm带宽/nm空间分辨率/m2492.466492.166103559.836559.036104664.631664.931108832.8106832.910610
3 研究方法
本研究使用了V. Badrinarayanan等人于2015年提出的语义分割深度网络SegNet[10],搭建了基于Caffe框架的农作物种植面积估计网络。SegNet是目前较为流行、效果较好的语义分割网络之一。SegNet网络基于FCN网络[11]进行了一些改进:FCN使用了一个反卷积层对卷积层的结果采样,使得图像恢复到输入图像的相同尺寸;而SegNet将网络分为编码器与解码器两部分,每个编码层对应一个解码层,使得反卷积的结果更加精细,分类精度与总体效率都有所提升。V. Badrinarayanan等人在论文[9]中提出了三个版本的SegNet,分别为SegNet、Bayesian SegNet与SegNet_basic(浅网络)。下面将依次介绍如何建立训练数据集与测试数据集、SegNet的网络结构。
3.1 建立数据集
本研究主要针对花生进行种植面积估算。首先需要对第2部分提到的6个县的花生种植部分进行标注,这里使用的是计算机辅助的人工目视解译的方法。标注分为两类:花生区与非花生区。
由于是基于深度神经网络来实现估算,所以需要建立训练数据集与测试数据集。这里选择民权县、宁陵县、睢县、新蔡县与柘城县标注后的数据为训练数据集,选择平舆县作为测试数据集。在建立数据集时,将6幅大面积的县级图切割为大小480×360的图像切片。其中,为了提高训练时的准确度与速度,去除了其中非花生种植区域的图像。最后获得2316张训练图像,1193张测试图像。
3.2 网络架构
SegNet的网络结构如图1所示,网络主要分为两部分,图中上半部分为编码器(Encoder),下半部分为几乎与编码器对称的解码器(Decoder)。
编码器部分使用了VGG16网络的前13层卷积层,这些卷积层的作用是提取特征,然后通过池化层增大感受野,同时图像变小。ReLU层为网络增加了非线性因素,使得网络可以应用到众多的非线性模型中。SegNet中使用的是最大池化。其中,这里的池化层比其他网络的池化层多了一个“索引”(indices)——也就是说在每次池化后,都会保存最大权值在池化滤波器中的相对位置,而这个相对位置将会传递给解码器中对应的上采样层(因为网络是对称的)。
解码器部分中的上采样是池化的逆过程,上采样层会先将图像还原到对应的池化层池化之前的大小,然后根据池化层中保存的“索引”放入输入特征图的数据。由于池化后部分权重会丢失且无法复原(值为0),所以SegNet用反卷积层填补丢失的权重部分。最终解码器的输出将被送入Softmax层,Softmax将求出每个像素在所有类别中的概率,并输出概率最大的类别,得到最终的图像分割结果。
图1 SegNet网络结构
Fig.1 An illustration of the SegNet architecture
4 分类结果
4.1 检测指标
根据混淆矩阵的概念,这里用两个检测指标来衡量测试分类结果:检测准确率(accuracy)与检测召回率(recall)。
检测准确率是被正确预测的像素面积(被正确预测为花生的像素面积TP与被正确预测为背景的像素面积TN之和)与所有像素面积(P+N)之比,如式(1)所示。
检测准确率
(1)
检测召回率是被正确预测为花生的像素面积(TP)与实际花生的像素面积(P)之比,如式(2)所示。
检测召回率
(2)
4.2 测试结果
本研究中一共进行了三次训练,测试结果如表2所示。其中第一次与第三次训练使用的是SegNet_basic网络,第二次训练使用的是Bayesian SegNet网络。其中第三次训练时重新筛选了数据集。
从表2中可以发现,综合检测准确率与召回率两个指标,这三次训练中第三次的泛化性最好。其中检测准确率为89.20%,检测召回率为79.22%。
这三次训练的部分测试结果图如图2所示。图2中黑色部分为花生种植区域,白色部分为背景,第一、三、五行是实际的花生种植情况,第二行是第一次训练的结果,第四行是第二次训练的结果,第六行是第三次训练的结果。
表2 测试结果
Tab.2 Test results
序号准确率召回率187.00%57.73%285.06%70.71%389.20%79.22%
图2 三次训练对比
Fig.2 Comparisons between the three trainings
5 结论
本研究实现了基于SegNet网络的花生种植区域分类系统。在训练SegNet网络时,输入层输入预处理后的Sentinel-2卫星遥感影像,通过编码器和解码器后,经过一个Softmax分类器输出一个分类结果。经测试,检测准确率为89.20%,检测召回率为79.22%。后续将继续完善数据集,尝试搭建更加适合该问题的网络,以提升检测指标。
[1] 张加楠, 张雪芬, 简萌, 等. 先验阈值优化卷积神经网络的作物覆盖度提取算法[J]. 信号处理, 2017, 33(9): 1230-1238.
Zhang Jianan, Zhang Xuefen, Jian Meng, et al. Crop Covering Algorithm using Convolution Neural Network Based on Prior Threshold Optimization[J]. Journal of Signal Processing, 2017, 33(9): 1230-1238.(in Chinese)
[2] 燕荣江, 景元书, 何馨. 农作物种植面积遥感提取研究进展[J]. 安徽农业科学, 2010, 38(26): 14767-14768.
Yan Rongjiang, Jing Yuanshu, He Xin. Research Progress of Remote Sensing Extraction of Crop Planting Area[J]. Journal of Anhui Agricultural Sciences, 2010, 38(26): 14767-14768.(in Chinese)
[3] 刘海启, 金敏毓, 龚维鹏. 美国农业遥感技术应用状况概述[J]. 中国农业资源与区划, 1999, 20(2): 56- 60.
Liu Haiqi, Jin Minyu, Gong Weipeng. Applications of Remote Sensing in Agriculture in the United States[J]. Journal of China Agricultural Resources and Regional Planning, 1999, 20(2): 56- 60.(in Chinese)
[4] 刘海启. 欧盟MARS计划简介与我国农业遥感应用思路[J]. 中国农业资源与区划, 1999, 20(3): 55-57.
Liu Haiqi. The Intruduction of MARS Plan of European Commission and Chinese Agriculture Remote Sensing Application[J]. Journal of China Agricultural Resources and Regional Planning, 1999, 20(3): 55-57.(in Chinese)
[5] 刘彦, 关欣, 罗珊, 等. 遥感技术在作物生长监测与估产中的应用综述[J]. 湖南农业科学, 2010(6): 136-139.
Liu Yan, Guan Xin, Luo Shan, et al. Application of Remote Sensing Technology in Crop Growth Monitoring and Yield Estimation[J]. Hunan Agricultural Sciences, 2010(6): 136-139.(in Chinese)
[6] Zhou Zhuang, Li Shengyang, Shao Yuyang. Crops Classification from Sentinel-2A Multi-spectral Remote Sensing Images Based on Convolutional Neural Networks[C]∥IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, 2018: 5300-5303.
[7] Kussul N, Lavreniuk M, Skakun S, et al. Deep Learning Classification of Land Cover and Crop Types Using Remote Sensing Data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778-782.
[8] Rußwurm M, Körner M. Multi-Temporal Land Cover Classification with Long Short-Term Memory Neural Networks[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, XLII-1(W1): 551-558.
[9] 程清, 张航, 张承明, 等. 一种利用多时相遥感数据提取农作物信息的方法[J]. 山东农业科学, 2018, 50(4): 149-153.
Cheng Qing, Zhang Hang, Zhang Chengming, et al. A Method for Extracting Crop Information by Using Multi-Temporal Remote Sensing Data[J]. Shandong Agricultural Sciences, 2018, 50(4): 149-153.(in Chinese)
[10] Badrinarayanan V, Kendall A, Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Scene Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495.
[11] Shelhamer E, Long J, Darrell T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 39(4): 640- 651.
