2024年4月24日发(作者：索尼微单相机型号大全介绍)

山东农业大学学报

(

自然科学版

),2022,53(5):790-795

Journal

ofShandongAgriculturalUniversity(NaturalScienceEdition)

VOL.53NO.52022

doi:10.3969/.1000-2324.2022.05.019

基于深度学习的田间麦穗检测

张震明

1

,

黄子琦

1

,

王东

2

,

宁堂原

3

,

孙刚

4

,

姜红花

1*

1.

山东农业大学信息科学与工程学院

,

山东泰安

271018

2.

西北农林科技大学农学院

,

陕西杨凌

712100

3.

山东农业大学农学院

,

山东泰安

271018

4.

中国科学院空天信息创新研究院

,

北京

100101

摘要:大田小麦麦穗识别是小麦估产的重要环节，准确快速的麦穗检测识别是产量估算的前提。利用深度学习技

术识别大田图像中的麦穗，可以大幅提高麦穗计数的效率。针对大田小麦植株互相遮挡和光照不均等问题，本文将

通道注意力模块添加到

PPYOLO

网络中，构建了注重检测精度和检测速度相平衡的麦穗检测网络

PPYOLO-SE

，并

将该网络与原PPYOLO网络、SSD、YOLOv3和Faster-RCNN网络进行对比试验，PPYOLO-SE模型检测精度为

95.75%

，每幅图像检测时间

0.6s

，优于上述其他网络，验证了

PPYOLO-SE

模型的有效性。本研究提高了小麦麦穗

识别环节的准确性和效率，降低了劳动成本，为田间小麦的自动化管理提供参考。

关键词:麦穗检测;图像增强;产量评估;深度学习

中图法分类号:

TP399

文献标识码:

A

文章编号:

1000-2324(2022)05-0790-06

FieldWheatEarDetectionBasedonDeepLearning

ZHANGZhen-ming

1

,HUANGZi-qi

1

,WANGDong

2

,NINGTang-yuan

3

,SUNGang

4

,

JIANGHong-hua

1*

eofInformationScienceandEngineering/ShandongAgriculturalUniversity,Tai’an271018,China

eofAgronomy/NorthwestA&FUniversity,Yangling712100,China

myCollege/ShandongAgriculturalUniversity,Tai’an271018,China

aceInformationResearchInstitute/ChineseAcademyofSciences,Beijing100101,China

Abstract:Eateandrapidearrecognitionis

eeplearningtechnologytorecognizewheatearsinfieldimagecangreatlyimprove

attheproblemsofmutualocclusionandunequalilluminationofwheatplantsinthefield,

thispaperaddedchannelattentionmoduletothePPYOLOnetwork,andconstructedawheateardetectionnetwork

PPYOLO-SEworkwascomparedwiththe

originalPPYOLOnetwork,SSD,ognitionaccuracyofthe

PPYOLO-SEis95.75%,andtherecognitiontimeofeachimageis0.6s,whichissuperiortoothernetworksmentionedabove,

udyimprovedtheaccuracyandefficiencyofwheatear

recognition,reducedthelaborcost,andprovidedareferencefortheautomaticmanagementinwheatfield.

Keywords:Wheateardetection;imageenhancement;yieldassessment;deeplearning

大田小麦麦穗检测是小麦估产的重要环节，准确快速的麦穗检测识别可以大大提高产量估算

的效率

[1,2]

。当前麦穗识别方法主要有基于人工特征提取的传统方法和深度学习方法

[3-7]

：前者将图

像中的纹理、颜色和光谱等特征提取，利用聚类或分类方法学习特征，实现目标识别

[8,9]

；后者利

用深度神经网络提取图像特征并对提取的特征进行学习，实现目标的分类识别。深度学习技术可

以自主提取图像特征，较深层的网络结构有强大的特征学习能力，因此利用深度学习方法进行麦

穗识别相比于传统方法更加有优势。

近年来国内外学者利用深度学习方法在小麦麦穗识别任务中取得了较好成果。HasanMM等采

用Faster-RCNN网络训练麦穗识别模型，模型最高检测精度达到了93.4%

[10]

。HeMX等构建基于

改进YOLOv4网络的模型，使用预测框回归方法，麦穗识别精确度为77.68%

[11]

。张领先等首先扩

收稿日期:

2021-11-18

修回日期:

2022-02-10

基金项目:山东省重大科技创新工程项目

(2019JZZY010716);

山东省农业重大应用技术创新项目

(SD2019NJ001)

第

1

作者简介

:

张震明

(1998-),

男

,

在读研究生

,

专业方向

:

农业物联网技术与工程

.E-mail:*******************.cn

*

通讯作者:

Authorforcorrespondence.E-mail:******************.cn

Copyright©博看网. All Rights Reserved.

第

5

期张震明等

:

基于深度学习的田间麦穗检测·

791

·

充了数据集，使用CNN训练麦穗识别模型，麦穗的识别准确率达到99.7%

[12]

。高云鹏等提出了基

于YOLOv3和Faster-RCNN的小麦麦穗检测方法，两种方法分别取得了87.12%和97.00%的识别

准确率，单张检测速度分别为0.12s和0.94s

[13]

。鲍文霞等使用拥挤场景识别网络（CSRNet）训

练麦穗密度估计模型，采用迁移学习预训练模型，对模型参数调整，模型识别精度为82.11%

[14]

。

郝王丽等使用Faster-RCNN、YOLOv2和YOLOv3网络分别在小麦图像数据集上训练小麦识别模

型，最终的小麦识别精度达到了93%

[15]

。章权兵等使用Faster-RCNN网络为基础框架，在网络中

加入注意力机制，将区域建议网络加权处理，提高了网络检测性能，平均检测精度达到了

88.5%

[16]

。麦田麦穗图像背景复杂，种植密度较大，基于图像框检测的方法，在遮挡严重情况下，

通用深度学习网络识别效率低，误差较大。

为改善大田复杂环境下的麦穗检测问题，本文将图像处理和深度学习相结合，构建基于深度

学习的大田小麦麦穗检测模型，降低了劳动成本，为田间小麦自动化管理提供参考。

本文的主要贡献包括3个方面：

（1）针对复杂背景下大田小麦麦穗检测识别和小麦估产问题，本研究构建了基于PPYOLO

网络的小麦麦穗检测模型，对采集到的小麦图像数量进行扩充，通过图像增强处理，提高了麦穗

检测模型的准确性和鲁棒性；

（2）在PPYOLO网络的基础上添加了注意力机制SE模块得到PPYOLO-SE网络，并使用大

田小麦数据集进行了训练，检测精度相较PPYOLO网络构建的模型提高了2.14%，较其他几种网

络模型有明显提高；

（3）PPYOLO-SE模型的单张图像识别速度达到了0.6s每张。

1

1.1

材料与方法

实验数据

本研究小麦图像的采集日期时间为2021年5月上午9时至15时，天气晴朗光照充足，小麦灌

浆期（麦穗外形基本不再变化），在山东农业大学农学实验站采集济麦22图像，麦田总面积约为

4050m

2

。为确定拍摄图像画幅尺寸，在小麦冠层上放置参照物，相机垂直向下距离小麦冠层

60~70cm拍摄，共采集1320张小麦图像，采集大田如图1所示，拍摄的部分小麦图像如图2所示。

图

1

图像采集大田

Fig.1Imageacquisitionbigfield

图

2

大田小麦图像

Fig.2Imageofwheatinthefield

1.2图像处理

为了加快模型的训练速度，将图像统一化处理。使用Photoshop按照参照物将图像裁剪并调整

尺寸为960×960像素，保留麦穗图像特征的同时减小图片大小。为了克服光照、阴影和遮挡问题，

Copyright©博看网. All Rights Reserved.

·

792

·山东农业大学学报

(

自然科学版

)

第

53

卷

提高模型对小麦麦穗特征的学习能力，使用Matlab对小麦图像进行灰度化，添加噪声，模糊处理

和直方图均衡化增强处理，使用LabelImg软件标注穗图像，处理完成后共得到4000张小麦图像，

增强后的图像效果如图3所示。

图

3

图像增强

Fig.3Imageenhancement

1.3基于改进PPYOLO网络的麦穗检测

麦田麦穗图像背景复杂，且小麦的种植密度一般较大，可以通过图像分割和图像去噪等处理减

少复杂背景对图像的影响，使用支持向量机等分类方法学习麦穗和其他部分的特征。这种方法提高

了麦穗的识别准确率，但不同条件下麦穗头部的特征变化较大，要取得更好的识别效果需要研究更

多的特征参数，识别模型的鲁棒性会有所下降。而在使用深度学习进行麦穗识别的研究中，性能较

好的网络可以多维度的自主学习麦穗图像的特征，面对不同条件下的麦穗图像表现出较为稳定的识

别准确率，但基于麦穗识别场景的复杂性和特殊性，通用的深度学习网络在麦穗识别任务中识别精

度相较于特征分类方法较低。

由百度开发的开源检测网络PPYOLO使用多种深度学习技巧优化网络

[17]

，基于百度开源深度

学习框架PaddlePaddle开发的检测网络，PPYOLO网络由骨干网络，检测颈和检测头组成。

PPYOLO注重于将不同的训练技巧结合，实现更好的检测结果。在各个领域的目标检测中都取得了

较高准确率。

相对于新的网络结构，注意力机制的出现使得深度学习网络不再盲目的学习特征，而是对更有

用的特征进行着重学习，网络可以专注于输入的某个特定部分。HuJ等提出的SE注意力机制模块

在嵌入不同网络后，网络的检测精度均有所提升

[17]

。注意力机制SE网络，给特征图中每个通道赋

予不同权重，网络专注于输入特征图的特定部分，提高网络的检测精度，解决网络中不同特征图不

同通道使用相同权值导致的偏差问题。

针对大田麦穗识别率低的问题，本文基于PPYOLO目标检测网络，在其骨干网络的特征提取

层后添加注意力机制SE（SqueezeandExcitation）模块，高效的提取麦穗特征，并进行学习，以提

高模型检测麦穗的准确率。构建PPYOLO-SE网络，网络结构如图4所示。

图4PPYOLO-SE网络结构

Fig.4StructureofPPYOLO-SEnetwork

由图4可知，PPYOLO-SE网络结构是由骨干网络、检测颈及检测头组成，在骨干网络的不同

特征体积层后添加SE模块。

Copyright©博看网. All Rights Reserved.

第

5

期张震明等

:

基于深度学习的田间麦穗检测·

793

·

1.4模型训练

为了验证PPYOLO-SE网络模型的有效性，在相同的数据集上训练了PPYOLO网络以及SSD，

YOLOv3和Faster-RCNN三种常用目标检测网络作为对比。

本研究的硬件环境：操作系统为Windows10专业版；CPU为Inteli7-117002.5GHz，16GB计

算机内存，图形处理器为NvidiaGeForceGTX1080Ti11GB；Python版本3.7.0；软件环境：

PPYOLO-SE网络和PPYOLO网络的深度学习框架为PaddlePaddle2.1.0，其余网络为

Tensorflow1.15.0框架。网络主要参数：学习率设置为0.001，Batch_size为16，Epoch为1200。数

据集共4000张，训练集、验证集和测试集比例3:1:1，即训练集2400张，验证集800张，测试集

800张。

2

2.1

结果与分析

训练评估

为确定模型的有效性，PPYOLO-SE网络和其他网络均使用相同的训练集和测试集训练，图

5为各个网络的训练Loss曲线。

图5各网络训练Loss曲线图

Fig.5AllnetworkstrainingLosscurve

由图5可知，相同情况下，PPYOLO-SE网络相比其他4种网络收敛值更小，相比PPYOLO收

敛较慢，是因为在网络结构中添加SE模块增加了额外的计算量所导致的。综上，PPYOLO-SE的

Loss曲线收敛值最小且趋于稳定，训练效果较好。

2.2模型评估

本文使用卷积神经网络AlexNet模型

[14]

提取图像的特征信息，AlexNet网络使用(11×11、5×5、

3×3)的卷积核，其结构简单，可以快速的提取图像的多维度空间语义信息，其特征可视化图如图3

所示。卷积神经网络的卷积函数为X

l+1

=act(X

l



W

l

+b

l

)，其中X

l

表示(l)层特性输入，X

l+1

表示(l)层特

性输出。当(l)为0时，X

0

是原始图像。W

l

是(l)层权值矩阵，b

l

是(l)层的偏移向量，act是激活函数

（Relu），X

l



W

l

X

l



W

l

为输入特征与卷积核权重的卷积乘积。

本文使用的模型评价指标为召回率Recall和模型准确率Precision以及模型对单张图片的检测速

度。召回率的意义为正确的样本中被成功预测出来的比例，召回率Recall的计算公式为：

Recall



TP

TP



FN

(1)

式（1）中TP代表成功预测出的样本个数，FN为未能被预测出的样本个数。

准确率的含义为成功预测出的样本中的正确比例，准确率Precision的计算公式为：

Precision



TP

TP



FP

(2)

式（2）中TP为预测出的样本中正确的样本个数，FP代表预测出的样本中错误样本的个数。

Copyright©博看网. All Rights Reserved.

·

794

·山东农业大学学报

(

自然科学版

)

第

53

卷

平均精度AP（AveragePrecision）代表预测类中每个召回率中最大精确率的平均数，mAP

（meanAveragePrecision）即为各个预测类的平均精度，在本文麦穗检测问题中，mAP即为AP。

各个模型的平均检测精度mAP，单张检测速度，召回率和精确率如表1所示。

表

1

模型指标

Table1Modelparameters

精确率/%召回率/%

PrecisionpercentageRecallpercentage

97.0697.62

94.2895.31

71.9081.15

80.8788.77

95.3785.35

模型

Model

PPYOLO-SE

PPYOLO

SSD

YOLOv3

Faster-RCNN

mAP/%

95.75

93.61

78.20

85.60

89.42

单张检测速度/s

Detectionspeed/asheet

0.6

0.4

0.5

0.32

0.9

由表1知，PPYOLO-SE的平均精度比PPYOLO，SSD，YOLOv3和Faster-RCNN高，召回率

和精确率分别达到97.62%和97.06%，比PPYOLO有所提升，单张图片检测速度0.6s，相较于

PPYOLO较慢，原因是SE模块增加了推理时间。

由（1）和（2）两式的定义可知模型的召回率和准确率同时趋近1时模型精度最高，将模型召

回率值作为坐标系轴横，准确率作为纵轴绘制P-R曲线图，5种网络的P-R曲线图如图6所示。

图6各网络P-R曲线图

Fig.6AllnetworksP-Rcurve

模型训练完成后采用同一张小麦图像对5种模型进行试验测试，检测结果如图7所示，可以看

出PPYOLO-SE模型较准确的检测出了图中所有的麦穗头部，相对于其他网络错误较少，识别效果

较好，而PPYOLO及其他三种模型存在漏检、错检和重复检测情况。综合试验结果及网络模型评

估，PPYOLO-SE网络相较于PPYOLO检测精度提升了2.14%，达到了95.75%，相较于其它3种常

见的检测网络较高，检测速度为每张图像0.6s，因此，改进的PPYOLO-SE网络性能满足实时识别

要求。

图

7

各网络检测效果图

Fig.7Allnetworksdetectionresults

Copyright©博看网. All Rights Reserved.

第

5

期张震明等

:

基于深度学习的田间麦穗检测·

795

·

3结论

针对复杂背景下大田小麦麦穗检测识别和小麦估产问题，本研究构建了基于PPYOLO网络的

小麦麦穗检测模型，通过预处理和图像增强处理，对采集到的小麦图像进行数据集扩充，提高了麦

穗识别模型的准确性和鲁棒性。在PPYOLO网络的基础上添加了注意力机制SE模块得到

PPYOLO-SE网络，并使用大田小麦数据集进行了训练。结果表明，PPYOLO-SE网络构建的小麦麦

穗识别模型准确率达到了95.75%，相较PPYOLO网络构建的模型提高了2.14%，较其他几种网络

模型有明显提高；PPYOLO-SE模型的单张图像识别速度约为0.6s。

构建的PPYOLO-SE小麦检测模型虽在测试集上取得了较高的检测准确率，但使用的训练数据

集为小麦灌浆期采集的，小麦品种较为单一，模型在小麦其他生长时期或不同小麦品种的检测任务

中可能效果不佳。后期通过使用不同品种的小麦数据集训练可以使模型具有更高的适应性。在当前

研究中，利用植物冠层多光谱进行产量估计取得了较好效果，若将深度学习与小麦冠层多光谱图像

结合进行小麦估产，使用无人机代替人工采集图像，就可以实现大范围的小麦估产。

参考文献

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

李毅念

,

杜世伟

,

姚敏

,

等

.

基于小麦群体图像的田间麦穗计数及产量预测方法

[J].

农业工程学报

,2018,34(21):185-194

李易人.中外农业信息化发展问题比较研究[D].洛阳:河南科技大学,2014

郑远攀,李广阳,李晔.深度学习在图像识别中的应用研究综述[J].计算机工程与应用,2019,55(12):20-36

翁杨

,

曾睿

,

吴陈铭

,

等

.

基于深度学习的农业植物表型研究综述

[J].

中国科学

:

生命科学

,2019,49(6):698-716

SuD,KongH,QiaoY,gmentationfordeeplearningbasedsemanticsegmentationandcrop-weed

classificationinagriculturalrobotics[J].ComputersandElectronicsinAgriculture,2021,190:106418

JiangH,ZhangC,QiaoY,turebasedgraphconvolutionalnetworkforweedandcroprecognitionin

smartfarming[J].ComputersandElectronicsinAgriculture,2020,174:105450

XueT,QiaoY,KongH,-shotlearning-basedanimalvideosegmentation[J].IEEETransactionsonIndustrial

Informatics,2022,18(6):3799-3807

HasanMM,ChopinJP,LagaH,ionandanalysisofwheatspikesusingConvolutionalNeuralNetworks[J].

PlantMethods,2018,14(1):100

刘哲

,

黄文准

,

王利平

.

基于改进

K-means

聚类算法的大田麦穗自动计数

[J].

农业工程学报

,2019,35(3):174-181

2020,8:189043-189053

[11]

张领先

,

陈运强

,

李云霞

,

等

.

基于卷积神经网络的冬小麦麦穗检测计数系统

[J].

农业机械学报

,2019,50(3):144-150

[12]高云鹏.基于深度神经网络的大田小麦麦穗检测方法研究[D].北京:北京林业大学,2019

[13]鲍文霞,张鑫,胡根生,等.基于深度卷积神经网络的田间麦穗密度估计及计数[J].农业工程学报,2020,36(21):186-

193,323

[14]郝王丽,尉培岩,韩猛,等.基于YOLOv3网络的小麦麦穗检测及计数[J].湖北农业科学,2021,60(2):158-160,183

[15]马艳军,于佃海,吴甜,等.飞桨:源于产业实践的开源深度学习平台[J].数据与计算发展前沿,2019,1(5):105-115

[16]

朱张莉

,

饶元

,

吴渊

,

等

.

注意力机制在深度学习中的研究进展

[J].

中文信息学报

,2019,33(6):1-11

[17]HuJ,LiS,e-and-ExcitationNetworks[C].SaltLakeCityUSA:IEEE/CVFConferenceonComputer

VisionandPatternRecognition,2018:7132-7141

[10]HeMX,HaoP,tmethodforwheateardetectionusingUAVinnaturalscenes[J].IEEEAccess,

Copyright©博看网. All Rights Reserved.