2024年5月3日发(作者:)
第42卷 第4期
7月2023年
华中农业大学学报
Journal of Huazhong Agricultural University
Vol.42 No.4
July 2023,262~269
陈仁凡,谢知,林晨.基于YOLO-ODM的温室草莓成熟度的快速检测[J].华中农业大学学报,2023,42(4):262‐269.
DOI:10.13300/.2023.04.030
基于YOLO-ODM的温室草莓成熟度的快速检测
2
陈仁凡
1
,谢知
1,
,林晨
1
1.福建农林大学机电工程学院,福州 350002; 2.福建省农业信息感知技术重点实验室,福州 350002
摘要 为解决温室环境下草莓果实快速准确识别问题,提出一种基于改进YOLOv5s的草莓成熟度检测方
法。在主干中引入Shuffle_Block作为特征提取网络,从而实现模型轻量化。同时,在颈部结构中使用全维度动
态卷积模块(omni-dimensional dynamic convolution, ODConv),以提高网络对草莓目标的信息挖掘能力,降低计
算量,并进一步实现轻量化。结果显示,改进后的YOLO-ODM(YOLO with ODConv module)模型的平均精度
均值达97.4%,模型体积是7.79 Mb,在GPU上的单张平均检测时间仅11 ms,浮点运算量为6.9×10
9
。与原网
络相比,轻量化的YOLO-ODM方法在提高检测精度的同时,模型大小缩减43%,浮点运算量降低52%。以上
结果表明,该轻量化方法可快速准确地对温室环境下草莓果实的成熟度进行检测,实现草莓的生长状态监测。
关键词 草莓; 成熟度; 目标检测; YOLOv5s; Shuffle_Block; 精准识别
中图分类号 TP391.4 文献标识码 A 文章编号 1000-2421(2023)04-0262-08
草莓(Fragaria ananassa Duch.)是一种经济价值
和营养价值较高的小浆果
[1]
。据联合国粮食及农业
组织的统计数据库(https:///faostat/
zh/#data/QCL),中国是全世界草莓种植面积最大的
国家,其2021年种植面积高达129 046 hm
2
。由于草
草莓进行生长期观察或采摘都费时费力。目前,随
着我国草莓智能化产业逐渐壮大,发展具有高准确
率的果实成熟度检测系统对于确定成熟度不同的果
实分布区域,草莓生长的自动化监测以及果实采摘
都具有重要意义。
传统的草莓识别方法是先获取草莓样本的物理
特征,或者结合光谱成像、电子鼻、激光诱导荧光和
生物阻抗数据等,再使用机器学习的方法进行模式
识别
[2-4]
。Raj等
[5]
使用支持向量机结合全光谱图像
作为输入研究草莓成熟度分类,准确率超过98%,但
没有全光谱数据的情况下,准确率较低。Ibba等
[6]
使
用草莓的生物阻抗数据训练机器学习分类器并取得
较好成果,但生物阻抗数据获取过程复杂。Shao
等
[7]
采集草莓3个成熟阶段的高光谱图,结合最小二
乘支持向量机和竞争性自适应重加权采样进行成熟
度评估,缺点是室外评估准确率较低。上述方法受
收稿日期: 2023 ‐ 02 ‐ 17
基金项目:福建省自然科学基金项目(2019J01403)
陈仁凡,E-mail:****************
通信作者: 谢知,E-mail:***********.cn
制于传统机器视觉的限制,且草莓的特征提取繁琐,
易受环境变化的影响,导致其检测效率低下,鲁棒性
和泛化能力较差。
近年来,随着深度学习在农作物检测中的兴起,
传统基于特征提取的识别方法正逐步淘汰。常见的
[8][9]
深度学习目标检测方法有R-CNN、SSD、Reti‐
[10][11]
naNet
和YOLO系列网络,目前大量的研究者
莓果实一般较小且密集,常有枝叶遮挡,传统人工对
将深度学习应用于水果识别和定位中。Fan等
[12]
针
对草莓全天候采摘和夜间采集图像光照度低的问
题,提出了一种暗通道增强算法来实现草莓成熟度
检测。Su等
[13]
使用MobileNetv1作为YOLOv3的主
干网络并结合SE模块,对番茄成熟度进行分类,其
性能优于其他网络。黄彤镔等
[14]
在YOLOv5中引入
注意力机制,采用α-IoU损失函数,实现在自然环境
下柑橘果实的实时监测。但深度学习的模型较大,
计算成本高昂。
为解决上述问题,本研究提出一种轻量化的基
于YOLO-ODM的草莓成熟度检测方法,在主干中
引入Shuffle_Block作为特征提取网络,并在颈部结
构中使用全维度动态卷积模块ODConv,以提高网络
对草莓目标的信息挖掘能力,降低计算量,充分实现
模型轻量化,旨在为温室大棚中草莓生长监测、果实
Copyright©博看网. All Rights Reserved.
第4期
陈仁凡 等:基于YOLO-ODM的温室草莓成熟度的快速检测
263
成熟度的快速准确识别提供技术支持。
1 材料与方法
1.1 数据及制作
草莓数据集获取于百度飞浆AI Studio的公共
数据集,下载网址为https:///aist‐
udio/datasetdetail/147119。根据试验需求将公共数
据集的json格式转化为txt格式。再使用labelImg
工具对草莓果实的标注信息进行检查和校正。该
草莓数据集拍摄于温室大棚内,包含3 100张图片,
按照8∶1∶1的比例将数据集划分为训练集(2 480
张)、验证集(310张)和测试集(310张)。草莓数据
集包含未成熟、半成熟和成熟草莓3种样本,分别
为10 880、2 408和2 835个。数据集的基本信息如
表1所示。
表1 草莓成熟度数据集基本信息
Table 1 Strawberry ripeness data set basic information
数据集
Data set
训练集 Training set
验证集 Validation set
测试集 Test set
合计 Total
图像
Images
2 480
310
310
3 100
未成熟
Immaturity
8 806
1 017
1 057
10 880
半成熟
Medium
1 916
241
251
2 408
成熟
Maturity
2 246
294
295
2 835
图1 YOLOv5s网络结构
Fig.1 YOLOv5s network structure
M为输入通道数,N为卷积核个数。由此可见,深度
可分离卷积可以大幅降低计算量。
ShuffleNetv1提出了通道重排技术,通道重排技
术将特征图中的通道按照一定规则分成若干组,然
后将每组中的元素重新排列,从而增加通道之间的
信息交互和融合能力,增加模型的非线性表达能力。
ShuffleNetv2增加了通道划分(channel split)操作,将
输入通道划分为2组,然后对其中1组进行卷积操
作,从而减少了计算量和模型参数。
使用的Shuffle_Block如图2所示。左侧图为
Stride=1的特征提取操作,输出通道数和特征图尺
寸不变;右侧图为Stride=2的下采样操作,输出通道
数翻倍,特征图尺寸减半。通过Shuffle_Block搭建
的YOLO主干网络结构如表2所示。
2)全维度动态卷积(
ODConv)
。使用ODConv
替换PANet中的常规卷积以获取充分的上下文信
息,从而使网络更加专注于草莓果实信息。
常规的卷积核不具备动态属性,其卷积核参数
固定不变。动态卷积可以根据输入的图片动态调整
卷积核参数,使得卷积核更加专注于目标信息。为
了充分利用动态卷积挖掘上下文线索的能力,引入
了1种全维度动态卷积
[17]
,该卷积不仅赋予卷积核
数动态属性,还关注了卷积的空间大小、输入通道数
1.2 YOLOv5s网络模型
为了实现草莓的快速准确定位和识别,必须同
时考虑实时性和准确性,因此,本研究选用权重文件
较小、推理速度较快、适合部署到边缘设备的YO‐
LOv5s作为基础网络。YOLOv5s由BackBone、Neck
和Head组成,其网络结构如图1所示。其中Back‐
Bone由一系列标准卷积CBS模块和C3模块以及
SPPF模块组成;Neck为路径聚合网络PANet,并融
合了主干中的3个不同尺度特征图(P3、P4、P5);
Head为检测网络Detection。
1.3 改进的草莓成熟度检测模型
1)模型轻量化。本研究使用ShuffleNetv2中的
模块(Shuffle_Block)替换YOLOv5s中的主干特征提
[15-16]
取网络。ShuffleNet引入了深度可分离卷积,深
度可分离卷积可以分解为逐深度卷积(Depthwise
convolution, DW)和逐点卷积(Pointwise convolu‐
tion, PW)。深度可分离卷积与普通卷积计算量的比
值如下:
22
D
2
F
·D
K
·M+D
F
·M·N
2
D
2
F
·D
K
·M·N
11
=+
2
N
D
K
(1)
其中,
D
F
为输入特征图尺寸,
D
K
为卷积核尺寸,和输出通道数。
Copyright©博看网. All Rights Reserved.
264
华中农业大学学报
表2 主干网络
Table 2 Backbone network
层
Layer
0
1
2
3
4
5
6
模块
Block
CBR
MaxPool
Shuffle_
Block
Shuffle_
Block
Shuffle_
Block
Shuffle_
Block
Shuffle_
Block
Shuffle_
Block
输出通道数
Output
channel
32
32
128
128
256
256
512
512
第42卷
特征图尺寸
步长输入到Neck
Feature
StrideInput into Neck
map size
320×320
160×160
80×80
80×80
40×40
40×40
20×20
20×20
2
2
2
1
2
1
2
1√
√
√
左侧图为s=1的特征提取操作;右侧图为s=2的下采样操作。
The left figure is the feature extraction operation with s= right
figure is the subsampling operation with s=2.
7
图2 Shuffle_Block结构
Fig.2 Shuffle_Block structure diagram
注:√”表示此处的输出特征图输入Neck。Note:"√" indicates
that the output feature map here is input into Neck.
常规卷积只有1个静态卷积核且与输入样本无
关,而传统的动态卷积核使用注意力机制将多个卷
积核动态加权再线性组合,普通动态卷积的计算如
式(2)所示。而全维度动态卷积关注于核空间的所
有维度,其计算如式(3)所示。
y=
(
α
w1
W
1
+···+α
wi
W
i
)
*x
α
wi
⨀α
fi
⨀α
ci
⨀α
si
⨀W
i
)*x
注意力标量(i=1,2,3,n),
⨀
代表沿核空间不同维
···
,
度的乘法运算。ODConv关注了核空间的4个维度
(核尺寸、输入通道数、输出通道数和核个数)。使用
了与SE注意力机制相同的计算方式,首先将输入x
通过全局平均池化(golbal average pooling, GAP)压
缩到与输入通道同长度的特征向量中,然后用全连
接层FC(fully connected layers, FC)将特征向量映射
到低维空间,再经过ReLU激活函数,并分别通过4
个FC层和Sigmoid激活函数或Softmax函数生成核
卷积的过程如图3所示。
(2)
(3)
y=(α
w1
⨀α
f1
⨀α
c1
⨀α
s1
⨀W
1
+···+
其中,
x
代表输入特征图,
y
代表输出特征图,
W
i
α
ci
和
α
fi
分别表示沿空间、输入通道和输出通道的
α
si
、
α
ci
、
α
fi
和
α
wi
。全维度动态
代表第
i
个卷积核,
α
wi
为第
i
个卷积核的注意力标量,
空间的4个注意力标量
α
si
、
图3 全维度动态卷积
Fig.3 Omni-dimensional dynamic convolution
3)损失函数。YOLO传统的边界框回归损失函
数是交并比损失(intersection over union,IoU),IoU
计算的是预测框(A)和真实框(B)的交叠率。IoU的
计算表达式如下:
IoU=
A∩B
A∪B
(4)
传统的IoU损失有2个缺点:第一,如果预测框
Copyright©博看网. All Rights Reserved.
第4期
陈仁凡 等:基于YOLO-ODM的温室草莓成熟度的快速检测
265
和真实框不相交,那么无法计算出2个框之间的真实
距离;第二,预测框和真实框的相交状态无法精确计
[18]
衡问题,引入Focal-EIoU损失,在EIoU的基础上
结合了Focal损失,从梯度的角度出发,把高质量和
算。为解决上述问题,一系列改进的IoU损失被提出,
低质量的锚框区分开以解决样本不平衡问题,Focal-
例如:GIoU、DIoU和CIoU等。YOLOv5s使用的IoU
EIoU的计算表达式如下:
损失函数为CIoU,CIoU损失考虑了预测框和真实框
的重叠面积、中心点距离和长宽比,但其描述的长宽
比仍有一定的模糊性,EIoU在CIoU的基础上拆开长
宽比并用长宽的差异值取代长宽比。EIoU损失由两
框之间重叠损失
L
IoU
、两框之间中心距离损失
L
dis
以
及两框之间宽和高损失
L
asp
组成。其公式为:
1-IoU+
ρb,b
gt2
L
Focal-EIoU
=IoU
γ
L
EIoU
(6)
其中,
γ
为控制异常值抑制程度的参数。
Focal-EIoU损失不仅考虑到预测框和真实框的
中心点距离、重叠面积和长宽的差异值,还考虑到边
界框回归中样本不平衡问题。因此,本研究使用Fo‐
cal-EIoU损失。
综合以上三方面的改进,本研究提出的草莓成
L
EIoU
=L
IoU
+L
dis
+L
asp
=
(
c
2
w
)
+
ρ(w,
2gt
)
c
2
w
+
ρ
2
h,h
gt
c
2
h
()
(5)
熟度检测模型YOLO-ODM如图4所示。该模型以
图1所示的YOLOv5s作为基础网络模型;使用Shuf‐
fle_Block替换主干特征提取网络以实现网络结构的
其中,
ρ
为2个框中心点之间的欧氏距离,
b
和
b
gt
分别代表预测框和真实框,
c
代表2个框的最小外接
使用ODConv模块替换PANet中的普通卷积
矩形的对角线长度,
w
和
h
分别代表预测框宽和高,
轻量化;
提高模型对
w
gt
和
h
gt
为真实框的宽和高,
c
w
和
c
h
是覆盖预测框和
模块来加强网络的上下文信息挖掘能力,
真实框的最小外接矩形的宽和高。
考虑到边界框的回归过程中存在正负样本不平
草莓果实的检测能力,同时也进一步降低模型运算
量;使用Focal-EIoU损失以解决样本不平衡问题。
图4 YOLO-ODM结构
Fig.4 Structure diagram YOLO-ODM
1.4 评价指标
所用模型的评价指标为精确率(precision,P)、召
回率(recall,R)、平均精度均值(mean of average pre‐
cision,P
mA
)、浮点运算量、模型大小、参数量和推理
Copyright©博看网. All Rights Reserved.
266
华中农业大学学报第42卷
速度。其中P
mA
基于Precision-Recall曲线得出,能够
全面评估算法的准确性和鲁棒性。计算公式如下:
P=
T
P
T
P
+F
P
(7)
(8)
(9)
和P
mA
也不断上升,最终3个评价指标在第20个Ep‐
och左右趋于平缓,但准确率和召回率均有较大幅度
波动;当模型训练到70个Epoch左右,波动开始减
弱,最终准确率和召回率分别达到92.1%和93.6%。
同时P
mA
在第40个Epoch左右已经达到收敛,最终的
P
mA
达到97.4%。由于使用了域内迁移学习,本实验
模型可在较短时间内达到收敛状态。
T
P
R=
T
P
+F
N
P
mA
=
∑
P
i=1
C
i,A
C
其中,T
P
表示真正例,F
P
表示假正例,F
N
表示假
负例,(average preci‐
P
i
,A
表示每个类别的平均精度
C
表示总类别数。sion),
1.5 实验环境及参数设置
本实验的硬件环境为Intel
®
core™ i5-12600K
3.7 GHz,NVIDIA GeForce RTX 3060和32 GB内
存,软件环境为Windows10操作系统,使用Py‐
torch1.11深度学习框架,结合CUDA11.3进行训练。
本研究采用SGD优化器进行优化,输入图像分
辨率为640像素×640像素,学习率为0.01,动量为
0.937,权重衰减为0.000 5,批尺寸为16,交并比为
0.5,使用YOLOv5s在草莓数据集上训练得到的权重
来进行迁移学习并训练100个轮次(Epoch)。
为避免试验中不同IoU阈值的干扰,设置IoU阈
值为0.5。YOLOv5s的先验框聚类中心是基于CO‐
CO数据集并用K-means算法聚类生成得到,直接使
用原有的先验框存在2个问题:第一,COCO数据集
包含的80种类别和本研究使用的草莓数据集截然不
同;第二,K-means算法生成的聚类中心有一定的随
机性,造成先验框与真实框匹配效果不佳。所以本
试验使用改进的K-means++算法重新聚类先验框
得到9个聚类中心,具体结果见表3。
表3 先验框和尺度匹配结果
Table 3 The prior bounding box and scale
matching results
尺度
Size
20×20
40×40
80×80
视野
View
大Large
中Middle
小Small
[87,99]
[58,98]
[22,31]
先验框
Anchor boxes
[93,164]
[60,60]
[36,45]
[117,216]
[73,133]
[42,72]
图5 模型收敛图
Fig.5 Model convergence diagram
2.2 消融试验
使用原始网络与改进的YOLO-ODM网络在本
试验草莓数据集上进行训练,消融试验结果见表4。
其中试验1为基线网络YOLOv5s,试验2~5为添加
了各种模块的网络。如表4所示,试验2使用了Shuf‐
fle_Block轻量化主干网络使浮点运算量大幅度降
低,但也伴随着召回率和P
mA
降低。试验3使用全维
度动态卷积后,模型的信息挖掘能力得到进一步提
升,使得模型更加关注草莓果实特征,准确率和P
mA
均超过基线网络,同时模型计算量也有所减少。试
验4在使用Focal-EIoU交并比损失函数后使得准确
率有所回升。试验5在K-means++算法对草莓先
验框重新聚类的前提下,3个评价指标均超过基线网
络,其中P
mA
提高0.4百分点。
试验2使用轻量化模块替换主干特征提取网络
后,P
mA
有所降低,原因是使用了轻量化的结构导致
模型复杂度降低,使得模型的拟合能力下降。通过
采用全维度动态卷积增强了模型的信息挖掘能力和
对草莓果实特征的关注力;同时使用Focal-EIoU缓
解了样本不平衡问题;进而使用K-means++算法对
先验框重新聚类以更加贴近草莓真实先验框。结果
率和P
mA
,还明显缩小了模型浮点运算量。
2 结果与分析
2.1 模型训练
随着训练Epoch不断进行,召回率上升最快,准确率
改进后的轻量化模型不仅提升了准确率、召回
模型训练过程中的评价指标变化如图5所示。
表明,
Copyright©博看网. All Rights Reserved.
第4期
陈仁凡 等:基于YOLO-ODM的温室草莓成熟度的快速检测
表4 不同网络的消融试验结果
Table 4 Ablation experiment results
267
基线网络
Baseline
序号
Order
1
2
主干
Shuffle_Block
—
√
√
√
√
全维度动态卷积
ODConv
—
—
√
√
√
Focal-
EIoU
—
—
—
√
√
K-
means++
—
—
—
—
√
准确率/%
P
91.2
93.8
92.9
93.1
92.1
召回率/%
R
93.5
90.5
93.4
92.8
93.6
平均精度均值/%
P
mA
97.0
96.8
97.2
97.2
97.4
浮点运算量/
(×10
9
)
FLOPs
14.4
8.0
6.9
6.9
6.9
YOLOv5s
3
4
5
注:使用改进用“√”表示,未使用改进用“—”表示。 Note: Improvements used are represented by "√", and improvements not used are rep‐
resented by "-".
2.3 不同检测模型的测试对比
选取各种流行的轻量级网络作为YOLOv5s的
主干网络进行对比测试,结果如表5所示。同时也将
改进模型与SSD、Faster R-CNN和YOLOv4-tiny进
行对比测试,结果如表 6所示。
表5 不同轻量级主干网络的测试对比
Table 5 Comparison of different lightweight backbone
networks
网络
Network
YOLOv5s
MobileNetv3
GhostNet
ShuffleNetv2
浮点运算量/(×10
)
FLOPs
14.4
7.1
6.6
8.0
9
中的模块(Shuffle_Block)搭建YOLOv5s的主干特征
提取网络。表6中一系列模型均固定输入图像尺寸
为640像素×640像素,其中SSD和Faster R-CNN
使用的主干网络分别为VGG16和ResNet50。测试
得到本模型的准确率、召回率和P
mA
分别为92.1%、
93.6%和97.4%,其中P
mA
高于其他网络,而模型浮
点运算量、体积和参数量均明显低于其他网络。
为验证YOLO-ODM模型在真实场景下草莓果
平均精度均
值/% P
mA
97.0
94.3
96.5
96.8
存储容量/Mb
Memory size
13.7
9.2
7.8
7.6
实的检测效果,分别选择高光、遮挡、小目标和密集
图像进行测试,如图6A~6D所示。为检验模型在更
加复杂的环境背景下的识别效果,使用了与本试验
数据集非同源的测试图,即图6E~6H。从图6可以
看出,该模型在高光、遮挡、小目标和密集等场景下
均有良好的识别效果。此外,在复杂背景下也能有
效识别草莓果实,充分证明该模型具有良好的鲁棒
性和泛化能力。
从表5可以看出,不同的轻量级网络在草莓数据
集上表现出不同的检测效果。ShuffleNetv2体积最
小且P
mA
值较高,因此,本模型选取了ShuffleNetv2
表6 不同模型的检测性能对比
Table 6 Test performance comparison table of different models
模型
Model
SSD(VGG)
Faster R-CNN(ResNet50)
YOLOv4-tiny
YOLOv5s
本研究 This study
精确率/% 召回率/%平均精度均值/% 浮点运算量/(×
PRP
mA
10
9
) FLOPs
89.34
73.90
88.66
91.20
92.10
92.47
93.18
90.63
93.50
93.60
96.64
94.90
93.89
97.00
97.40
137.2
20.1
8.1
14.4
6.9
存储容量/Mb
Memory size
91.60
108.00
22.40
13.70
7.79
检测时间/ms
Detection time
68.1
111.1
32.3
12.1
11.0
681.0
1 800.0
136.2
101.5
99.4
参数量/(×10
6
)
Parameter count
24.0
13.7
5.9
7.0
3.9
注:检测时间列的左右子列分别为在GPU和CPU上的检测情况。Note:The left and right subcolumns of the detection time are the detec‐
tion on the GPU and CPU, respectively.
3 讨论
状态,也可以和嵌入式草莓分拣系统相结合进行实
时草莓分类。以Shuffle_Block作为主干特征提取网
络使模型轻量化,用全维度动态卷积充分挖掘草莓
数据集的上下文信息,通过Focal-EIoU损失函数缓
解了草莓样本的不平衡问题,并使用K-means++算
针对温室环境下草莓果实的准确快速定位问
题,本研究提出1种改进的YOLO-ODM草莓成熟度
检测模型,可以结合监控摄像头实时监测草莓生长
Copyright©博看网. All Rights Reserved.
268
华中农业大学学报第42卷
A:高光目标 Highlight objects; B:遮挡目标 Occluded objects; C:小目标 Small objects; D:密集目标 Dense objects; E、F、G、H:与本试验
数据集非同源的目标 Non-homologous targets in the data set of this experiment.
图6 YOLO-ODM模型不同场景下的检测效果
Fig.6 YOLO-ODM model with different scene detection effects
法对草莓数据集的先验框进行重新聚类,提升预测
框的准确度。改进后的YOLO-ODM检测模型的
P
mA
为97.4%,在GPU上的单张平均检测时间为11
ms,浮点运算量为6.9
×10
9
,模型体积大小为7.79
Mb。相比于原始网络P
mA
提高0.4百分点,模型大小
缩减了43%,浮点运算量减少52%。试验结果表明,
在其他杂乱环境下,改进后的检测模型在满足高精
度识别草莓果实的同时,计算量大幅减少,提高了检
测效率和实时性,并且模型较小,有利于在实际应用
中的边缘设备上部署。与张小花等
[19]
的基于Effi‐
cientDet-D1的草莓检测模型(1 636张样本图,数据
集划分为未成熟和成熟2个类别,CPU平均检测时
间0.34 s)相比,本研究数据样本数量(3 100)更大,进
一步将数据集划分成未成熟、半成熟和成熟3个类
别,并且在CPU上的平均检测时间约为0.1 s。因
此,本研究模型的数据集划分更加科学,具有更强的
泛化能力和实时性。
由于本研究是在计算机上进行的,检测模型未
置于实际嵌入式设备上进行测试,所以真实环境中
可能会存在一定误差,后面还需将模型部署到移动
端设备,以完成真实场景下的草莓检测。下一步应
继续增加更多复杂背景以及其他场景下的草莓果实
图片,进一步加强训练和测试,以提升模型的泛用
性,更好地满足实际检测的需求。
lutional neural network[J].Transactions of the CSAM,2020,51
(2):237-244
(in Chinese with English abstract)
.
[2]
ZHAO Y S,GONG L,HUANG Y X,et tomato rec‐
ognition for robotic harvesting using feature images fusion[J/
OL].Sensors,2016,16(2):173[2023-02-17].https://pubmed.
/26840313/.DOI: 10.3390/s16020173.
[3]
宋凯,任晓哲.基于YCbCr色彩空间的玉米叶部病斑的图像分
割[J].农业工程学报,2008,24(S2): K,REN
X segmentation of disease speckle of corn leaf based on
YCbCr color space[J].Transactions of the CSAE,2008,24
(S2):202-205
(in Chinese with English abstract)
.
[4]
赵嘉玮.基于SVM算法的目标分类筛选方法研究[J].无线互
联科技,2022,19(23): J ch on straw‐
berry classification and screening method based on SVM algo‐
rithm[J].Wireless internet technology,2022,19(23):123-125
(in Chinese with English abstract)
.
[5]
RAJ R,COSGUN A,KULIĆ erry water content esti‐
mation and ripeness classification using hyperspectral sensing[J/
OL].Agronomy,2022,12(2):425[2023-02-17].https://doi.
org/10.3390/agronomy12020425.
[6]
IBBA P,TRONSTAD C,MOSCETTI R,et ised bi‐
nary classification methods for strawberry ripeness discrimination
from bioimpedance data [J].Scientific reports,2021,11(1):1-13.
[7]
SHAO Y Y,WANG Y X,XUAN G T,et ment of
strawberry ripeness using hyperspectral imaging [J].Analytical
letters,2020,54(10):1547-1560.
[8]
HE K M,GKIOXARI G,DOL
LÁR
P,et R-CNN
[C]//2017 IEEE International Conference on Computer Vi‐
sion Workshops(ICCV Workshops 2017),October 22-29,
2017,Venice, k: IEEE,2017:2961-2969.
参考文献 References
[1]
刘小刚,范诚,李加念,等.基于卷积神经网络的草莓识别方法
[J].农业机械学报,2020,51(2): X G,FAN C,
LI J N,et fcation method of strawberry based on convo‐
[9]
LIU W,ANGUELOV D,ERHAN D,et : Single shot
multibox detector[DB/OL].arXiv,2016:1512.02325
[2023-02-
17]
.https:///10.48550/arXiv.1512.02325.
Copyright©博看网. All Rights Reserved.
第4期
陈仁凡 等:基于YOLO-ODM的温室草莓成熟度的快速检测
269
[10]
LIN T Y,GOYAL P,GIRSHICK R,et loss for dense
[15]
ZHANG X Y,ZHOU X Y,LIN M X,et enet: An ex‐
object detection[DB/OL].arXiv,2018:1708.02002[2023-02-
17].https:///10.48550/arXiv.1708.02002.
tremely efficient convolutional neural network for mobile devic‐
es[DB/OL].arXiv,2017:1707.01083[2023-02-17].https://
/10.48550/arXiv.1707.01083.
Practical guidelines for efficient CNN architecture design[DB/
OL].arXiv,2018:1807.11164[2023-02-17].https:///
10.48550/arXiv.1807.11164.
[11]
BOCHKOVSKIY A,WANG C Y,LIAO H Y 4:
2020:2004.10934[2023-02-17].https:///10.48550/arX‐
iv.2004.10934.
optimal speed and accuracy of object detection[DB/OL].arXiv,
[16]
MA N N,ZHANG X Y,ZHENG H T,et enNet v2:
[12]
FAN Y C,ZHANG S Y,FENG K,et erry maturity
recognition algorithm combining dark channel enhancement and
YOLOv5[J/OL].Sensors,2022,22(2):419[2023-02-17].
https:///10.3390/s22020419.
[17]
LI C,ZHOU A J,YAO A -dimensional dynamic con‐
volution[C/OL]∥ICLR 2022 conference.[S.l.]: ICLR,2022
[2023-02-17].https:///forum?id=Dmp‐
Cfq6Mg39.
[13]
SU F,ZHAO Y P,WANG G H,et maturity classifi‐
cation based on SE-YOLOv3-MobileNetV1 network under na‐
ture greenhouse environment[J/OL].Agronomy,2022,12(7):
1638[2023-02-17].https:///10.3390/agrono‐
my12071638.
[18]
ZHANG Y F,REN W Q,ZHANG Z,et and efficient
IoU loss for accurate bounding box regression [J].Neurocomput‐
ing,2022,506:146-157.
[14]
黄彤镔,黄河清,李震,等.基于YOLOv5改进模型的柑橘果实
识别方法[J].华中农业大学学报,2022,41(4): 170-177.
HUANG T B,HUANG H Q,LI Z,et fruit recognition
method based on the improved model of YOLOv5[J].Journal of
Huazhong Agricultural University,2022,41(4):170-177
(in Chi‐
[19]
张小花,李浩林,李善军,等.基于EfficientDet-D1的草莓快速
检测及分类[J].华中农业大学学报,2022,41(6): 262-269.
ZHANG X H,LI H L,LI S J,et detection and classifi‐
cation of strawberries based on EfficientDet-D1[J].Journal of
Huazhong Agricultural University,2022,41(6):262-269
(in Chi‐
nese with English abstract)
.
nese with English abstract)
.
YOLO-ODM based rapid detection of strawberry
ripeness in greenhouse
CHEN Renfan
1
,XIE Zhi
1,2
,LIN Chen
1
e of Mechanical and Electronic Engineering,Fujian Agriculture and
Forestry University,Fuzhou 350002,China;
Province Key Laboratory of Agricultural Information Perception
Technology,Fuzhou 350002,China
Abstract An improved YOLOv5s-based method for rapidly detecting strawberry ripeness was pro‐
posed to solve the problem of rapid and accurate identification of strawberry fruits in greenhouse. The Shuf‐
fle_Block was introduced as a feature extraction network in the backbone to lightweight the ‐
while,the omni-dimensional dynamic convolution (ODConv) module was used in the neck structure to en‐
hance the information mining ability of model for strawberry targets,reduce computational complexity,and
further achieve results showed that the average precision of the improved YOLO-ODM
model reached 97.4%.The model size is 7.79 average detection time on the GPU is only 11 ms
per image,and the floating-point operations are 6.9×10
9
ed with the original network,the
lightweighted YOLO-ODM method improved the accuracy of detection while reducing model size by 43%
and floating-point operations by 52%.It is indicated that the lightweighted method can rapidly and accurate‐
ly detect the ripeness of strawberry fruit in greenhouse,monitor the growth status of strawberries.
Keywords strawberry; ripeness; object detection; YOLOv5s; Shuffle_Block; accurate identification
(责任编辑:赵琳琳)
Copyright©博看网. All Rights Reserved.
发布者:admin,转转请注明出处:http://www.yc00.com/web/1714698198a2497928.html
评论列表(0条)