基于轻量级无锚点深度卷积神经网络的树上苹果检测模型

　　摘要: 为提高现有苹果目标检测模型在硬件资源受限制条件下的性能和适应性，实现在保持较高检测精度的同时，减轻模型计算量，降低检测耗时，减少模型计算和存储资源占用的目的，本研究通过改进轻量级的MobileNetV3网络，结合关键点预测的目标检测网络（CenterNet），构建了用于苹果检测的轻量级无锚点深度学习网络模型（M-CenterNet），并通过与CenterNet和单次多重检测器（Single Shot Multibox Detector，SSD）网络比较了模型的检测精度、模型容量和运行速度等方面的综合性能。对模型的测试结果表明，本研究模型的平均精度、误检率和漏检率分别为88.9%、10.9%和5.8%；模型体积和帧率分别为14.2MB和8.1fps；在不同光照方向、不同远近距离、不同受遮挡程度和不同果实数量等条件下有较好的果实检测效果和适应能力。在检测精度相当的情况下，所提网络模型体积仅为CenterNet网络的1/4；相比于SSD网络，所提网络模型的AP提升了3.9%，模型体积降低了84.3%；本网络模型在CPU环境中的运行速度比CenterNet和SSD网络提高了近1倍。研究结果可为非结构环境下果园作业平台的轻量化果实目标检测模型研究提供新的思路。

　　关键词: 机器视觉；深度学习；轻量级网络；无锚点；苹果检测

　　1 引言

　　智能化栽培和机器化作业是可持续果业发展的有效途径，有利于降低经济和环境成本，提高果园生产率[1,2]。在果园自然环境下，高性能的视觉感知系统是自动化栽培平台进行果实作业的前提和关键，能否快速、准确地检测到果实目标直接影响着果园自动化栽培平台的果实作业效率[3]。

　　2 材料与方法

　　2.1　图像数据获取与处理

　　试验图像数据的采集地点位于中国辽宁省兴城市的苹果园。数据采集设备为手持式数码相机，采集时间为8:00-17:00，在晴朗和多云天气条件下共采集1455幅苹果图像。在采集过程中，相机镜头与果树列平行，并与果树保持50cm左右的距离，该距离利于果园作业平台找到合适的目标搜索区域，方便其高效地完成任务。采集图像的像素分辨率为5472×3648，为减轻计算负担，将采集图像的像素分辨率调整为750×500。同时，运用自主开发的标注工具对所有图像中的苹果进行逐一标注，获取并记录图像中每个苹果标注框的坐标信息，即标注框的左上角和右下角两个点的x、y坐标信息。

　　2.2　CenterNet网络

　　CenterNet网络[32]是目前性能最好、最有效的无锚点目标检测网络之一。无锚点目标检测网络中，无论是CornerNet网络将边框两个角点作为检测关键点，还是ExtremeNet算法需要检测出目标的最上、最下、最左、最右和中心五个点，都需要在检测出关键点后对其分组，而这些操作无疑会降低算法整体速度。CenterNet网络提供了一种更为简洁的思路，即通过一个点来定位待检测目标。其网络结构如图1所示。

　　3 试验结果与分析

　　3.1　试验软硬件环境

　　本研究试验运用深度学习框架进行模型训练和测试，因此选用图形工作站作为硬件平台，硬件配置为Intel Core i7-7700 CPU处理器，32GB内存，NVIDIA TITAN Xp型GPU显卡（16GB），操作系统为Linux Ubuntu 16.04，并行计算框架为CUDA 10.0，深度神经网络加速库为CUDNN 7.5，使用python编程语言在Pytorch 1.0深度学习框架下实现本文网络模型的构建、训练和验证。

　　3.2　模型训练

　　网络模型在带有GPU的硬件环境下进行训练，以提高模型训练的收敛速度。采用带动量因子（Momentum）的小批量（Mini-batch）随机梯度下降法（Stochastic Gradient Descent，SGD）来训练网络。其中，每一批量图像样本数量（Batch size）设置为16，动量因子设为固定值0.9，权值衰减（Decay）为5×10-4。权重的初始化会影响网络训练的收敛速度，因此本试验中采用均值为0、标准偏差为0.001的高斯分布对网络每一层的权重进行随机初始化。所有卷积层和反向卷积层的偏置（Bias）值均初始化为0。对网络中的所有层采用相同的学习速率，初始学习速率（Learning Rate）设为1.25×10-4，训练过程中，当验证集的检测精度停止增加时，则使用余弦退火（Cosine Annealing）的方式将学习速率降低为当前学习速率的10%，直到通过调整学习速率不再提高验证集的检测精度为止。同时，使用在线数据增强的方法对数据进行光度扭曲和随机抽样。

　　3.2　试验结果与性能评价

　　3.2.1　试验结果

　　在果园作业平台实际工作中，平台移动会使图像采集环境发生变化。因此，试验分别选取测试集中不同光照方向、不同远近距离、不同遮挡程度和不同果实数量的苹果图像送入训练好的网络模型，对图像中的树上苹果进行自动检测并记录结果，以评价网络模型在不同条件下的检测能力。

　　果园中光照的变化会产生图像欠曝光或过曝光的现象，使图像中的果实偏暗或过亮。试验发现，本研究网络模型对不同光照条件下的苹果检测有较好的鲁棒性，如图7所示。

　　模型中的深度卷积神经网络具有较强的特征提取能力，能够根据不同苹果图像，自主提取不同特点的特征进行学习，从而克服因光照变化导致的过暗或过亮苹果目标无法较好检测的问题。

　　参考文献

　　[1] Kang H, Chen C. Fruit detection and segmentation for apple harvesting using visual sensor in orchards[J]. Sensors, 2019, 19(20): 4599-4614.

　　[2] 王丹丹, 何东健. 基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别[J]. 农业工程学报, 2019, 35(3): 156-163.

　　Wang D, He D. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the CSAE, 2019, 35(3): 156-163.

　　[3] 赵德安， 吴任迪， 刘晓洋，等. 基于YOLO深度卷积神经网络的复杂背景下机器人采摘苹果定位[J]. 农业工程学报, 2019, 35(3): 164-173.

　　Zhao D, Wu R, Liu X, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the CSAE, 2019, 35(3): 164-173.

　　作者夏雪 1,2, 孙琦鑫 1,2, 侍啸 1,2, 柴秀娟 1,2*

《基于轻量级无锚点深度卷积神经网络的树上苹果检测模型》

上一篇：用于作物表型信息边缘计算采集的认知无线传感器网络分簇路由算法

下一篇：学习西兰花表型快速提取方法研究