面向番茄植株相近色目标识别的多波段图像融合方法

　　摘要: 针对温室番茄智能化管理需要，研究茎秆、叶片和绿果等3类相近色目标的多波段图像融合方法，以凸显目标与背景亮度差异，提高目标视觉识别效率。根据其各自在300~1000 nm范围的反射光谱特征差异，建立了针对其光谱数据分类的Lasso正则化逻辑回归模型。基于模型的稀疏解特征，确定具有较大权值系数的450、600和900 nm等3个波段作为最优成像波段，在此基础上构建了温室番茄植株多波段图像在线采集系统。结合最优成像波段下相近色目标图像特征分析，提出了基于NSGA-II的多波段图像加权融合方法，以增强特定目标与近色背景物体的图像亮度差异。最后通过现场试验对多波段图像融合效果进行评估。结果表明，分别以茎秆、叶片和绿果器官作为识别目标，通过多波段图像融合处理后，目标与背景之间的图像灰度差异绝对差值相应达到单波段图像的2.02、8.63和7.89倍，即被识别目标与其他近色背景的亮度差异显著增强，且背景物的亮度波动得到抑制。本研究结果可以为农业环境近色目标视觉识别相关研究提供参考。

　　关键词: 农业机器人；番茄植株；相近色目标；光谱特征；图像融合;NSGA-II

　　1 引 言

　　中国是番茄生产和消费大国，种植面积达105万公顷[1]，人均年消费量约21 kg[2]。近年来随着劳动力成本上涨，番茄种植管理的雇工费用已上涨至总生产成本比例约45%[3]，人力成本过高已成为限制番茄种植效益增长的客观因素。鉴于机器人在智能探测和复杂操作方面的独特优势，针对温室番茄采摘、整枝、授粉以及喷药等劳动密集、操作复杂的种植管理环节，研发能够代替人工作业的农业机器人，是从工程技术角度应对当前形势的有效途径[4,5]。准确获取作业对象的视觉特征是机器人智能化作业的必要前提。对于不同管理环节，番茄植株茎、叶和果既可能是作业对象，也可能是背景干扰。然而温室内植株丛生密布、杂乱无序，且番茄茎、叶和绿果为相近色器官，基于宽泛的可见光图像信息，难以实现植株特定对象的准确识别。

　　2 番茄相近色器官光谱特性分析

　　2.1　茎、叶、果光谱特性测量

　　鉴于当前主流工业摄像机的敏感波段为300~1000 nm，本研究重点针对该波段区间内番茄茎、叶、果的反射光谱特征进行采集和分析。如图1所示光谱数据采集系统，其中光谱信息采集单元选用Ocean Optics公司QE65 Pro光谱仪，其测量光谱范围为185~1100 nm，分辨率为0.8 nm，搭配Ocean Optics公司HL-2000型卤钨光源作为辐射源，其光谱范围360~2400 nm。采集系统安装于暗箱内，以减少外界杂光干扰。测量过程中通过光纤探头支架调节探头安装高度，其与被测对象保持恒定距离，克服探测距离差异引起的光谱反射强度测量误差。

　　2.2　基于LR-Lasso的最优成像波段选择

　　量化描述不同波段对于区别番茄相近色系器官的重要性，是获得最优成像波段的必要前提。以番茄茎、叶和绿果样本的光谱特性测量结果为数据集，针对3类样本的二分类逻辑回归模型（Logistic Regression，LR）表示为式（1）。

　　3 温室番茄植株图像在线采集

　　3.1　多波段图像采集系统

　　为了获取番茄植株相近色器官在最优成像波段区间成像信息，设计了多波段图像采集视觉系统，如图4所示。选用acA1300-60 gmNIR摄像机（Basler公司）为成像单元，其敏感波段为300~1000 nm。摄像机镜头前加装±20 nm带通滤光片（浙江光益科技），其中心波长与选定的成像波段相对应，分别为450、600、900以及950 nm，带宽±20 nm。滤光片呈圆周阵列分别安装于Edmund 56-658型滤光片转轮内。通过旋转转轮可以切换摄像机镜头前的滤光片，以采集不同波段的图像。光源选用200 W卤素灯，在摄像机视场形成5000 lx辐射强度，以克服实验环境光照波动的影响。

　　3.2　图像灰度补偿矫正

　　由于在同一光源辐射环境下，不同波段的光照强度各不相同，且摄像机成像芯片对不同波段的敏感程度也不同，为了使得图像亮度与目标光谱反射强度相对应，需要采集的不同波段图像进行亮度矫正[17]。本研究利用D65（白色）标准色板作为参照，近似认为其对各成像波段具有相同的反射特性。标准色板可由机械装置推送进入靠近番茄植株的摄像机视场特定位置。通过触发采集方式，摄像机对于同一波段下番茄植株和标准色板各采集一幅图像，且采集过程中摄像机曝光参数保持不变。鉴于摄像机在可见光波段具有较强感光性能，以600 nm图像中色板灰度为参考亮度。

　　参考文献

　　[1] 董文阁, 董莉, 刘念, 等. 日光温室番茄套作菜豆接番茄茬口高效栽培模式[J]. 辽宁农业科学, 2018(5): 89-90.DONG W, DONG L, LIU N, et al. Efficient cultivation mode of planting string beans with tomato stubble in solar greenhouse[J]. Liaoning Agricultural Science, 2018(5): 89-90.

　　[2] 范琳, 陆学文, 沈建新. 江苏省设施番茄成本收益研究[J]. 江苏农业科学, 2014(9): 478-481.FAN L, LU X, SHEN J. Study on the cost and benefit of facility tomato in Jiangsu province[J]. Jiangsu Agricultural Science, 2014(9): 478-481.

　　[3] 黄文江, 师越, 董莹莹, 等. 作物病虫害遥感监测研究进展与展望[J]. 智慧农业, 2019, 1(4): 1-11.HUANG W, SHI Y, DONG Y, et al. Progress and prospects of crop diseases and pests monitoring by remote sensing [J]. Smart Agriculture, 2019, 1(4): 1-11.

　　作者冯青春 1,2, 陈建 2, 成伟 3,4, 王秀 1,3*

《面向番茄植株相近色目标识别的多波段图像融合方法》

上一篇：考虑日光温室空间异质性的黄瓜叶片湿润时间估算模型研究

下一篇：基于植株需光差异特性的设施黄瓜立体光环境智能调控系统