草莓具有重要的经济价值，但在育种过程中评估众多种质资源的表型特征是一项费时费力的工作。以往的研究依赖于在单一实验室背景下手动采集图像，因此难以在复杂的田间环境中实现自动图像采集和精确分割。然而，植物器官的准确分割对于可靠的表型分析至关重要。在本研究中，我们在草莓的三个生长阶段（营养生长期、开花期和结果期）使用手机和安装在自主开发机器人上的高分辨率工业相机采集了草莓图像。接下来，我们设计了一种专门针对草莓植物的改进语义分割模型，命名为草莓分割模型（SSM），基于“Segment Anything”模型构建。为了解决样本分布不均的问题，我们增强了损失函数，并引入了结合类别权重的多损失方法，从而提高了检测性能。对比结果显示，SSM在手机图像集上达到了80.20%的平均交并比（mIoU），我们更新了机器人工业相机的模型，并在仅使用10%的新数据的情况下达到了75.81%的mIoU，在性能与成本之间取得了平衡。此外，我们通过对比受限自适应直方图均衡法减轻了不均匀光照的影响，并采用支持向量机模型对90个种质资源进行了分类，叶片和花朵的分类准确率为100%，果实的准确率为92.59%。总体而言，本研究引入了新型设备和自动表型分析方法，为育种研究提供了支持。
图1. 草莓种质资源及实验设计。(A) 各地种质资源分布及代表品种。(B) 中国各省种质资源分布及代表品种。(C) 试验地点及地理位置。(D) 草莓生长阶段：营养生长期、开花期、结果期。
图2. 图像采集平台和软件界面。(A) 图像采集系统及关键设备：表型采集机器人、工业相机和远程控制。(B) 基于Ubuntu的图形用户交互软件，包含实时图像显示模块、自动相机设置、手动相机设置、相机控制按钮以及图像质量调整设置。用户可以自定义设置并查看必要的参数信息。
图3 数据集的预处理。(A) 数据集构建过程，包括图像裁剪、数据清理和标注。(B) 构建的数据集包含两部分：图片和掩膜，分为四类，0代表背景，1代表叶片，2代表花朵，3代表草莓果实。
图4草莓分割模型（SSM）结构。(A) SSM结构概览。(B) SSM结构细节
图5 表型特征提取流程图。
图6. SSM与几种经典语义分割模型的性能对比。
图7. 在机器人上采集的不同条件下模型的分割结果。样本1显示正常状态，图像清晰度良好。样本2显示机器人抖动时拍摄的图像。样本3显示工业相机白平衡不足的图像。样本4显示环境光不足的图像。
图8. 原始图像与经过CLAHE算法处理的图像对比。(A) 样本1：阴天弱光环境；样本2：傍晚低色温环境。(B) CLAHE算法处理前后箱线图的对比。
图9 颜色特征提取预处理结果及最终分类结果。(A) 依次表示SSM模型对叶色、花色和果色分类结果的归一化混淆矩阵。(B) 展示在R、G、B三维空间中品种的有效分类，椭球体表示95.9%置信区间的三维间隔。每个点代表一个品种，共90个。注意：需要特别说明的是，这些分类特定于本研究中分析的90个品种，可能未涵盖根据国家标准的所有可能颜色。本研究种质资源中未观察到的颜色未被单独考虑。
Yang N, Huang Z, He Y, et al. Detection of color phenotype in strawberry germplasm resources based on field robot and semantic segmentation[J]. Computers and Electronics in Agriculture, 2024, 226: 109464.
https://doi.org/10.1016/j.compag.2024.109464
编辑
小王博士在努力
扩展阅读
