绿色分数（Green fraction）、绿色面积指数（green area index）等结构性状是反映作物冠层光合作用潜力的重要指示因子，在田间表型育种中尤为关键。基于地面或空中影像估算这些结构性状的首要环节为植被分割。现有的深度学习模型难以同时满足地面和空中不同平台所获取的不同分辨率图像的高精度和强鲁棒性植被分割，而且不同数据间的水稻结构、光照条件、背景条件等存在很大差异，缺乏跨分辨率的通用植被分割模型。
近日，ISPRS Journal of Photogrammetry and Remote Sensing期刊在线发表了南京农业大学前沿交叉研究院PheniX实验室刘守阳教授团队的研究论文：Bridging Real and Simulated Data for Cross-Spatial Resolution Vegetation Segmentation with Application to Rice Crops （基于“虚实结合”数据的跨分辨率通用水稻分割模型及结构性状估算应用）。该研究基于图像渲染与域迁移技术，自动化仿真了水稻各种生育期与环境条件下（如光照、背景等）的多种空间分辨率的RGB图像，并结合全球主要水稻产区的多分辨率真实影像，训练了跨分辨率的通用型水稻分割模型 （https://github.com/PheniX-Lab/crossGSD-seg）（图1），并评估了分割精度对冠层绿色分数、绿色叶面积指数等结构性状估算的影响。
图1 跨分辨率水稻图像通用分割模型的训练与预测应用技术路线
该研究利用前期研发的数字植物表型平台（Digital Plant Phenotyping Platform, D3P）渲染了各种水稻生育期的多种分辨率的RGB影像并生产了对应的标签数据。鉴于其逼真度较弱，我们利用CycleGAN域迁移技术风格迁移得到最终的仿真影像（sim2real）（图2）。我们发现单一sim2real数据所训练的Segformer模型应用至真实图像（real）分割时，预测精度相对较低，为增强模型在真实图像上的迁移效果，我们使用部分人工标注的全球5个水稻主产国家14个地区的真实水稻图像进行微调，最终训练了跨分辨率的通用型水稻分割模型。
图2 不同平台和不同绿色分数（Green fraction, GF）下的真实(real)，模拟(sim)，仿真(sim2real)水稻RGB图像
结果表明，使用包含9600张sim2real图像与60张real图像的训练集，可以得到与使用2400张real图像训练的模型相同的分割精度（IoU=0.819，F1=0.901）（图3），这证明仿真图像生成技术能够显著减少制作训练集的人工成本。此外，结合2400张real图像和1200张sim2real图像，模型在分割包含镜面反射和阴影等六种具有挑战性场景的跨空间分辨率图像表现最佳（图4）。最后，与单一图像来源训练的模型以及已有的单一分辨率图像训练的模型（如VegANN）相比，虚实结合的策略训练的模型提高了绿色分数估算的精度，尤其在绿色分数大于0.5的密集冠层上优势显著（图5），此外对于绿色叶面积指数的精度也有较好提升作用。
图3 不同real与sim2real图像数量组合下所训练的深度学习模型的像素级精度指标的比较（左：IoU，右：F1-score）
图4 对比了公开的VegANN模型与三个训练的SegFormer模型在水稻分割中的表现。这三个SegFormer模型分别由2400张real图像、9600张sim2real图像、2400张real图像与9600张sim2real图像的混合数据训练得到。GT为人工标注的真实标签。红框标出了关键关注区域。
图5 应用图像分割模型估算的绿色分数（GF）的精度评估。基于四个模型：（A）VegANN模型；（B）使用9600张sim2real图像训练的SegFormer模型；（C）使用2400张real图像训练的SegFormer模型；（D）使用1200张sim2real图像和2400张real图像训练的SegFormer模型。
南京农业大学前沿交叉研究院、教育部植物表型工程中心、中法植物表型联合实验室PheniX Lab博士研究生高杨明睿与北京林业大学李林源副教授为本文共同第一作者，南京农业大学刘守阳教授为本文通讯作者。法国国家农业食品与环境研究院Marie Weiss研究员、Frédéric Baret研究员、东京大学郭威副教授、华中科技大学陆昊副教授参与了本研究。相关工作得到了“十四五”重点研发计划、科技部政府间国际科技创新合作重点专项、国家自然科学基金等项目的资助。
