Plant Phenomics | 利用Helios 3D植物和辐射传输建模框架模拟自动标注的可见光和多/高光谱图像

学术   三农   2024-10-30 13:41   江苏  

→查看原文   →查看PDF


在植物遥感和近程传感领域,深度学习和多模态技术被广泛用于分析作物性状。然而,许多深度学习模型依赖于标注的数据集,这些数据集的获取往往耗时耗力。


2024年5月,Plant Phenomics在线发表了University of California, Davis题为Simulation of Automatically Annotated Visible and Multi-/Hyperspectral Images Using the Helios 3D Plant and Radiative Transfer Modeling Framework的研究论文。


为了应对这一挑战,本文提出了基于Helios 3D植物建模软件的辐射传输框架。该框架可以模拟RGB、多/高光谱、热成像和深度相机,生成附带参考标注的植物图像,例如植物的物理特征、叶片的化学浓度及生理特性。

图1 合成图像生成框架的示


图1是合成图像生成框架的示意图。基于光线跟踪的相机模型用于模拟从光源(例如太阳和LED光)发射并被场景中的物体散射后到达相机的辐射传播。指定辐射源通量、物体反射率和透射率以及相机响应的光谱分布,以定义辐射如何与物体表面和相机传感器相互作用。基于prospect的叶片光学模型可以根据用户指定的叶片化学浓度生成叶片光学性质。最后,模拟相机生成可以任意自动注释的结果图像。

图2 基于薄透镜模型的基于光线跟踪的相机模拟方法示意图


图2是基于薄透镜模型的基于光线跟踪的相机模拟方法示意图。右图:基于Bailey的模型,使用反向射线追踪方法对每个叶片表面单元(黑色实体框)进行辐射源采样,以确定散射辐射通量。左图:相机模型在镜头上随机采样,发射穿过焦平面的射线,查询所碰到的表面元素的散射辐射通量和唯一标识符。

图3 豆类植物的示例注释合成图像

图3是豆类植物的示例注释合成图像。(A) 叶片叶绿素浓度分布图(色标单位为μg/cm2, (B) 合成RGB图像,(C) 植物分割图,(D) 净光合作用分布图(色标单位为μmol m-2s-1。相机焦平面距离为1.35m, HFOV为11.5°,镜头直径为0.02 m。豆叶分割的示例应用初步证明,合成图像可以直接作为高通量植物表型图像设计的机器学习模型的输入,以改进模型训练。研究还表明,该模型可以完全基于合成图像进行训练,并且在应用于真实图像时表现良好。


该研究的主要创新点在于开发了一种基于物理的模拟环境,能够生成包含光学和几何标注的高质量合成植物图像。研究表明,这一方法能够减少对手工标注数据的依赖,并通过合成图像训练深度学习模型,进行无监督学习。文中展示了该模型在豆叶检测和草莓果实检测中的应用,验证了其在高通量植物表型分析中的有效性。

文链接:

https://doi.org/10.34133/plantphenomics.0189‍


——推荐阅读——

Maximizing the Radiation Use Efficiency by Matching the Leaf Area and Leaf Nitrogen Vertical Distributions in a Maize Canopy: A Simulation Study

https://doi.org/10.34133/plantphenomics.0217

Plant Phenomics | 北京市农林科学院基于冠层光合作用模型刻画出玉米高光效理想株型


Time-Series Field Phenotyping of Soybean Growth Analysis Combining Multimodal Deep Learning and Dynamic Modelling

https://doi.org/10.34133/plantphenomics.0158

Plant Phenomics | 中科院东北地理与农业生态研究所利用多模态深度学习和动态系统建模基于长势的田间大豆种质资源鉴定



加入作者交流群

扫码添加小编微信,拉您进入《植物表型组学》作者交流群,群内不定期开展作者分享会、专刊发布会等高质量活动。


添加小编微信,备注姓名+单位+PP,加入作者交流群

About Plant Phenomics

《植物表型组学》(Plant Phenomics)是由南京农业大学创办的英文学术期刊,于2019年1月正式上线发行。采用开放获取形式,刊载植物表型组学交叉学科热点领域具有突破性科研进展的原创性研究论文、综述、数据集和观点。具体范围涵盖高通量表型分析的最新技术,基于图像分析和机器学习的表型分析研究,提取表型信息的新算法,作物栽培、植物育种和农业实践中的表型组学新应用,与植物表型相结合的分子生物学、植物生理学、统计学、作物模型和其他组学研究,表型组学相关的植物生物学等。期刊已被DOAJScopusPMCEISCIE等数据库收录。科睿唯安JCR2022影响因子为7.6,位于农艺学一区(1/125名),植物科学一区(13/265名),遥感一区(6/62名)。2023年中科院期刊分区位于农林科学大类一区2020年入选中国科技期刊卓越行动计划高起点新刊项目、2024年入选江苏科技期刊卓越行动计划领军期刊项目。


说明:本文由《植物表型组学》编辑部负责组稿。

中文内容仅供参考,一切内容以英文原版为准。

撰稿赵毅(南京农业大学)
编辑排版:王平、赵倩莹(中国科学院大学)

审核:尹欢、孔敏

点击下方“阅读原文查看英文原文

植物表型组学
《植物表型组学》(Plant Phenomics)是南京农业大学主办的英文学术期刊,刊载植物表型组学交叉学科热点领域具有突破性科研进展的原创性研究论文、综述、数据集和观点。
 最新文章