【论文精选】SoybeanNet:基于 Transformer 的CNN,基于UAV图像对大豆豆荚进行计数

文摘   科技   2024-12-01 15:36   美国  

【微信群】智慧农业交流群🌽

该公众号免费宣传:招生/招聘等信息,联系即可!


标题:

SoybeanNet: Transformer-based convolutional neural network for soybean pod counting from Unmanned Aerial Vehicle (UAV) images

第一作者 :Jiajia Li

美国密歇根州立大学

第二作者 :Raju Thada Magar

美国密歇根州立大学

通讯作者:Zhaojian Li

美国密歇根州立大学

🛰️🛩️🌱🌱🌱🌱🌱🌱🌱🌱🌱🧠💻

图文摘要

研究背景
  • 早期决策通过大豆荚计数可以在种植早期或中期预测最终产量,帮助农民优化施肥、灌溉等农业管理策
  • 目前大豆荚的计数算法主要集中在人工控制环境,缺乏在真实田间条件下的高效解决方案。
  • 通过大豆荚计数可以在种植早期或中期预测最终产量,帮助农民优化施肥、灌溉等农业管理策略。
研究目标:
  • 建立一个高效且准确的大豆荚计数框架,能够同时进行计数和定位。
  • 采集并开源首个基于无人机的大豆荚点标注数据集。
  • 通过与当前最先进方法的对比,验证模型的实际适用性和鲁棒性。

研究方法:

  • 无人机(DJI Mavic2)在13英尺高度和53-58度角下拍摄113张田间图像。
  • 数据集包含262,611个手动标注的豆荚点,采集于自然光照条件下的真实田间环境。
  • 基于Swin Transformer的骨干网络,结合回归分支和分类分支。
  • 结合欧几里得距离损失和交叉熵损失优化点定位和分类。
  • 与不同的顶刊/会文章模型做对比。

主要总结:
  • 模型表现

    • SoybeanNet-L模型在测试数据集上计数准确率达到84.51%,显著优于其他方法。

    • SoybeanNet-S在鲁棒性方面表现最佳,R²为0.8642。半监督学习

  • 技术细节优势

    • 相比传统的边界框标注,点注释方法显著减少了数据标注时间和成本。

    • Swin Transformer骨干网络:结合局部注意力机制,处理大尺寸图像的性能优越。

    • 匈牙利匹配算法:解决多重预测点和地面实况点的匹配问题。

  • 应用潜力:模预测的豆荚数量与实际产量之间呈现显著正相关,相关性系数达0.6618。

测试图像说明,包含 226 张图像,涵盖棕褐色和棕色类别。
用于大豆荚计数的 SoybeanNet 架构。它使用基于 Transformer 的主干构建,并通过上采样和跳过连接操作获取深度特征图。然后从两个主分支获得一组预测点提议以及相应的置信度分数:一个用于回归,一个用于分类。提出的一对一匹配策略确保了预测点和地面真实点之间的对齐。
我们提出的方法的可视化预测结果。从左到右,有带有真实点和预测点的图像,以及相应的 pod 数量。绿点是手动标记的 pod,红点是预测点。可以看出,所提出的方法可以有效处理各种场景。放大可获得最佳视图。
最佳基线P2PNet、最差基线M-SFANet以及提出的SoybeanNet-L和SoybeanNet-S在大豆数据测试集中预测的豆荚数量与人工计数的豆荚数量之间的比较。红色实线为拟合线,黑色虚线为理想线。
利用SoybeanNet-B模型对两块田地和两类大豆进行预测的荚数与实际产量之间的相关性。

结:研究提出了SoybeanNet,一个结合Transformer和CNN的新型框架,为大豆荚计数提供了高效解决方案,尤其在无人机采集的真实田间场景中展示了强大的适应性。技术亮点包括:1. 使用点标注和匈牙利算法提升计数效率;2. 采用Swin Transformer增强空间层次信息的处理能力。尽管模型在不同背景和边缘区域的豆荚计数上存在一定误差,但通过扩展数据集和优化飞行角度可进一步改进其鲁棒性。未来工作可聚焦实时部署和跨区域适用性,以提升精准农业的智能化水平。

推荐指数:⭐‍⭐⭐⭐⭐⭐ 非常好的一篇论文!!!

链接

https://doi.org/10.1016/j.compag.2024.108861【权责声明】

遥感与数字农业
分享数字农业和人工智能相关的技术,文献,招聘,产品等信息。 建立智慧农业学界业界一体化公众号平台 如需推广,回复公众号即可。