RS DL
论文介绍
题目：Drones Help Drones: A Collaborative Framework for Multi-Drone Object Trajectory Prediction and Beyond
会议：Conference on Neural Information Processing Systems 2024
论文：http://arxiv.org/abs/2405.14674
代码：https://github.com/WangzcBruce/DHD
创新点
提出DHD框架：DHD(Drones Help Drones)通过集成多个模块，提升多无人机环境下的目标轨迹预测效果。该框架能够结合多个无人机的不同视角信息，以生成更精确的鸟瞰图表示并进行高效的协作。 地面优先的鸟瞰图生成模块（GBG）：该框架引入了一个创新的GBG模块，利用无人机的倾斜视角来估计对象的深度上限，并通过简单的高度估计提升深度估计精度，从而提高鸟瞰图的表示准确性。 滑动窗口稀疏交互模块（SISW）：为了高效地进行多无人机之间的协作，DHD框架设计了一个SISW模块，通过滑动窗口评估特征差异量，选择关键信息进行交互，显著减少了传输带宽需求。 数据集“Air-Co-Pred”：该研究构建了首个针对多无人机协同预测的模拟数据集，Air-Co-Pred，用于验证DHD框架的有效性。
背景
多无人机协同的必要性：单架无人机视角受限，多无人机协同可以提供更全面的目标感知和轨迹预测。
现有方法的局限性：现有方法生成的鸟瞰图精度低，且信息交互占用大量带宽，影响实时性。
与自动驾驶的对比：无人机场景与地面自动驾驶不同，空中视角带来更大的深度估计和视角转换难度。
多无人机协同的应用前景：多无人机协作可用于智能城市、交通监控等领域，提升事故预警和路径规划的能力。
数据
文章提出 Air-Co-Pred 数据集，这是首个为多无人机协同预测任务设计的模拟数据集。该数据集基于CARLA仿真平台生成。
无人机数量与飞行参数：数据集中包含四架无人机，飞行高度为50米，覆盖面积约为100米×100米。无人机配备前视RGB相机，视角为90度，图像分辨率为1600×900。 图像采集频率与总量：图像采集频率为2Hz，即每秒钟采集两帧图像。整个数据集中有32,000张同步采集的图像，用于训练和验证模型。 场景和物体：数据集中设计了200个不同的场景，其中170个用于训练，30个用于验证。场景主要包括交通流中的车辆、行人和骑行者等物体类别。由于是无人机视角，重点集中在车辆类别，并涵盖了多个子类别，以增强对不同车辆的识别能力。 标注与真值：每帧图像都包含2D和3D标注，标注对象的主要类别包括车辆、骑行者和行人。标注信息包括对象的3D边界框（位置、旋转、尺寸）等，用于多无人机协作下的对象轨迹预测。 数据集特点：该数据集面临多个挑战，例如由于无人机视角造成的遮挡问题、长距离观测引起的目标物体较小等。这些特点使得该数据集非常适合评估多无人机协同预测任务中的性能。
数据和模型评估
整体结构
2D特征提取模块
每架无人机独立捕获其视野中的图像，通过EfficientNet-B4模型对图像进行处理，提取出图像的2D特征。EfficientNet-B4被选择作为骨干网络，因为其具备较低的推理延迟和优化的内存使用，这在无人机系统中非常重要。
地面优先的鸟瞰图生成模块（GBG）
该模块是DHD框架的核心之一，专注于从无人机的倾斜视角生成更准确的鸟瞰图表示（Bird's Eye View, BEV）。由于无人机的观察距离较大，直接从视角变换得到的深度估计容易出现错误。为了提高精度，GBG模块通过利用无人机与地面的几何关系，推导出每个像素的深度上限，并结合高度估计，最终生成更加精确的鸟瞰图。这种方法借助无人机与地面的交点和高度信息，提升了3D场景的深度估计准确性。
滑动窗口稀疏交互模块（SISW）
多无人机协作的关键在于如何高效地在无人机之间传递关键信息。SISW模块通过滑动窗口机制来计算各区域的特征差异，从而量化每个位置的信息量。对于具有显著特征变化的区域，这些位置会被标记为重要区域，信息量较高。然后，系统仅传递这些关键区域的特征，减少了不必要的传输负担。通过选择性传递这些差异显著的区域，SISW模块可以显著降低多无人机间的通信带宽，同时保留高质量的预测性能。
协作特征聚合
在无人机之间的协作过程中，每架无人机接收来自其他无人机的稀疏特征后，使用几何变换来对齐这些特征，确保它们在同一坐标系下融合。通过进一步的插值操作，填补未定义的特征值，以减少在特征融合过程中可能出现的数值空缺问题。最终，无人机根据本地的特征和接收到的协作特征，执行加权融合，生成统一的特征表示，供下游任务使用。
预测解码器
为了对未来的对象轨迹进行预测，DHD框架使用了基于U-Net的时序网络。该网络从聚合的特征中解码出实例分割信息和对象的未来运动轨迹。通过这种方式，系统能够预测出场景中的多个物体在未来的移动轨迹和位置。
稀疏交互与预测解码的协作策略
DHD框架中的模块采用了稀疏交互的策略，通过选择性地传递关键信息来减少带宽消耗。此外，预测解码器使用的时序U-Net结构能够从多个历史帧中预测未来对象的轨迹，确保系统在高效预测的同时维持精度。
结果和精度
鸟瞰图生成性能
多无人机协作策略
可视化
推广到协同3D目标检测
更多图表分析可见原文
因配置了AI回复功能，除关键词自动回复外，号内信息主要由AI大模型回复。如需资源、投稿、合作等，请直接联系小助手微信（添加请备注：咨询、投稿、合作、加群，加群需备注姓名/昵称，单位和研究方向）。
公众号欢迎优秀作者投稿！可加入优秀论文作者群：欢迎加入AI遥感优秀论文作者群！
问题及讨论可直接在文章下方留言
相关链接：
欢迎关注
分享遥感与深度学习领域的技术、论文、书籍、新鲜事。
欢迎加入遥感与深度学习交流群(点此加入)。
