噪声重新初始化模块:通过在不同视角之间共享噪声,增强了视频的空间一致性,使得生成的多视角视频在视觉效果上更加统一。 特征对齐的时间一致性模块:采用精确的跨帧特征对齐,确保视频帧间的时间一致性,提高了长视频的质量和连续性。 失败案例驱动框架:基于失败案例生成训练数据,显著提高了样本效率,仅使用4%的训练数据就提升了端到端自动驾驶模型的规划性能25%。
表示在帧 中视角 下的视频图像潜变量(latent variable)。 是视角 下的共享运动噪声。 是帧 的共享全景噪声。 和 分别表示视角 下在帧 的图像输入和原始噪声。
紫色:表示跨视角注意力模块(Cross View Attention)。 绿色:表示特征对齐的时间一致性模块(Feature-aligned Temporal Consistency Module)。 灰色:表示其他网络层。
(1)收集失败案例(Collecting Failure Cases)在训练数据集上进行评估。如果模型在某些场景下表现不佳(例如,发生碰撞),这些场景被标记为失败案例。这些失败案例随后被提取出来,用于后续的分析。
(2)分析数据模式(Analyzing Data Pattern)对收集到的失败案例分析失败的原因。主要分为两类:
感知错误(Perception Error):例如模型无法正确识别物体,可能是因为物体属于稀有类别或者是大物体接近车辆。 规划错误(Planning Error):例如在复杂的交互行为或遮挡场景中,模型做出了错误的决策。