作者 | Yichen Xie等 编辑 | Ai fighting
点击下方卡片，关注“3D视觉之心”公众号
>>点击进入→3D视觉之心技术交流群
Abstract
近年来，扩散模型在合成驾驶场景中的LiDAR点云或摄像头图像数据方面取得了进展。尽管这些模型在单一模态数据的边际分布建模方面取得成功，但对不同模态之间互相依赖关系的探索仍然不足，而这种依赖关系能够更好地描述复杂的驾驶场景。为了解决这一问题，我们提出了一个新框架，称为X-DRIVE，通过双分支潜在扩散模型架构来建模点云和多视角图像的联合分布。考虑到两种模态的几何空间差异，X-DRIVE在合成每种模态时都基于另一模态的对应局部区域，以确保更好的对齐和真实感。为了解决去噪过程中的空间模糊问题，我们设计了基于极线的跨模态条件模块，以自适应学习跨模态局部对应关系。此外，X-DRIVE通过多层次输入条件（包括文本、边界框、图像和点云）实现可控生成。广泛的实验结果表明，X-DRIVE能够生成高保真的点云和多视角图像，既符合输入条件又保证了可靠的跨模态一致性。
代码获取：https://github.com/yichen928/X-Drive
欢迎加入自动驾驶实战群
Introduction
自动驾驶车辆依靠多种传感器感知环境，其中LiDAR和摄像头通过捕获点云和多视角图像发挥了关键作用。这些传感器提供了关于周围环境的几何测量和语义信息，对于目标检测、运动规划、场景重建和自监督表示学习等任务具有重要价值。然而，这些进步依赖于大量对齐的多模态数据，尤其是同一场景下经过良好校准的LiDAR和多视角摄像头输入。
收集此类高质量多模态数据的成本高昂且复杂，因而难以大规模扩展。高质量传感器价格昂贵，校准过程需要大量人工操作。此外，真实驾驶数据存在严重的长尾分布问题，极端天气条件等罕见场景的采集困难。因此，提出了一个自然问题：我们是否可以使用可控的方式合成对齐的多模态数据？
得益于在其他领域的成功，生成模型提供了一种有前景的解决方案。目前的研究集中在合成点云或多视角图像，但对多模态数据的生成关注较少。将这些单模态算法简单组合会导致合成场景中严重的跨模态不匹配，造成输入矛盾，从而影响下游任务的表现。跨模态一致性是多模态数据生成的关键，但生成一致的LiDAR和摄像头数据面临以下挑战：
(1)合成的点云和多视角图像必须在局部区域上对齐，描述相同的驾驶场景。
(2)与2D像素级任务不同，点云和多视角图像具有不同的几何空间和数据格式。
(3)去噪过程中缺乏可靠的点位或像素深度，导致3D空间信息模糊。
为了解决这一问题，我们提出X-DRIVE框架用于LiDAR和摄像头数据的联合生成。该框架设计了一个双分支架构，其中两个潜在扩散模型分别致力于点云和多视角图像的合成，同时一个跨模态条件模块增强了它们之间的模态一致性。
3 初步知识
潜在扩散模型。扩散模型通过迭代地对随机高斯噪声进行T步去噪来学习逼近数据分布。通常，扩散模型通过一个前向过程来构造扩散输入，该过程根据方差计划
逐步向数据添加高斯噪声：
然后，反向过程通过拟合来学习恢复原始输入：
潜在扩散模型在潜在空间中而非输入空间上执行扩散过程，以处理高维数据。具体来说，它通过编码器E将输入x映射到潜在空间为。潜在编码z可以通过解码器D重建为输入
。潜在扩散模型的前向和反向过程类似于原始扩散模型，只需在公式1和公式2中用潜在变量z替代输入变量x。
距离图像表示。与LiDAR传感器的采样过程相兼容，距离图像 是LiDAR点云的密集矩形表示形式，其中 和分别表示行数和列数，一个通道代表距离（range），另一个通道代表强度（intensity）。行反映激光束的位置，列则指示偏航角。对于具有笛卡尔坐标 (x,y,z)的每个点，可以通过以下投影将其转换为球坐标 (r,θ,ϕ)：
其中 r 是距离，θ是仰角，ϕ 是方位角。距离图像通过使用因子 和对 θ和 ϕ进行量化得到。对于具有球坐标 的每个点，有
。距离 和强度 被归一化到 (0,1) 之间。
4 方法
本节中，我们提出了用于联合生成点云和多视角图像的创新框架X-DRIVE。整体架构如图2所示。我们在第4.1节扩展了基础扩散模型，以模拟多模态数据的联合分布。第4.2节介绍了我们的双分支扩散模型框架。为实现跨模态一致性，我们在第4.3节提出了基于极线的跨模态条件模块。第4.4节则展示了如何以零样本方式实现跨模态条件生成。
4.1 联合多模态生成
在第3节的单模态扩散模型基础上，我们为X-DRIVE的多模态数据生成提供了一个公式。其目的是逼近描述特定驾驶场景的成对数据 (r0,C0)的联合分布，其中 是点云的距离图表示，表示从不同视角摄像头获得的多视角图像。
考虑到这两种模态的相似矩形潜在格式，我们为距离图和多视角图像设置了共享的噪声调度。距离图或多视角图像的前向过程仅依赖自身模态，相当于每个模态的独立前向过程。
与此相对，反向过程利用模型 分别预测添加到距离图和多视角图像的噪声和 。由于跨模态一致性的要求，每种模态的噪声预测应考虑另一模态，因此距离图或多视角图像的反向过程依赖于两种模态。
直观上，我们可以为距离图和多视角图像分别实现两个扩散模型和 ，并为其他模态配备编码器和。
与其训练独立的条件编码器，我们可以直接将扩散模型本身视为每种模态的强编码器。因此，将和适应为条件编码器和
分别应用于各块。与文本到图像的条件相比，LiDAR与摄像头的互相条件具有显著的局部空间对应关系。例如，LiDAR捕获的汽车应在形状和位置上与摄像头捕获的相同汽车一致，但与图像中其他部分的关系较少。鉴于它们不同的几何空间，我们需要依赖空间变换 T(⋅)显式对齐几何空间以实现跨模态对应。具体来说，
将多视角图像条件转换为距离图空间，而
将距离图条件转换为多视角图像空间。因此，可以将条件编码器、表述如下：
在这种情况下，我们将公式6中的去噪模型重新表示如下：
它们可以通过联合多模态目标函数 LDM−ML_{DM-M}LDM−M 来训练：
4.2 双分支联合生成框架
我们的框架基于公式8开发，包含两个去噪模型，即针对距离图的模型 （第4.2.1节）和针对多视角图像的模型
（第4.2.2节）。
4.2.1 距离图的扩散模型
架构 我们基于现有的潜在扩散模型（LDM），学习距离图 的分布，其格式与RGB图像相似。第一阶段，将距离图通过降采样系数
压缩为潜在特征
。第二阶段，我们从头开始训练LDM，学习 的潜在分布。距离图反映自车的全景视图，因此其左侧和右侧相连。鉴于此限制，我们参考LiDARGen 和 RangeLDM，将VAE和LDM中的卷积替换为水平循环卷积，使距离图的左右两侧互为邻居。
在第一阶段中，我们遵循标准协议，训练包括编码器和解码器的VAE，最大化ELBO 。此外，我们附加了对抗判别器以减轻重建损失带来的模糊性。在第二阶段，LDM在多视角图像分支（详见4.3节）的跨模态信息以及文本提示和3D框的条件下进行距离图的生成，模型通过公式9中的损失函数进行训练。
范围视图边界框条件 给定一个3D边界框 表示框角的3D坐标，表示其语义类别。我们使用公式3将每个框角投影到距离视图中作为
。这些范围视图角坐标通过傅里叶嵌入器传递。然后，八个角点的连接位置嵌入通过
编码为
。对于类别标签，我们将类别名称的CLIP嵌入汇聚为
。边框和标签嵌入组合后由另一个
编码为隐藏向量
。
我们将来自这个范围视图框编码器的边框隐藏向量与文本提示的隐藏向量连接，指导潜在扩散模型的合成，通过跨注意力模块实现。
4.2.2 多视角图像的扩散模型
架构。为了对多视角图像 的分布建模，我们在基础扩散模型上引入额外的边界框和视角间条件，以及来自距离图的跨模态信号（详见4.3节）。根据标准的LDM ，每张图像 先通过预训练的VAE压缩到潜在空间
。训练过程中，每个视角独立采样高斯噪声，去噪模型使用公式9的目标函数进行训练。
多视角边界框条件。3D框条件模块与第4.2.1节类似，但框位置转换为每个摄像头的透视视图。对于每个3D边界框，我们将其3D角点坐标
投影到相应的摄像头透视视图中
，其中
为像素坐标中的角点位置，为深度。对于每个摄像头视图 v，其合成仅依赖于至少一个角点投影到其视图图像范围内的3D边界框。然后，我们将此透视视图框编码器公式与公式10相似。
对于每个摄像头视图，框嵌入与文本提示的隐藏向量连接，共同指导图像生成，通过跨注意力模块实现。
视角间条件。为增强多视角图像的一致性，我们引入视角间跨注意力模块，使每个摄像头视图 v 的生成受其左侧和右侧相邻视图 和 的影响。鉴于相邻摄像头视场之间的重叠较小，我们将每个图像潜在变量
,v 水平分成两半。对于每个视图 v，其左半部分
依赖于左邻视图 的右半部分
，右半部分
依赖于右邻视图的左半部分
。
其中 是零初始化门，用于稳定优化。与MagicDrive 中的完全跨注意力相比，我们的分割策略显著降低了视角间条件的每场景GPU内存消耗，从11GB降低到3GB，并增强了多视角一致性。
4.3 跨模态极线条件模块
多模态数据合成的关键在于增强跨模态的一致性，这往往依赖于跨模态条件。理想情况下，通过相机投影，点云与多视角图像之间存在明确的点对像素对应关系。然而在去噪过程中，距离图像的距离值和多视角图像的深度值都是未知的。为此，我们提出通过空间变换 和
（公式7）基于极线来扭曲来自距离图像和多视角图像的局部特征，以提供另一模态的合成控制信号，如图3所示。
相机到LiDAR条件。对于距离图像潜在变量 上的位置 (φ,θ)，我们沿距离轴采样 R 个点，遵循线性递增离散化（LID）策略，具有距离值 ，其中 。这些点
被转换为它们的3D坐标
。
这些点可以使用相机参数投影到相机视图 v 中：
其中，是沿LiDAR光线的像素坐标。这些点在相机图像 中形成了对应于LiDAR距离图像中位置 (φ,θ) 的极线。我们在视图 v 的图像潜在变量
的位置
上双线性采样相应的局部特征。如果一个3D点
被投影到多个相机视图中，我们会采用平均局部特征。每个采样特征都加入了 的傅里叶嵌入，作为沿光线距离值的指示符。因此，整个空间变换
将相机图像特征空间对齐到距离图像特征空间。
我们应用跨注意力模块来对坐标 (φ,θ)的距离图像特征 进行条件化，使其基于极线上对应的转换后的局部图像特征
。
其中， 是相机到LiDAR条件的零初始化门控。模型在距离模糊的情况下学习距离图像与多视角图像的自适应局部对应关系。
LiDAR到相机条件。反之，我们使用类似的模块，使多视角图像的生成基于LiDAR距离图像的条件。对于来自视图 v 的相机图像潜在变量上的位置 (u,v)沿深度轴采样 DDD 个点，具有深度值 ，其中
每个像素坐标中的点
通过相应的相机参数
转换为3D坐标
。
然后，3D点坐标被投影到LiDAR距离视图上，使用公式3表示为 。这些点
，
在LiDAR距离图像中形成了对应于相机视图 v 中像素坐标 (u,v) 的极线。通过双线性采样和额外的深度值 的傅里叶嵌入从距离图像潜在变量 中提取局部距离图像特征。我们可以将空间变换
写成对齐多视图图像特征的距离视图特征。
与相机到LiDAR条件类似，跨注意力模块对坐标 (u,v)上的局部相机图像特征 进行条件化，基于空间对齐的距离图像特征
。
其中 是零初始化门控。跨注意力模块在没有显式深度线索的情况下，自适应地学习了相机多视角图像对LiDAR距离图像的局部依赖关系。
4.4 跨模态条件生成
除了多模态联合生成外，X-DRIVE 还可以作为相机到LiDAR或LiDAR到相机的条件生成模型，在零样本条件下实现，而无需针对性训练。给定一个真实 ，我们分别修改公式8以进行相机到LiDAR或LiDAR到相机的生成以生成另一模态的数据。
在这种情况下，针对输入模态训练的扩散模型作为强大的编码器，用于增强生成与输入LiDAR或相机条件的一致性。
5.Experiment
5.1 质量分析
我们报告了对齐点云与多视角图像联合生成，以及基于条件的LiDAR到摄像头或摄像头到LiDAR的跨模态生成的定量结果。
联合多模态生成。如表1所示，与单模态生成方法相比，X-DRIVE作为多模态算法在合成点云和多视角图像的质量上表现相当甚至更优。我们的FID指标比MagicDrive略低，因为我们没有地图条件作为强控制信号。不像简单的单模态方法组合，我们能生成具有跨模态对齐的点云和图像，这在我们的DAS指标上表现优异，这得益于我们提出的跨模态极线条件模块。附录C中展示了更多视觉效果。
条件跨模态生成。如第4.4节所述，X-DRIVE还可作为LiDAR到摄像头或摄像头到LiDAR的条件生成模型。表1显示，对于单模态数据生成，X-DRIVE在点云和多视角图像方面均优于以往基线方法，表明了我们提出的算法在跨模态数据合成中的灵活性。
对象级可控生成。X-DRIVE可在生成过程中遵循3D边界框条件。由于之前的LiDAR生成方法不具备此能力，我们仅将其与多视角图像生成算法进行比较。为了与单模态方法公平比较，我们采用nuScenes验证集中的合成多视角图像和真实点云，通过预训练的SparseFusion 模型进行测试，表2显示X-DRIVE在对象级保真度上优于MagicDrive。
5.2 质量分析
跨模态一致性。我们展示了一些多模态生成示例以定性表现跨模态一致性。如图4所示，投影点云与多视角图像内容在前景和背景上适当重叠。我们还展示了条件摄像头到LiDAR和LiDAR到摄像头生成的结果，合成数据很好地符合跨模态的LiDAR或摄像头条件。
多视角一致性。在我们的多模态生成中，点云为多视角图像提供了自然的3D几何指导，提升了多视角一致性。在图5中，我们展示了相邻合成摄像头图像之间的关键点匹配结果，结果显示X-DRIVE的多视角一致性优于MagicDrive 。
场景级与对象级控制。在文本和边界框条件下，X-DRIVE可生成具有不同控制信号的多样化结果，如图6所示。在场景级控制下，我们可通过文本提示生成各种光照和天气条件，合成图像仍然保持真实且符合对象布局。在对象级控制下，我们可通过删除对象或在指定位置插入具有特定尺寸和语义类别的对象来编辑场景。
5.3 消融实验
由于计算资源有限，我们使用较短的训练时间进行消融实验。
跨模态条件 跨模态条件对跨模态一致性至关重要。如表3所示，移除该模块会显著降低跨模态对齐效果，尽管共享的边界框和文本提示仍提供一些约束。鉴于空间不确定性，我们沿极线交叉注意力来自适应学习局部对应关系（见公式16和公式19）。相反，简单的极线均值代替交叉注意力会产生较大噪声，严重损害点云质量和跨模态一致性。
边界框与文本提示输入条件 尽管X-DRIVE也支持无条件生成，这些输入条件为生成多样化输出提供了多层控制信号。表3显示，文本和框条件提升了合成点云和图像的质量。
无分类器引导 在推理过程中，我们在边框和文本条件下使用无分类器引导（CFG）。图7显示这提高了合成数据的真实感。然而，较高的CFG尺度会通过增加对比度和清晰度来损害图像和点云质量。
结论
本文的贡献如下：
1.提出X-DRIVE框架，实现LiDAR和多视角摄像头数据的对齐、可控和一致合成。
2.基于极线的跨模态条件模块在点云和多视角图像之间的空间模糊下实现几何差距的桥接，显著提高模态一致性。
3.实验结果显示X-DRIVE在生成高质量的跨模态一致数据方面显著超越以往单模态算法，并在综合条件下展现了灵活、可控的生成能力。
文章引用：X-DRIVE: CROSS-MODALITY CONSISTENT MULTISENSOR DATA SYNTHESIS FOR DRIVING SCENARIOS
扫码添加小助理进群
3D视觉之心知识星球主打3D感知全技术栈学习，星球内部形成了视觉/激光/多传感器融合SLAM、传感器标定、点云处理与重建、视觉三维重建、NeRF与Gaussian Splatting、结构光、工业视觉、高精地图等近15个全栈学习路线，每天分享干货、代码与论文，星球内嘉宾日常答疑解惑，交流工作与职场问题。
