官方交流社群
添加微信：Buddha_Research(备注：大佛读者）
![]()
1.特斯拉在自动驾驶领域的数据采集和模型优化方面有哪些独特之处？特斯拉在自动驾驶领域的独特之处在于其大量真实数据的采集和利用。尽管其他车企也依赖真实数据，但特斯拉由于其庞大的用户基础，能够收集到更多的真实驾驶数据。这使得即便其泛化出来的场景数据稍显不足，整体上仍具备显著优势。但是要实现全球范围内所有路况下的自动驾驶，仅依靠现有的数据量可能仍不够。因此，特斯拉引入了“世界大模型”（World Model），通过优化AI大模型来解决这一问题。这个模型嵌入在感知与决策之间，作为连接感知和规控的纽带，从而提升整体系统的鲁棒性和适应性。世界模型是在感知跟决策中间，它嵌入了一个AI大模型，这个AI大模型是连接感知跟规控之间的一个纽带，它独立存在但与决策规划控制部分紧密相连。可以理解为世界模型提供了对当前环境的全面理解，而决策规划控制则基于这些信息进行具体操作。 世界模型在自动驾驶系统中主要用于构建虚拟环境，以便进行自动驾驶能力的学习和验证。它结合重建和生成两种技术路径，将真实世界的数据转化为虚拟环境，从而创造出符合真实规律的测试场景。这些虚拟环境帮助自动驾驶系统在不同条件下进行能力验证和优化。对于世界模型来说，在海量数据进行训练之后，不仅要能够生成逼真的驾驶场景数据，还要能够产生难以收集到的驾驶场景。 世界模型不是简单的仿真系统，仿真是利用有限的规则对环境模拟，而世界模型是系统根据海量数据对物理世界的重建。世界模型除了能仿真，还可以对现实环境进行重构，重点是要表达物理世界里的物理规律。世界模型最重要的是能够对所有输入的信息进行关联，它不仅能够对基于感知获取的信息预测结果，更重要的是，世界模型可以对新的、没有见过的数据也能形成泛化的理解，根据它对世界的理解，从而对未来做出预测。端到端大模型自身的黑盒属性决定了，无法简单通过明确的、可解释的规则约束系统的安全边界，带来安全性挑战；另外，端到端模型无法复现复杂的、偶发的corner case，这时候世界模型就能起到作用，通过生成式大模型生成带有预测性质的视频数据，实现corner case多样化训练，同时采用强化学习的方法认识复杂驾驶环境，从视频输出驾驶决策。 小鹏汽车也有世界模型，并将其集成于Xbrain平台内，用于生成和泛化各种测试场景。这一设计使得小鹏能够利用丰富多样的数据来训练和验证其自动驾驶能力，从而提升整体性能。而理想汽车单独把世界模型拎出来，只不过每家公司的实现方式有所不同，但核心目标一致，即通过虚拟环境提升车辆在真实道路上的表现。7.蔚来的世界模型的空间理解能力和时间理解能力是什么？在空间理解能力上，NVM作为生成式模型，能全量理解数据，从原始传感器数据中重建场景，减少传统端到端方案从传感器数据到BEV和OCC特征空间转换过程中的信息损耗。在时间理解能力上，NVM具备长时序推演和决策能力，通过自回归模型自动建模长时序环境，具有更强的预测能力。通过当前视频和车辆动作生成下一帧视频，再基于下一帧视频和当时的动作，生成下下一帧的视频。 8.蔚来的世界模型NWM是如何用来训练智驾能力的？蔚来的NWM 可以在 0.1 s 内推演出 216 中可能发生的轨迹，寻找最佳决策，在接下来的 0.1s 内，根据外界信息的输入重复更新内在的模型，再去预测 216 中可能性，找到驾驶最优解。蔚来开发了仿真器NSim（NIO Simulation），蔚来团队使用了现在流行的 Gaussian Splatting 技术，用行车的多个传感器共同重建出三维世界，并且能够让自动驾驶系统在其中进行测试，计算出更好的轨迹。自动驾驶系统给出了不同的轨迹之后，是否会发生碰撞，有了 NSim 之后，更多比对的可能性迅速增加，千万个世界共同验证轨迹。与蔚来的 NWM不同，理想的世界模型只用于验证和强化学习，不作为信息输入。理想使用重建+生成的方式进行世界模型的建构，可以解决重建式仿真的模糊拖影问题，也可以解决生成式仿真的幻觉问题。理想构建了世界模型，来对模型进行验证，这套题库的来源有两种方式，一部分是真实车主的数据，另外一部分是用户的接管和退出数据。世界模型能够与数据闭环进行很好的联动，假设车主接管后，通过影子模式数据回传云端，云端世界模型自动生成类似场景，变成错题库，同时在已有错题库中检索或在数据库中挖掘类似场景，联合训练出新模型；新模型再回到世界模型中进行两次考试：一次在原场景中，一次在生成的类似场景中，通过自动化的闭环训练模型。 10.特斯拉与其他车企（如小鹏、华为、蔚来等）在世界大模型技术上的差异是什么？特斯拉与其他车企在世界大模型技术上的主要差异体现在以下几个方面：①感知方式：特斯拉主要采用纯视觉方案作为输入架构，通过图像数据辅助感知、规控及全链路自动驾驶软件架构。而其他车企，如小鹏、华为等，则倾向于多模态传感器融合，包括文字、图像、激光雷达点云等多种类型的数据，从而构建更全面的驾驶环境模式。②模型类型：特斯拉侧重于以神经网络为主的大模型，通过视觉数据进行解析和建模。而其他车企则可能采用多模态回归类型的大模型，包括循环神经网络（RNN）、卷积神经网络（CNN）等不同算法，以实现时空序列预测和推理能力。③技术架构：特斯拉更加注重通过神经网络和算法优化来提升自动驾驶性能，其技术架构强调从原始感知数据直接生成价值决策，减少信息损耗。相比之下，其他车企则更倾向于通过引入世界大模型概念，从原始数据到驾驶决策进行高端推理，以验证性能并实现闭环仿真测试。 11.各家车企的世界模型具体有哪些应用场景及优势？特斯拉：利用纯视觉方案，通过图像识别辅助全链路自动驾驶，实现高效的数据解析与建模。其优势在于能够快速泛化出具有广泛适用性的场景，提高系统鲁棒性和清晰度。蔚来、小鹏、华为等：采用多模态传感器融合方案，可以识别并合成文字、图像以及激光雷达点云等多种类型的数据。这些企业的大模型具备全量数据常识推演能力，在极短时间内推演出多种可能发生的场景，并找到最优路径。此外，这些企业还具备闭环仿真测试能力，在复杂交互场景中全面验证性能。总体而言，各家企业虽然采用不同的方法，但都致力于通过优化AI大模型，提高自动驾驶系统的可靠性和适应性。12.在仿真测试能力方面，特斯拉与国内其他车企有何不同？国内车企如华为、小鹏等具备闭环仿真测试能力，但在复杂交通场景中的模型验证能力仍需提升。特斯拉虽然也进行仿真测试，但更强调一体化检验能力，即边采集真实数据边进行实体环境中的检验，同时对AI模型进行优化和升级。这种同步性使得特斯拉能够更快速地适应实际情况，而国内车企则需要通过多步骤的流程来达到类似效果。13.特斯拉与其他车企在自动驾驶技术方面有哪些主要差异？特斯拉在自动驾驶技术上更依赖于其AI和神经网络的融合能力，通过端到端的综合判断来实现自动驾驶。相比之下，其他车企更多依赖于AI辅助的端到端系统。这些车企通常采用分步进行的方法，即先通过AI提供助力，在闭环环境中优化自动驾驶模型，然后再进行实际环境中的检测和调整。特斯拉则是同步进行数据采集、检验和优化，使其能够快速响应和升级。
