点击下方卡片，关注“自动驾驶之心”公众号
其实，OpenAI曾通过其初创基金向自动驾驶软件公司Ghost Autonomy投资500万美元，以探索多模态大语言模型（MLLM）在自动驾驶领域的应用，但这一合作仅维持了不到五个月，该公司便因资金和商业化问题于2024年4月宣布关闭。通过这件事，给我们的启示是什么？
1. OpenAI的投资与合作目标
投资金额与资源支持：2023年11月，Ghost Autonomy获得OpenAI初创基金的500万美元投资，并获得了OpenAI技术系统使用权及微软Azure云计算资源。OpenAI希望通过此次合作，将多模态大语言模型（如GPT系列）引入自动驾驶领域，提升系统对复杂场景的推理能力。
技术愿景：Ghost计划利用大语言模型处理自动驾驶中的“长尾问题”（即罕见或未预见的复杂场景），通过结合视频、图像等多模态数据，实现无需预编程的实时环境理解。例如，其CEO曾提到，LLM可帮助车辆无需识别具体障碍物，仅通过像素簇判断避让。
2. Ghost Autonomy的定位与技术路径
软件平台定位：Ghost专注于为汽车制造商提供可扩展的自动驾驶软件解决方案，目标是通过通用化的软件兼容不同传感器硬件，降低车企的集成成本。
技术迭代与战略调整：公司成立7年间多次调整方向：
初期（2017-2019年）：开发高速公路自动驾驶套件，原定2020年商业化，但未交付。
中期（2021年）：转向碰撞预防技术，获得1亿美元融资，但仍未实现产品落地。
后期（2023年）：与OpenAI合作探索LLM应用，但未及商业化即倒闭。
3. 失败原因与行业挑战
资金耗尽与融资困难：Ghost累计融资2.2亿美元（约15.8亿元人民币），但在自动驾驶这一高投入领域仍显不足。随着资本市场对盈利能力的关注加强，其长期亏损和商业化不确定性导致后续融资失败。
技术落地难题：尽管完成高速公路自动驾驶原型并尝试城市环境测试，但其工程强度未达市场化要求。CEO坦承公司“缺乏造血能力”，产品无法满足消费级市场的可靠性标准。
行业普遍困境：Ghost的倒闭并非个例。近年来，Argo AI、Cruise等明星项目同样因资金断裂或技术问题受挫，苹果也终止了“泰坦计划”。研究显示，L5级完全自动驾驶可能需20年以上才能实现。
4. 对OpenAI的影响与启示
试验田的丧失：Ghost曾是OpenAI在自动驾驶领域的重要试验案例，其倒闭使OpenAI失去了验证多模态模型在复杂场景应用的机会。
投资策略反思：此次事件反映了AI技术跨界落地的难度。尽管大模型在数据标注、模拟等离线任务中表现优异，但在实时安全关键场景（如驾驶）中的应用仍需谨慎验证。
5. 自动驾驶行业展望
技术路径分化：部分企业转向渐进式路线（如特斯拉FSD通过海量数据迭代），而Waymo、Cruise等继续押注L4级 Robotaxi，但均面临监管与成本压力。
资本风向变化：投资者更关注短期盈利，迫使初创公司平衡研发投入与商业化节奏。例如，Ghost早期试图通过防撞技术快速变现，但未能突破市场接受度。
综上，OpenAI对Ghost的投资展现了AI与自动驾驶融合的潜力，但也凸显了技术跨界应用的高风险性。Ghost的案例为行业敲响警钟：在资本寒冬中，仅靠技术愿景难以存活，商业化路径的清晰性至关重要。当然，技术还是基础，否则连尝试的机会都没有了。
坦白的说，这两年自动驾驶的前沿技术栈更新非常快，从BEV、OCC、无图到端到端用了不到两年时间，而现在各大厂商又瞄向VLA、闭环仿真、通用大模型等等，2025年会有新一批的领先玩家上桌，让我们拭目以待。自动驾驶之心始终认为保持终身学习才是不变应万变之法，打铁还需自身硬。而自动驾驶之心知识星球就是为了这个目的打造的，两年时间我们一直在路上，一直在进步。目前已经陪伴了近4000名小伙伴的日常学习和工作。在内容和知识分享这件事上，我们充满热情，绝不含糊。每天只需6毛钱就能拥有以上所有，且每天都在更新的自动驾驶私域知识宝库。【话说，优惠今天23点59分就截止了呢！】
新用户96元现金优惠！微信扫码领取
如何保持竞争力？
保持竞争力的前提是个人技术和视野要常用常新，要让自己能搞定一个或多个模块，要常和行业内人士交流（比如经常参加行业大佬的直播）。一起为智驾站台，一起相信智驾的未来！最后真心推荐大家加入『自动驾驶之心知识星球』！
🔥【我们是谁】
『自动驾驶之心知识星球』目前最大自动驾驶学习交流私域社区，会员近4000人，行业大咖云集，60+合伙人和嘉宾，有问必答。
🔥【星球内有什么】
🎓1、35+自动驾驶方向学习路线；
🎓2、自动驾驶各方向面试100问汇总；
🎓3、每月精选问答，已积累近1000+条；
🎓4、100+大咖直播分享回放视频；
🎓5、100+自动驾驶行业报告；
🎓6、100+精选行业书籍；
🎓7、更多惊喜在星球内。
🔥【加入星球能获得什么】
🎓1、免费获得几十位专业嘉宾的问题解答（有问必答）
🎓2、永久免费浏览、下载星球内容（目前6500+，每天更新，会员过期后，过期前的内容可继续免费浏览下载）
🎓3、所有自动驾驶之心的付费课程8折优惠（价值3000元）
🎓4、直播视频免费无限期回放（现有100+场行业直播，未来一年持续邀请大咖分享）
🎓5、免费赠送优质课程视频（多门）
🎓6、星球积分榜前10名，获得丰富现金奖励
🎓7、免费咨询求职招聘相关问题
🎓8、加入专属VIP群，获得最新资讯
『自动驾驶之心知识星球』已经近4000人了！说句心里话，作为长期排名前十，内容和活跃度超过99%的平台，我们倾注了全部心血，社区就像个孩子一样，在大家细心的照料下，终于长大成人了。我们给大家准备了一个现金优惠大礼包，绝对超值。
新用户96元现金优惠！微信扫码领取
自动驾驶之心知识星球，创办于2022年7月份，致力于打造为自动驾驶行业中的 ”黄埔军校“，目前已近4000人，聚集了近60+自动驾驶行业专家为大家答疑解惑。这是国内首个以自动驾驶技术栈为主线的交流学习社区，汇总了自动驾驶感知（目标检测、语义分割、车道线检测、BEV检测、Occupancy、在线地图、目标跟踪、多模态、多传感器融合等）、自动驾驶定位建图（高精地图、SLAM）、自动驾驶规划控制与预测、多传感器标定、端到端自动驾驶、自动驾驶仿真、自动驾驶开发、领域技术方案、AI模型部署落地等几乎所有子方向的学习路线！除此之外，还和数十家自动驾驶公司建立了1v1内推渠道，简历直达！这里可以自由提问交流，许多算法工程师和硕博日常活跃，解决问题！初衷是希望能够汇集行业大佬的智慧，在学习和就业上帮到大家！星球的每周活跃度都在国内前30，非常注重大家积极性的调度和讨论，欢迎加入一起成长！
星球内已经打磨出近30+的学习路线，涉及端到端自动驾驶、BEV感知、动态/静态障碍物检测、多传感器融合、多传感器标定、目标跟踪、模型部署与cuda加速、仿真等方向，沉淀了大量工程上的解决方案、学术上的优化思路！星球主要内容一览：
这些热门技术方向，星球里面全都有！
现在自动驾驶技术迭代期越来越短，从原来的单目3D到BEV，再到OCC，再到大模型和端到端，高阶智驾现阶段的技术点已经比较清晰。
O、热门方向大佬视频分享
1.前沿工作
【Senna: 一种将LVLM（Senna-VLM）与端到端模型（Senna-E2E）相结合的自动驾驶系统】对两个数据集的广泛实验表明，Senna在规划性能上达到了最先进的水平；
【Ramble：具有强化学习的高交互交通场景中的端到端驾驶】Ramble在CARLA Leaderboard 2.0上实现了路线完成率和驾驶评分的最新性能；
【CARLA中的端到端自动驾驶全面综述】讨论了基于CARLA的最先进实现如何通过各种模型输入、输出、架构和训练范式解决端到端自动驾驶中遇到的各种问题；
【端到端预测和规划最新SOTA！一种用于端到端自动驾驶的新交互机制：PPAD】。
2.报告和行业大佬直播分享
大模型
1.前沿工作
【全面回顾当前关于L(V)LM在自动驾驶应用方面的研究】重点关注四个关键领域：模块化整合、端到端整合、数据生成和评估平台。
【自动驾驶中的大语言模型（LLM4AD）：概念、基准、仿真和实车实验】LLMs在提升自动驾驶技术各个方面的显著潜力，包括感知、场景理解、语言交互和决策；
【基于 LLM 驱动的鲁棒 RL 自动驾驶数据合成与策略调整】RAPID能够有效将LLM的知识整合到缩减版的RL策略中，以高效、适应性强且鲁棒的方式运行；
【大型语言模型会成为自动驾驶的灵丹妙药吗？】本文对LLM在自动驾驶系统中的潜在应用进行了详尽的分析。
2.报告和行业大佬直播分享
BEV感知
1.前沿工作
【nuScenes和nuScenes最新SOTA!】Focus on BEV: 基于自标定周期视图变换的单目BEV图像分割；
【MambaBEV：一种基于mamba2的BEV目标检测】还采用了端到端的自动驾驶范式来测试该模型的性能。模型在nuScenes数据集上表现出了相当好的结果：基础版本达到了51.7%的NDS；
【QuadBEV: 高效的多任务感知框架】它利用四个关键任务——3D目标检测、车道检测、地图分割和占用预测——之间共享的空间和上下文信息。
【nuScenes-360和DeepAccident-360最新SOTA！】OneBEV：利用一幅全景图像进行鸟瞰语义建图！在nuScenes-360和DeepAccident-360上分别达到了51.1%和36.1%的mIoU，取得了最先进的性能。
2.报告和行业大佬直播分享
Occupancy感知
1.前沿工作
【OccLoff框架：旨在“学习优化特征融合”以进行3D占用预测】具体提出了一种稀疏融合编码器和熵掩模，该编码器可以直接融合3D和2D特征，从而提高模型的准确性，同时减少计算开销；
【nuScenes最新占用预测SOTA! TEOcc: 一种基于Radar-相机多模态的时间增强占用预测网络】所提出的时间增强分支是一个即插即用的模块，能够轻松集成到现有的占用预测方法中以提升占用预测的性能；
【SyntheOcc: 通过扩散模型生成的系统，它通过在驾驶场景中以占据标签为条件来合成真实感和几何控制的图像】
【RELIOCC：一种旨在增强基于相机的占用网络可靠性的方法】首次从可靠性角度对现有的语义占用预测模型进行全面评估。显著提高了模型的可靠性，同时保持几何和语义预测的准确性。
2.报告和行业大佬直播分享
世界模型
1.前沿工作
【探索自动驾驶中视频生成与世界模型之间的相互作用：一项调查】探讨了这两种技术之间的关系，重点分析它们在结构上的相似性，尤其是在基于扩散的模型中，如何促进更准确和一致的驾驶场景模拟；
【从有效多模态模型到世界模型：探讨了MLMs的最新发展和挑战，强调它们在实现人工通用智能和作为通向世界模型的路径中的潜力】；
【nuPlan闭环规划新SOTA！AdaptiveDriver：一种基于模型预测控制（MPC）的规划器，可以根据BehaviorNet的预测展开不同的世界模型】将测试误差从6.4%减少到4.6%，即使应用于从未见过的城市；
【Vista：一个具有高保真度和多功能可控性的可泛化驾驶世界模型！】通过高效的学习策略，结合了一套多功能的控制方法，从高层次的意图（命令、目标点）到低层次的操作（轨迹、角度和速度），在超过70%的比较中优于最先进的通用视频生成器，并且在FID上超过最佳驾驶世界模型55%，在FVD上超过27%。
2.报告和行业大佬直播分享
自动驾驶仿真
1.前沿工作
【IGDrivSim，一个基于Waymax仿真器的基准】证明人工专家与自动驾驶智能体之间的感知差距会妨碍安全和有效驾驶行为的学习；
【WorldSimBench：双重评估框架来评估世界仿真器】包括显式感知评估和隐式操作评估，涵盖了从视觉角度的人工偏好评估和具身任务中的动作级评估，涉及三个代表性的具身场景：开放式具身环境、自动驾驶和机器人操作；
【CARLA2Real，这是一个易于使用的公共工具（插件），适用于广泛使用的开源CARLA仿真器】；
【2024最新，自动驾驶框架和仿真器综述】本文回顾了开源和商业自动驾驶框架及仿真器，介绍并比较了它们的特点和功能等，还从硬件不足、自动驾驶算法、场景生成、V2X、安全与性能以及联合仿真等角度，提出了AD框架和仿真器在近期未来的有前景的研究方向。
2.报告和行业大佬直播分享
本文内容均出自『自动驾驶之心知识星球』，欢迎加入交流！
新用户96元现金优惠！微信扫码领取
