首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

单纯看智驾，摄像头能不能消灭激光雷达？

汽车 2024-09-17 20:10 山东

最近这段时间，关于纯视觉智驾方案的讨论比较火，口水满天飞，大家互相怼，其实核心的争论只有一个，就是摄像头能不能消灭激光雷达。

弯弯绕绕也许是男女谈情的小妙招，但是，谈论技术最好还是单刀直入。

如果站在整车的视角，激光雷达的应用不仅局限于智驾，还能用于主动安全、智能底盘，甚至可能在未来四处开花，发展出更加花里胡哨的玩法，对整车而言，激光雷达是不可能被消灭的。

因此，不要顾左右而言他，也别站在整车的角度谈激光雷达，对着问题的根本直捣黄龙，问题的关键或者说关键的问题是：单纯看智驾，摄像头能不能消灭激光雷达？

两年前，关于这个问题还没有太多的争论。

在暗光、炫光、逆光的光照条件下，摄像头感知能力明显不及激光雷达，即便不考虑光照，摄像头拍摄到的是二维图像，当时的视觉神经网络很难在二维图像中得到比较细致的3D信息，这就使得纯视觉智驾方案可以运行在车辆距离比较大、障碍物种类有限的高速场景，很难用于车辆密集、障碍物种类众多的城区场景。

随后，特斯拉在2022年CVPR会议上公开占用网络，并在同年的AI DAY上给出了占用网络的模型架构，业界一片欢腾：终于有希望拿掉成本高昂的激光雷达了，要知道，2022年，单颗高线数激光雷达的价格依然高达上万！

占用网络解决了本质上仍然是2D信息的BEV网络的两大问题。

第一，它将3D空间划分成一个又一个体素网格，为每个网络分配一个特征向量，通过对每个体素进行三维语义占有预测，给出车周环境精细的3D信息。

第二，由于其对物体形状、背景环境、异常障碍等都能进行可靠的表示和识别，从而可以有效地处理训练数据集中未曾出现过的物体。

所以，视觉占用网络出现之后，激光雷达的作用的确是大大下降了。

宜将剩勇追穷寇，不可沽名学霸王。

在良好光照条件下，视觉占用网络的两种优异特性给了激光雷达重重的打击，ISP的进化又进一步削弱了激光雷达在暗光、炫光和逆光场景下的优势。

插一句题外话，在雨雪雾天气条件下，激光雷达的工作特性尽管比摄像头好一些，但跟毫米波雷达相比，摄像头和激光雷达大哥不说二哥，工作特性都比较差，那些认为激光雷达能抗恶劣天气的说法其实是不对的。

摄像头既然可以通过视觉神经网络算法的进步提高三维建模能力，当然也可以通过其他技术的进步提高抗暗光和抗强光的能力，ISP就是这样的技术之一。

目前，ISP算法的进步已经可以比较好地支撑摄像头在暗光和逆光下的表现。

说起来，原理倒也不复杂。在一般的暗光条件下，通过自动增益控制技术，根据环境光线自动调整图像亮度和对比度，拉高特别暗的区域的像素值，就可以显露暗光区域丢失的画面细节。

强光条件下，场景中不同区域亮度的差异大，采用高动态范围技术，抑制强光部分的过分曝光，就可以同时兼顾亮部和暗部的细节，做到亮处不过曝、暗处细节不丢失。

说起摄像头的这种超能力，有一个有趣的对比。

有种说法认为，人眼大概相当于3-6亿像素的相机，目前800万像素的车载摄像头永远无法和人类相比。

但是，有了AI ISP技术，摄像头可以自动调节不同区域图像的对比度和曝光强度，这显然是AI技术加持的摄像头能碾压人眼的地方。

不要觉得不可思议，这一轮AI技术大爆发以来，大模型已经在很多层面上超越了人类的能力，AI ISP技术只不过是AI技术在图像处理领域的又一次秀肌肉而已。

做人不能刻舟求剑，死守着老理儿，尤其在技术快速发展的年代，更得时刻保持刷新自己认知的能力。

长江后浪推前浪，后浪把前浪拍倒在沙滩上。

AI技术的进步催生了视觉专用网络，增强了摄像头在暗光、炫光下的工作能力，但这并不意味着激光雷达从此没有了价值。

原因有二，第一，视觉占用网络的源头来自激光雷达，第二，摄像头在暗光、炫光下依然比不上激光雷达。

万事万物都有缘起，药匣子说不想知道自己是怎么来的，只想知道自己到底是怎么没的，但我们要知道的恰恰是：视觉占用网络到底是怎么来的？

这几年，网上经常出现搭载激光雷达的特斯拉车型的照片，按马斯克一条路走到黑的性格，这当然不意味着特斯拉下一代车型要加装激光雷达，这只不过说明，它的视觉占用网络需要激光雷达提供真值做训练。

具体的做法是，将高质量、高线数的激光雷达搭载在特斯拉的车型上，在路侧中收集数据，在自动化数据生产线中做数据标注，通过激光雷达点云包含的距离几何信息在摄像头图像中标注出精确的3D信息，将精标后的数据投喂给视觉神经网络做训练。

如此乾坤大挪移，视觉神经网络就学到了激光雷达获取3D信息的能力。

很显然，视觉占用网络模仿学习的是激光雷达的能力，和真值提供者当然会存在一定的差距。

再说到光照条件，激光雷达通过光线的飞行和反射测量物体距离，这种工作特性和光线亮暗一点关系都没有。

摄像头就不一样了，ISP技术处理强光比较容易，但在真正的暗光条件下，其工作能力比较差。

巧妇难为无米之炊，没有足够的光线反射到摄像头的感光单元上，AI ISP技术也无法“无中生有”。

在光线真的很弱的情况下，上帝说没有光也就没有了光，它儿子耶稣来了也没用，我说的。

看这张图，摄像头的抗暗光能力远逊色于抗强光能力，其道理就来自于这里。

随着算法的进步和更多数量的训练，视觉占用网络可以越来越准确地估计3D信息，但是，激光雷达可以提供真实而非估计的几何3D信息。

在暗光条件下，激光雷达雷达具有更强的工作能力。基于这两种能力，单纯看智驾，摄像头也依然无法消灭激光雷达。

严谨一点的话，可以再加一个定语，摄像头无法消灭高阶智驾中的激光雷达。

http://mp.weixin.qq.com/s?__biz=MzA4ODUzMTYyOA==&mid=2650818880&idx=1&sn=a2f9516758a5b210347c8983a3fe0bc0

林燃同学的自留地，燃擎频道的公众号，联系邮箱1518383550@qq.com

最新文章

限时一口价9.98万起的逍客荣誉版：速度快，打得准，下手狠

端到端不是终点，大模型才是结局

比亚迪与丰田必有一战，日本市场就是腹心之战

郑梦九的牙山狮吼，李书福的台州宣言

造车两茫茫，轻图摆中央，谁不希望荷包鼓囊囊？

油车时代的三大件是长津湖，智驾时代的芯片就是上甘岭

极氪的后劲：打得快，上得去，铺得开

798的秦先卷带动后卷，659的MG5后浪拍翻前浪！

长城紫荆M100：魏建军奋力掷出的矛，扎透列强们挖空心思的盾

乐道Baas方案一旦普及，蔚来换电将彻底跑通，这可是比软件收费更猛的商业模式

把伊犁的草原湖泊都装心里，驭见212，越最真诚的野，做最自由的人

小鹏汽车：学习比亚迪，挑战比亚迪

端到端的内部矛盾，是一体化更犀利，还是分段式更锋芒？

给造车上强度，新势力卷造芯片

那些年，被魏建军怼过的合资车！

单纯看智驾，摄像头能不能消灭激光雷达？

大厂吃上大模型的热乎饭，用户是得给智能座舱点个赞

上市首月销量破万，吉利银河E5是如何俘获年轻家庭用户芳心的？

特斯拉想要干翻新势力，就得祭出核武器FSD

视觉方案是辟邪剑谱，激光雷达是葵花宝典

再见，成都车展！

百度智驾的落寞：一大早长起来的笋，没有钻破正午后才卷的壳

凯迪拉克如果真得撤，那谁陪你我夜笙歌？

六耳猕猴后是真大圣还是假大圣，真无图和轻地图到底谁更有前途？

就是因为All in 华为，活该赛力斯杀出黎明

中国车市不能没有上汽通用！

大六座SUV哪家强，蓝山是端到端的大魔王！

理想能不能杀进自动驾驶前三？

想当网红的夏一平，能不能让极越脱困

长安汽车的坑不大，但填起来很慢

放心，Robotaxi砸不了网约车的铁饭碗

深度研判魏牌全新蓝山，到底是不是智驾第一梯队？

中国车市想要渡过逆周期，离不开魏建军捍卫的新秩序

本土最强智驾的天王山之战，华为乾崑ADS凭啥可以劳资蜀道山

高中生就是高中生，发个朋友圈都带拼音

车圈父子情：学习晚辈超越晚辈，拜个义父掏空义父

左手技术平权，右手悦己宜家，方程豹豹5够不够City？

奥迪损有余而补不足，均输平准搞到最后，大概率是南北双输

研判长城NOA：端到端对新势力贴脸开大，大模型第一梯队遥遥领先

奥迪：起初的划江而治，最后变成了文字游戏

端到端从不相信软件领先的眼泪，传统巨头一学会就把新势力干废

萝卜快跑跑出自动驾驶的未来，智驾先行者极狐为想象插上翅膀

卷不动的BMW，回不去的BBA

奥迪番号调整，表面是博弈，实际是折腾

善战者吉利

从比亚迪年中销量谈起：销量、结构、出海，高质量的一键三连

东风日产，合资样板

已经错过最佳时机，雷克萨斯国产没啥戏？

只有登上FF桥梁的快船，中国品牌才能北美蓝海扬帆，从疯狂内卷变出海外展

站在当下，赢得未来，小车之王极氪X比电动MINI更值得拥有！

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉