端到端对传统的自动驾驶算法开发影响有多大?

汽车   2024-09-20 08:01   上海  

最近星球很多小伙伴和我吐槽,端到端技术的兴起已经让他们的岗位有了点被“淘汰”的危机感,尤其是当特斯拉已经将代码量从30万行降低到了3000行,专写后处理代码的同事都开始考虑转行了。

事实是否如此呢?首先,现在国内大部分厂商在数据量和算法层面距离特斯拉还有一定差距,暂时无法做到这样的变革;其次,基于规则的很多逻辑是可解释性强,且是可以为最终安全兜底的一个环节,并不会完全被淘汰;再就是公司在选择方案的时候,绝不会是立马推倒重来,而是有一个转身的过程。

不过,青山遮不住,毕竟东流去。端到端方案的兴起,乃至具身智能的爆火,都是资本和前沿科学家都觉得大势已来的产物。我们作为算法工程人员,可能是做感知,建图,规控等等模型相关,也可能是写大量后处理代码对算法打补丁的,都正在面临一个挑战,那就是转身。只有我们自己转身快,拥抱大势,那么将会继续在这个行业内吃到红利,否则可能就会被动选择。所以建议小伙伴们在埋头苦干,写代码之余,一定要多多抬头研究现在自动驾驶行业的技术发展方向,提前转身,而不是抱着“车到山前必有路”的心态。

如何去做,怎么转身,并没有一个唯一的答案,虽然是有解的。就像神经网络模型一样,输入大量各种模态的“好数据”,最终的泛化能力一定是超乎想象的。所以,我们还是要坚持输入“好且对的知识”,技术上有什么疑问,一定要和周边同学或交流学习平台上的同学多交流,并为它搜寻相关资料,补充自己的弱项,本身就是一种能力的体现,独学而无友则孤陋而寡闻。这里推荐一下自动驾驶之心一直投入较多时间维护的社区:自动驾驶之心知识星球已经近3500人了!说句心里话,作为长期排名前十,内容和活跃度超过99%的平台,我们倾注了全部心血,社区就像个孩子一样,在大家细心的照料下,终于长大成人了。开学季来临,我们给大家准备了一个现金优惠大礼包,绝对超值。

新用户优惠!微信扫码领取

自动驾驶发展非常快,时刻关注行业动态和研究报告是把握方向的捷径,星球积累了几百的行业前沿报告和技术视频分享,并且高频更新中,加入【自动驾驶之心知识星球】全部可以获取,部分内容一览:

星球近期关于端到端方案也做了详细整理,主要关于端到端量产方案、端到端最新综述、端到端自动驾驶的一些思考、相关workshop、开拓与里程碑方法、纯视觉端到端、多模态端到端、世界模型与端到端、多任务学习与端到端、BEV与端到端、端到端的长尾分布、端到端与可解释性、域适应与端到端、端到端知识蒸馏等等!

自动驾驶之心知识星球,创办于2022年7月份,致力于打造为自动驾驶行业中的 ”黄埔军校“,目前已近3500人,聚集了近50+自动驾驶行业专家为大家答疑解惑。这是国内首个以自动驾驶技术栈为主线的交流学习社区,汇总了自动驾驶感知(目标检测、语义分割、车道线检测、BEV检测、Occupancy、在线地图、目标跟踪、多模态、多传感器融合等)、自动驾驶定位建图(高精地图、SLAM)、自动驾驶规划控制与预测、多传感器标定、端到端自动驾驶、自动驾驶仿真、自动驾驶开发、领域技术方案、AI模型部署落地等几乎所有子方向的学习路线!除此之外,还和数十家自动驾驶公司建立了1v1内推渠道,简历直达!这里可以自由提问交流,许多算法工程师和硕博日常活跃,解决问题!初衷是希望能够汇集行业大佬的智慧,在学习和就业上帮到大家!星球的每周活跃度都在国内前30,非常注重大家积极性的调度和讨论,欢迎加入一起成长!在开学季的新节点,我们也给大家准备了很大的红包,欢迎加入大家庭一起成长。

新用户优惠!微信扫码领取

星球内已经打磨出近30+的学习路线,涉及端到端自动驾驶、BEV感知、动态/静态障碍物检测、多传感器融合、多传感器标定、目标跟踪、模型部署与cuda加速、仿真等方向,沉淀了大量工程上的解决方案、学术上的优化思路!星球主要内容一览:

星球详细内容一览

国内最前沿的视频分享

除了日常的文档、问答分享,星球内部会不定期邀请CVPRICCV、ECCV、NIPS、TPAMI等各类顶会顶刊作者以及国内外各大顶尖自动驾驶公司团队前来直播分享,就死磕两件事,如何量产和research研究方向,非常适合工业界和学术界的小伙伴!目前星球内已经积累了大量的视频干货,涉及近50个子方向!

视频直播内部每周1~2次,每年计划100场左右。

面试求职的自动驾驶一百问

星球内部针对常见的技术方案、问题难点展开了汇总,自研了国内首个自动驾驶一百问系列,大家可以实时查找学习!目前已经完成TensorRT模型部署与CUDA加速、毫米波雷达视觉融合、车道线检测、规划控制、BEV感知、轨迹预测、多传感器标定、Occupancy、NeRF、4D毫米波雷达、多模态3D感知等多个系列。部分内容一览:

星球每天的讨论有哪些?

自动驾驶之心知识星球的定位是直接面向工业界和量产,所以这里有很多工作上遇到的问题,比如如何处理视觉感知误检问题、如何轻量化BEVFusion和Occ模型、如何优化在线高精地图模型、如何使用TensorRT部署自己的模型;除此之外,我们做到了国内外自动驾驶工作的实时更新,最新工作3天内将会在星球内公布,一起讨论后半年甚至下一年的方向动态,一切为了实用。

详细的问题讨论一览:

更为重磅的是,我们保证了当天必须解决大家的问题,星球的几个创始人都是行业的算法专家,基本cover住所有子方向,除此之外,更有50+的算法开发专家一起讨论,你踩过的坑我们前面都踩过。

星球的嘉宾组成

自动驾驶之心同时面向学术界和工业界领域展开,所以为大家请来了很多行业知名的算法、系统专家、学术界大佬,日常和大家交流答疑!

星球成员的背景

星球成员主要来自地平线、蔚来、小鹏、理想汽车、AI Lab、商汤科技、旷视科技、百度、阿里、网易、Momenta、Intel、Nvidia、赢彻科技、图森未来、智加科技、AutoX、大疆、上汽、集度、斑马、华为等业界知名公司,以及苏黎世理工、卡耐基梅隆大学、普渡大学、东京大学、香港中文大学、香港科技大学、香港大学、清华大学、上海交大、复旦大学、浙江大学、中科大、南京大学、东南大学、同济大学、上海科技大学、哈工大等国内外知名高校;

星球会员权益

  1. 免费获得50+专业嘉宾的答疑解惑(有问必答)
  2. 永久免费浏览、下载星球内容(目前近5000干货内容,每天更新)
  3. 所有自动驾驶之心的付费课程8折优惠(价值近2500元)
  4. 直播视频免费无限期回放(一年近100场)
  5. 星球积分榜前10名,获得丰富现金奖励
  6. 免费咨询求职招聘相关问题
  7. 加入专属VIP群,获得最新资讯

星球日常问答一览

日常交流最实际的工程、学术问题和求职择业相关!

知识星球主要模块

CV图文教程:网络结构可视化、算法原理图解;

视频教程:星球内部技术分享视频完成了几十场技术直播分享,包括语义分割、毫米波雷达视觉融合、在线地图、BEV感知、Occupancy、多传感器标定、传感器部署、高精地图制作关键技术、规划控制、轨迹预测、自动驾驶行业与求职分析、自动标注与数据闭环、自动驾驶仿真等多个方向(星球内部观看)!以及优秀开源课程,涉及相机标定、伯克利深度学习与计算机视觉、百度优达学城、Apollo自动驾驶、Udacity自动驾驶、MIT自动驾驶、Carla自动驾驶仿真等系列视频课程;

日常paper分享:BEV感知、3D目标检测、多模态融合、语义分割、车道线、多任务学习、点云深度学习、多目标跟踪、传感器空间和时间同步、鱼眼感知与模型、轨迹预测、端到端、轨迹预测、高精地图、SLAM、规划控制、V2X、Occupancy network、NerF、Gaussian Splatting、测速测距、强化学习、VIT、轻量化等;

职位与面经分享:自动驾驶行业职位内推、面经分享、入门学习路线分享;

日常问答交流:和嘉宾星主交流领域学术工业最新进展,包括领域方案、工程实战问题、学术界前沿动态;

面向对象与群体

星球创建的初衷是为了给自动驾驶行业提供一个技术交流平台,包括需要入门的在校本科/硕士/博士生,以及想要转行或者进阶的算法工程人员;除此之外,我们还和许多公司建立了校招/社招内推,包括地平线、百度、蔚来汽车、理想汽车、小鹏、momenta、赢彻科技、AutoX、华为、集度、滴滴、Nvidia、高通、纵目科技、魔视智能、斑马汽车、博世、纽劢科技、寒武纪等!

如果您是自动驾驶和AI公司的创始人、高管、产品经理、运营人员或者数据/高精地图相关公司,也非常欢迎加入,资源的对接与引进也是我们一直在推动的!我们坚信自动驾驶能够改变人类未来出行,想要加入该行业推动社会进步的小伙伴们,星球内部准备了基础到进阶模块,算法讲解+代码实现,轻松搞定学习!

星球主要关注的方向

深度学习模型2D目标检测鱼眼感知任务
3D目标检测语义分割任务目标跟踪
车道线检测多传感器融合多传感器标定
BEV感知算法Occupancy模型毫米波雷达
视觉/激光/多模态SLAM在线高精地图轨迹预测任务
规划控制V2X协同感知端到端任务
强化学习大模型与自动驾驶测距测速
点云处理算法NeRF与Gaussian Splatting滤波类算法

0.自动驾驶顶会与公司

星球内部为大家汇总了CVPR、ECCV、IROS、RSS、TPAMI、IV、ICIP等自动驾驶领域顶会和顶刊,以及图森、智加、主线科技、集度、滴滴、纵目、元戎启行、momenta、蔚来小鹏理想等近80家公司介绍(可以内推!)

1. 计算机视觉相关数据集

数据集是AI任务的基石,然而大多数数据集都是国外机构开源,数据量较大,下载速度缓慢,这两个缺点导致很多研究人员在数据获取上为难,为此星球内部已经为大家准备了近30种计算机视觉和自动驾驶相关数据集,包括KITTI、Waymo Open Dataset、Lyft L5、COCO、Semantic3D、A2D2数据集、车道线数据集、车牌数据集、行人检测数据集、红绿灯检测数据集等,一键下载;

2. 2D/3D标定工具与仿真

星球内部为大家汇总了2D检测、3D点云检测、语义分割、实例分割、3D点云分割、视频检测、交互标定、多传感器标定等工具,还有各类仿真框架,可以快速适配到自己项目中。

3. 基础学习资料

整理了从自动驾驶感知、跟踪、滤波专业算法技术,到深度学习数学基础和图像处理、经典计算机视觉算法、Opencv、Pytorch以及C++、Python、GPU和Cuda近50本pdf学习资料!

4.  Backbone与Transformer

主要关注常用的轻量化、高性能backbone,以及视觉transformer结构与优化;

5.  2D目标检测

关注anchor-based、anchor-free、one-stage、two-stage、超全YOLO系列、小目标检测、多任务模型、长尾分布、误检消除、难例挖掘、定位精度优化等内容;该模块汇总检测领域的经典综述和论文,从结构、数据增强策略、采样策略、不均衡问题、半监督、知识蒸馏上展开研究;

6.  分割任务

汇总了常见的2D语义分割、实例分割、全景分割以及3D点云分割SOTA算法,并对分割任务中的边缘轮廓分割模糊不细腻问题展开讨论;

7.车道线检测

对基于检测、分割、分类、关键点、曲线预测、多传感器检测、3D车道线SOTA方法进行了汇总,对车道线遮挡、磨损、不连续问题展开了讨论!

8.BEV感知

针对视觉BEV感知中的LSS方案、无参方案、Cross Attention方案、轻量化BEV方案、预训练模型、单目BEV方案进行了汇总,也关注基于LV、RV的多模态方案,以及BEV下的多任务学习、Lidar-BEV方案、大语言视觉模型、部署与跟踪等等。

9.Occupancy Networks

星球内部针对单目Occupancy方案、开集Occupancy方案、Occupancy预训练模型、Occupancy低成本方案、4D占用预测任务、全稀疏Occupancy任务、无3D监督Occupancy任务、NeRF+Occupancy任务、Occupancy与世界模型、自监督Occupancy任务等展开了讨论。

10.鱼眼感知

针对鱼眼和全景相机在自动泊车、近域感知上的应用展开,主要包括相机标定、鱼眼全景相机系统、自动泊车系统、环视数据集、鱼眼深度估计、鱼眼目标检测、鱼眼SLAM、语义分割等方向!

11.目标跟踪

针对单目标和多目标跟踪,基于Siamese Network、Tracking-by-detection、传统滤波+关联算法、end2end等方法进行全面展开阐述,后续更会加入变速情况下的跟踪系统;

12. 3D目标检测

从点云和多模态数据3D检测任务展开,基于BEV、点、体素、多camera数据的3D检测方案;

13.传感器标定

主要关注自动驾驶领域常见的Camera、Lidar、Radar、IMU之间的离线、在线标定,多相机、多激光雷达之间的标定,自动标定,传感器时间同步等;

14.多传感器融合

星球内部汇总了数据级融合、目标级融合、特征级融合、端到端融合、弱融合、不对称融合等多种方案!

15. SLAM与高精地图

汇总了单目SLAM、RGB-D SLAM、激光SLAM、毫米波SLAM、高精地图定位方法、自定位方法!以及领域内最常用的高精地图制作方法!

16.CUDA/模型部署/量化加速等

汇总了模型压缩、裁剪、量化、权值共享、模型加速、知识蒸馏、量化工具等数十篇干货介绍!以及TensorRT、NCNN、Opencv、MNN方案部署检测、分割、关键点、分类模型实战;

17.轨迹预测

重点关注行人、车辆、基于机器学习、深度学习、强化学习、纯视觉、多模态方式的预测!

18.规划控制

涵盖所有的规划控制方法,重点关注行车、泊车、机器人等应用领域!

19. 大模型与自动驾驶

涵盖通用领域大模型和自动驾驶垂直行业大模型,经典算法与应用应有尽有!

20. 端到端自动驾驶

涵盖端到端量产方案、端到端最新综述、端到端自动驾驶的一些思考、相关workshop、开拓与里程碑方法、纯视觉端到端、多模态端到端、世界模型与端到端、多任务学习与端到端、BEV与端到端、端到端的长尾分布、端到端与可解释性、域适应与端到端、端到端知识蒸馏等!

21. NeRF与Gaussian Splatting

22. V2X车路协同

23. 强化学习

24. 其它

在感知定位融合之外,还汇总了测速测距、大量机器人/自动驾驶规划方法以及图像加速CUDA方法等~

欢迎加入

欢迎大家扫码加入自动驾驶之心知识星球,我们诚邀前期成员的加入,一起创造一个全技术栈的自动驾驶开发者社区!星球成员的加入平均每天不到1元,欢迎扫码加入一起学习一起卷!

新用户优惠!微信扫码领取

ADS智库
聚焦 ADAS \x26amp; ADS 相关内容,公号发消息『我来了』免费领取 10G+ 自动驾驶资料
 最新文章