图片来源：Yole
本篇是“雪岭 · 自动驾驶”系列文章的第二篇，主要介绍自动驾驶的感知系统。
所谓“感知系统”，从狭义角度来讲，主要是指自动驾驶特有的感知单元，例如摄像头、毫米波雷达、激光雷达、超声波雷达、高精地图等。如下：
图片来源：Perception and Sensing for Autonomous Vehicles Under Adverse Weather Conditions: A Survey
不过，如果从广义角度来讲，只要是参与到自动驾驶系统工作的感知单元都可以涵盖，例如湿度传感器、驾驶员监控、车速传感器、扭矩传感器等。这些感知数据会参与到自动驾驶状态机的跳转判断，或者规划控制的指令计算。
广义自动驾驶感知系统可以分为如下几类：
绿色底纹：自动驾驶核心传感器，决定自动驾驶的关键感知性能，为规划控制提供主要的感知输入。
黄色底纹：自动驾驶重要传感器，会应用在控制链路中，参与指令计算。
灰色底纹：自动驾驶辅助传感器，主要用于协助判断自动驾驶的工作模式。
限于篇幅，本文主要介绍自动驾驶中最重要的4种传感器：摄像头、激光雷达、毫米波雷达和超声波雷达。（其他传感单元在后续文章中再展开）
01
激光雷达
1. 基本原理
激光雷达的原理请参考：《激光雷达系列（一）：原理、分类和发展趋势》
如下是不同方案激光雷达的工作原理（视频来源：B站）：
机械式：
MEMS方案：
线光源+一维转镜方案
Flash方案：
激光雷达在应用中，经常会出现：高反“鬼影”、高反“膨胀”、点云粘连、吸点、雨雾、粉尘和雪干扰、内部串扰（Crosstalk）、光干扰、外部雷达干扰、电磁干扰、地面积水干扰等问题。相关原因和应对方案请参考：《雪岭 · 激光雷达常见点云异常场景分析》
例如，路边指示牌的“鬼影”：
图片来源：速腾聚创
2. 应用场景和主要产品
激光雷达主要用于前向感知，在自动驾驶要求比较高的场景中，还经常会使用激光雷达检测后方以及侧面目标。
对于装配激光雷达的主要车型，请参考：《激光雷达系列（三）：配备激光雷达的汽车汇总（含安装方式）》（链接：https://zhuanlan.zhihu.com/p/688537867）
图片来源：https://zhuanlan.zhihu.com/p/688537867
2024年1月~4月，主要激光雷达厂商车用激光雷达装车量如下：
数据来源：微信公众号“NE时代智能车”，“特旧闻”，数据处理：雪岭飞花
国内主要的几家激光雷达公司（禾赛、速腾、图达通、华为等）的产品介绍，请参考：《激光雷达系列（二）：国内主要激光雷达公司产品简介》
（注意：下面图片中数据来自于各公司官网、其他网络数据以及相关行业专家，和真实情况未必一致，仅供参考，最终请以官方正式发布数据为准）
禾赛
华为
华为96线激光雷达拆解分析：《55图分析：华为激光雷达详细拆解和系统方案》
该文章分析的是D2侧面雷达，而D2前向雷达的芯片方案和侧面雷达不同，D2前向雷达采用了海思Hi3559和两片FPGA：
图片来源：pointlessofmyriad-01
华为192线激光雷达拆解分析：《发布 · 华为最新192线激光雷达拆解分析报告》。华为D3相对于D2一个比较大的变更是，激光器由EEL变更为了VCSEL线光源：
速腾
速腾MX方案分析：《凭啥做到1000元级？速腾最新产品MX分析》
图达通
一径
法雷奥
Innoviz
3. 技术趋势
激光雷达的演进趋势如下：
1）波长
905nm/940nm技术近两年取得了长足进步，测距能力大幅提升，并且成本更低，因此是目前激光雷达的主流波长方案。
根据Yole的报告，905nm技术占据89%的市场份额：
图片来源：Yole《Automotive LIDAR Market: Competitive Dynamics, Technology Evolution, and Revenue Trends》（Automotive LiDAR conference 2023, October 3-5 ）
2）扫描方式
Lidar正在经历“机械式 → 半固态 → 全固态”的发展过程。当前乘用车主要以转镜类和MEMS类的半固态方案为主。全固态Lidar主要以Flash技术为主，目前主要用在补盲领域，不过量产车型并不多。
MEMS微振镜口径较大，但在极端振动条件下使用时，良率较低。在目前市场上最新的产品中，采用转镜方案的更多。
Yole对于不同扫描方案的占比预估：
图片来源：Yole《Automotive LIDAR Market: Competitive Dynamics, Technology Evolution, and Revenue Trends》（Automotive LiDAR conference 2023, October 3-5 ）
转镜路线的核心要素是电机控制，以及针对特定波长高反射率的镀膜反射镜。
转镜一般搭配振镜或者线光源实现激光扫描，其中，转镜用于水平扫描，振镜或者线光源用于垂直扫描。因此，“转镜+振镜”也被常被称为2维扫描，“转镜+线光源”被称为1维扫描或者1维扫描+电子扫描。
“转镜+线光源”的优势在于发射的是连续的线光斑，因此垂直方向的分辨率非常高。禾赛AT128的转镜+电子扫描：
图片来源：禾赛
图达通falcon激光雷达采用“转镜+振镜”方案，该方案灵活度较高，通过改变转镜和振镜的转速，能够设计灵活的ROI。
图片来源：中信证券
3）光路
光路分为旁轴光路和同轴光路两种类型。
旁轴光路：发射光路和接收光路是非同轴的，使用各自的透镜，即旁轴光路，该光路优点是成像清晰程度较高，缺点是近场盲区较大。华为D3的旁轴光路：
同轴光路：收发共用一组透镜，检测更为直接，易于对光路进行校准，近场盲区小。缺点是成本稍高，内部结构稍复杂，而且成像清晰程度比独立的旁轴成像要稍差。目前速腾、禾赛等产品基本都是采用同轴光路，例如禾赛的AT128的同轴光路：
图片来源：绿芯频道
4）发射器
激光雷达发射器的发展路径如下图所示：
多层VCSEL激光器的发光功率密度得到了大幅提升，凭借在成本及性能方面的优势，VCSEL正逐步取代EEL。
图片来源：网络
EEL和VCSEL的指标对比：
根据排布方式的不同，VCSEL又可以分为单点VCSEL（点光源），线阵列VCSEL（线光源）以及面阵列VCSEL（面光源）。
线光源VCSEL可以大幅减少VCSEL器件数量，降低成本，减少走线，降低系统复杂度，提升良率。不过，VCSEL集成度越高，散热挑战也越大。如下是单点VCSEL和线阵列VCSEL的对比：
由于半固态激光雷达有机械扫描机构，因此VCSEL线光源就可以满足发光需求，是目前半固态雷达的主流光源方案。
而Flash纯固态激光雷达没有机械扫描机构，需要更多的光源数量以覆盖足够的FOV，因此大多采用VCSEL面阵列。
5）接收器
激光雷达接收器的发展路径如下图所示：
在905nm路线下，SPAD/ SiPM替代 APD 已成大势。
SPAD芯片可以集成TDC、TIA、AMP、ADC等大量后端电路，能够降低对SoC和FPGA的算力需求。
SPAD的研发门槛很高，目前市面上真正能够做到车规级的SPAD传感器，只有安森美的Padion SPAD和索尼的IMX459等少量产品。而在中国自主品牌阜时科技、灵明光子、芯辉科技、宇称电子等也在布局研发车规SPAD。
其中，索尼IMX459是目前激光雷达应用最广泛的SPAD SoC，该芯片在2021年发布，其分辨率为597×168，SPAD间距10μm，PDE达到24%。
图片来源：Sony
索尼SPAD采用背照式像素结构、堆叠结构和Cu-Cu连接等技术。
图片来源：Sony
下图是SPAD放大之后的横截面和俯视图。传感部分位于顶部，逻辑电路位于底部，中间通过Cu-Cu键合。微透镜几乎完全覆盖像素，从而尽量多的进行回光的收集。
图片来源：ADAS之眼，Sony
索尼的下一代SPAD是IMX479，探测效率（PDE）高达50%，据说已经在华为和禾赛内测，并且有了Demo样机。
如下图是华为D2和D3使用的SPAD芯片对比：
未来，SPAD芯片有可能集成度越来越高：
来源：禾赛科技招股书
6）TCSPC探测技术
TCSPC探测方法（时间相关单光子计数法，Time Correlated Single Photon Counting，TCSPC）是目前比较常用的检测方法。
SPAD极为敏感，环境光噪声也可以被SPAD检测到，如果采用单次发射进行检测，会导致检测精度不高，信噪比也非常低。因此，一般采用多次发射和概率统计的方法，来精确的获取目标信息。TCSPC方法可以将噪声识别为统计意义上的离散点，从而比较容易的滤除。
TCSPC的工作原理：
VCSEL线阵列编码m次脉冲，以不同的时间间距发射激光。其中，根据测量需求和处理不同，脉冲数量m一般取几十次到上千次不等；
每一次发射之后，在SPAD上对应区域的n个像素点同时测量，得到m个光子事件直方图（见下图）。光子事件直方图的开始时间（零时刻），即是发光单元的发光时刻，而光子事件直方图的持续时间就等于一次探测周期的长度。
采用最大峰值法、互相关法或者最小能量法，根据光子事件直方图得到某个点的深度信息。
TCSPC通过记录在固定时间内光子事件的频次及到达时间，还原出光子事件数随事件变化的直方图，进而拟合出目标的深度信息。TCSPC方法具有很高的时间精度、时间分辨率和光子利用率，是目前主流的测距方案。
7）FMCW激光雷达
各主要激光雷达公司都在预研FMCW激光雷达，这种雷达有望成为车载激光雷达的终极方案。详见：《1.5万字初探：车载激光雷达的终极形态——FMCW激光雷达的原理、优势、方案和玩家》
02
毫米波雷达
1. 基本原理
雷达在军用、民用、航空航天领域用途广泛，不同产品的波段分布如下图所示。其中，车载毫米波雷达常用的是24GHz（K波段，基本淘汰）、60GHz（V波段，主要用于舱内、门防撞等超近距场景）和77GHz（W波段，目前最常用频段）：
图片来源：网络
民用常见毫米波雷达的波段分布：
图片来源：工信部、AIoT星图研究院
毫米波雷达原理详见：《毫米波雷达系列（一）：毫米波雷达简介》（链接：https://zhuanlan.zhihu.com/p/686260069）
目前市场上主要是FMCW调制的毫米波雷达，其系统架构如下：
FMCW原理：
图片来源：SiLC
毫米波雷达的一般结构：
图片来源：BOSCH
毫米波雷达的关键指标和影响因素：
资料来源：CSDN
毫米波雷达的常见性能局限场景分析：《毫米波雷达系列（二）：毫米波雷达的性能局限》，以及《雪岭 · 毫米波雷达典型“误报漏报”场景分析》
图片参考：Jeroen等，Uncorrelated Interference in 79 GHz FMCW and PMCW Automotive Radar，后处理：雪岭飞花
2. 应用场景
车载毫米波雷达目前主要用在前向雷达，角雷达，舱内雷达和门雷达。
图片来源：GGAI、头豹、AIOT星图研究院
1）市场情况
如下是2020~2023年中国市场乘用车毫米波雷达搭载量：
图片来源：中国毫米波雷达产业分析报告（2023）
汽车智能化发展趋势明显，毫米波雷达搭载增速水平远高于国内汽车市场整体增速水平；
角雷达搭载量快速增长，车载毫米波雷达需求正从1R向3R-5R多雷达搭载方案延伸；
我国车载雷达市场的主要玩家：
图片来源：中国毫米波雷达产业分析报告（2023）
前向雷达一般会涉及车辆控制，功能安全等级要求较高，研发难度高。
2023年1-6月，博世、大陆、电装三大供应商占据超过84%的市场份额，森思泰克、楚航科技、华锐捷、华为等国内供应商占比2.74%。
图片来源：中国毫米波雷达产业分析报告（2023）
角雷达研发难度较低，市场集中度低于前向雷达。国内供应商占比相对较高，市场份额逐步扩大：
图片来源：中国毫米波雷达产业分析报告（2023）
2）前雷达和角雷达
如下是大陆ARS540的FOV示意图：
图片来源：大陆
如下是BOSCH五代角雷达（CR5CP）的FOV示意图：
图片来源：BOSCH
前雷达和角雷达公开信息较多，这里不再赘述。
3）车内成员检测雷达
车内成员检测雷达一般安装在汽车天窗附近，隐藏在顶棚内部。
图片来源：森思泰克
车内成员检测雷达可以感知整个座舱区域、探测目标并对其进行分类和生物特征的监测，监测车内人数以及座位的占用情况。可以防止儿童以及宠物被遗留在车内而发生意外，一旦有儿童被遗留在车内，系统会输出报警信息给驾驶员。
图片来源：森思泰克
4）呼吸心跳检测雷达
呼吸心跳检测雷达实时检测驾驶员的呼吸和心率等体征信息，为驾驶员疲劳驾驶、突发疾病等问题提供智能化的解决方案。
图片来源：森思泰克
5）手势检测雷达
手势检测雷达可以识别手势，可以实现非接触式的操控功能。
图片来源：胖胖橙，《基于毫米波雷达的手势识别原理》https://zhuanlan.zhihu.com/p/363654621
6）开门避障雷达
开门避障雷达一般安装在车门下边缘位置，当汽车驻车开门时，雷达检测门周围障碍物，如果发现有碰撞风险，会控制车门自动停止，从而实现下车警示、开门防撞等功能，避免车开门事故的发生。
图片来源：森思泰克
例如，森思泰克STA79-6 开门避障雷达：
图片来源：森思泰克
7）电动尾门雷达
电动尾门雷达一般隐藏安装在车尾正后方底部。当车辆处于驻停模式且钥匙在特定范围内时，开启工作。电磁波可以穿透保险杠探测脚部运动，识别到特定动作后，发出指示控制尾门开关，从而达到释放双手，打开尾门的目的。
图片来源：小鹏
森思泰克STA79-7电动尾门雷达：
图片来源：森思泰克
3. 技术趋势
毫米波雷达产业发展历程图：
资料来源：AIoT星图研究院
毫米波雷达的发展趋势：
资料来源：加特兰、Yole，AIoT星图研究院
1）4D成像技术
4D成像毫米波雷达是目前车载毫米波雷达的重要方向，基本所有的毫米波雷达玩家都在研发4D成像技术。
关于4D成像雷达，详见：《4D成像毫米波雷达应用现状和发展趋势》，以及《万字介绍：4D成像毫米波雷达方案和34家主要雷达公司产品》
4D成像毫米波雷达具有较高数量的点云密度、较高的角度分辨率和高度测量能力，和一般毫米波雷达的对比如下：
部分前向4D成像毫米波雷达的性能指标：
2）FMCW编码调频技术
通过对Chrip参数的编码，提高雷达的抗干扰能力。例如，frequency hopping模式、chirp shifting模式等。
图片来源：加特兰，https://www.zhihu.com/question/468198654/answer/2703203307
3）PMCW编码调相技术
PMCW雷达采用匹配滤波器进行距离维的计算，匹配滤波器的主瓣宽度很窄，因此具有更高的对比度分辨率（HCR），更容易区分相距较近的强弱目标，同时具有更好的抗干扰能力。
图片来源：CSDN
4）波导天线
波导天线可以在X-Y-Z三个方向进行布局，天线的损耗更低、设计更加紧凑、缩小天线和雷达面积，能够实现更高增益的天线设计，并且实现更高效率的馈电网络，从而进一步提升雷达测距和测角分辨率性能。
部分厂家的波导天线：
5）封装上装载 (LoP)
在使用3D波导天线时，LoP技术可以将MMIC与3D波导天线进行无缝集成，射频信号从芯片经过PCB的波导，直接发射到3D天线中。LoP技术可以实现更好的SNR性能、更容易的热管理、更好的辐射隔离性能、更低的成本以及更高的灵活性。
LoP技术示意如下图所示，该技术目前已经被TI、加特兰等多家毫米波雷达芯片公司所采用。详见：《毫米波技术的进步：适用于汽车雷达的封装上装载 (LoP) 技术》
图片来源：TI
6）超分辨率算法
通过软件方法，提升分辨率，减少由于分辨率不足导致的误报漏报问题。
雷达成像超分辨算法是一种通过对原始雷达数据进行处理，以实现超分辨率成像的技术。就是通过“插值”算法，把一个过于离散、失真、低分辨率的函数，通过内插信息的方式重建成一个采样率更高、失真度更低、分辨率也更高的函数。
多普勒域超分辨：利用多普勒效应，对回波信号进行频谱分析，从而实现对目标速度和距离的高精度测量；
多通道脉冲压缩：将多波束的数据进行合成，以提高成像的分辨率；
空时域超分辨：通过利用多通道接收信号之间的相位差异，实现超分辨成像；
机器学习方法：通过使用机器学习尤其是深度学习等方法，对原始雷达数据进行处理，以实现超分辨率成像。
7）机器学习和深度学习算法
将雷达信号处理算法放在域控，借助更高的处理器算力以及性能更好的AI算法，实现对Ghost更准确的识别。
同时，由于在域控能够更方便做多传感器前融合，从而可以进一步提升整体感知性能。
图片来源：安霸/傲酷的“Centrally Processed 4D Imaging Radar”
AI算法的开发离不开数据，不过目前4D毫米波雷达的数据集比较少，并且每种4D毫米波雷达输出的点云特性有差异。
代尔夫特View-of-Delft (VOD)数据集（https://github.com/tudelft-iv/v），采集雷达为ZF/FRGen21，主要以城市综合体交通场景为主。
采埃孚4D成像毫米波雷达数据集（https://github.com/ZF4DRadSet/ZF-4DRadar-Dataset），采集雷达为ZF/FRGen21。该数据集比VOD数据更加完整，包含了7000帧4D成像毫米波数据，和相机、激光雷达数据做了同步的采集和校准。
图片来源：ZF
同济大学数据集（https://github.com/TJRadarLab/TJ4DRadSet），采集雷达为velodyne。TJ4DRadSet 包含 7757 帧，和LiDAR、摄像头进行同步，分为 44 个序列。它涵盖了广泛的驾驶条件，包括各种照明条件，如正常照明、明暗，以及不同的道路类型，如城市道路、高架道路和工业区。
图片来源：TJ4DRadSet
03
摄像头
1. 基本原理
摄像头基本结构如下：
图片参考：舜宇智领，网络
1）镜头
镜头是车载摄像头的关键元件，一般由光学镜片、滤光片、保护膜、镜头座等组成。
镜头主要参数
通常情况下，摄像头70%的光学参数是由镜头决定，其核心参数指标：
图片来源：焉知汽车
组合镜片
镜片是镜头的最关键组件。
根据单透镜成像原理，理想像和实际存在偏差，称为像差，相差包括色像差和单色像差。
色像差简称色差。不同波长的光在通过透镜时的折射率不同，物体上的一个点，在像平面上则可能形成一个色斑。多块透镜组合的最主要的目的就是消除色差。
单色像差是与色无关的像差，单色像差又分为五种，分别是球面像差、彗形像差、像散、像场弯曲和畸变。
一组镜片每个透镜都担任自己的作用：矫正色彩、矫正色散、矫正畸变。
图片来源：网络
来源：https://www.zhihu.com/question/395140548/answer/2317350420
镜片类型
对于光学镜片，按材质可分为塑料镜片和玻璃镜片，按形状可分为球面镜片和非球面镜片。
塑料镜片基本都是非球面（采用注塑成型工艺）。
球面玻璃镜片：设计简单，但是光学性能较差，存在像差问题，需要多枚镜片组合以可以减小像差。
非球面玻璃镜片：成像效果佳，可消除像差，但是一般采用热模压工艺进行生产，工艺复杂，难度较高。
对于前视、侧视、行车后视以及CMS类镜头，大多采用1~3片非球面玻璃镜片，以及3~4片球面玻璃镜片。
对于环视、倒车后视以及舱内摄像头，大多采用3~4片非球面塑料镜片，以及2片球面玻璃镜片。
镜片的装配
镜头装配分为被动式和主动式。
被动式一般用于中低精度的镜头装配，装配精度主要由镜筒的内壁加工精度决定，而镜片与镜筒的接触一般为“面”接触。
主动式一般用于中高精度的镜头装配，镜片与镜筒之间有一定的间隙，为保证对镜片实现高精度的调整，一般镜片与镜筒支撑之间的接触为“环线”接触，或针对每个镜片半径特殊设计的“窄环面”接触。在装配过程中，监控各镜片间的相对位置，以保证其同轴性和间距。
图片来源：精密光学镜头装配中机械设计的考虑
第一梯队：舜宇光学，预计2023年市占率为40%；
第二梯队：联创电子、欧菲光、特莱斯、晶华光学、世高光（韩国）、电产（日本）、麦克赛尔（日本）等企业，市占率在5~10%不等；
第三梯队：凤凰光学、大立光电等。
2）图像传感器CIS
图像传感器CIS利用光电转换元件，将镜头投射到CIS表面上的光信号，转换为电信号。
CCD图像传感器（Charged Coupled Device Image Sensor，电荷耦合器件图像处理器），CCD传感器在灵敏度、图像质量等方面优于CMOS传感器。
CMOS图像传感器（Complementary Metal-Oxide-Semiconductor Image Sensor，互补金属氧化物半导体图像传感器），CMOS传感器在功耗、体积、成本等方面优于CCD传感器。
目前车载摄像头的图像传感器普遍采用CMOS芯片，核心指标：
图片来源：焉知汽车
图像传感器从外观看分感光区域（由像素阵列组成），绑线Pad，内层电路和基板。
图片来源：天元汽车开发
由于光线进入各个单像素的角度不一样，因此在每个单像素上表面增加了一个微透镜修正光线角度，使光线垂直进入感光元件表面。
图片来源：天元汽车开发
按技术架构的不同，CMOS芯片可分为：前照式（FSI）、背照式（BSI）、堆栈式（Stack）三大类型。目前，车载CMOS图像传感器多采用背照式（BSI）技术架构。
前照式（FSI）和背照式（BSI）方案对比如下：
图片来源：焉知汽车
堆栈式结构是在背照式架构基础上的改良方案，它将感光元件层分离出来作为上层，将线路层向下集成到另一块板上，再将二者堆叠起来，形成堆栈结构。
卷帘曝光（RS）：在曝光开始时，感光组件会逐行或逐列进行扫描并曝光，直至感光组件上所有像素点都完成曝光为止，但是每行或每列之间的曝光存在一定的时间差。
全局曝光（GS）：在曝光开始时，感光组件上所有的像素点在同一时间开始曝光，曝光结束后，光线收集电路自动切断，也就是说所有像素点之间的曝光没有时间差，同一时间曝光整幅场景。
2022年全球车载CMOS图像传感器市场份额：
数据来源：ICV Tank
3）图像处理器ISP
图像处理器ISP主要处理CIS输出的RAW数据，主要功能包括：图像缩放、自动曝光（AE）、自动白平衡（AWB）、自动对焦（AF）、图像去噪等，最终转换成RGB、YUV等格式数据。
ISP可以在摄像头模组内部，也可以外置在其他其他控制器中。
ISP处理图像数据的基本流程：
图片来源：数字成像系统ISP（Image signal processor）原理
4）AA主动对位工艺
车载摄像头普遍采用AA（Active Alignment）主动对位工艺。
区别于传统的螺纹对位镜头，采用AA主动对位工艺时，镜头与CMOS图像传感器的相对位置自由可调，通过实时采集分析成像数据，不仅可调节镜头和传感器的相对高度，还可以调节水平位置以及镜头的倾斜角度等。
AA工艺可以保证图像的全画面都很清晰，且光轴与像面的焦点处于图像中心。
2. 主要应用
车载摄像头主要有如下应用：
图片来源：焉知汽车
车载摄像头的应用场景可分两大类：舱外应用和舱内应用：
舱外应用包括泊车辅助、行车辅助、CMS、DVR等应用；
舱内应用包括DMS、OMS等应用。
图片来源：焉知汽车
例如：
图片来源：舜宇智领
3）前视
前视一体机：包含摄像头模组和信号处理和控制单元；
仅摄像头模组，信号一般接入到车机或者域控制器进行统一处理；
前视摄像头分辨率通常在2~8MP ，一般布置在前风挡位置。
单目摄像头主要应用于中低端车型，多采用前视一体机形式。
双目摄像头又可细分成两类：双目立体摄像头和两个单目摄像头（窄视角+宽视角）组合。双目摄像头少量使用一体机方案，大部分是模组+域控制器方案。
三目摄像头基本没有一体机的形态，一般是由三个不同视场角摄像头模组组合而成，数据输入到智驾域控制器进行处理。
图片来源：焉知汽车
早期，不少车型采用了三目方案，例如特斯拉HW3.0系统的三目摄像头：
图片来源：https://weibo.com/ttarticle/p/show?id=2309404526904421253195
通过不同焦距的摄像头来覆盖不同范围的场景：
图片来源：Mobileye，ZF
不过，随着摄像头像素的提升，目前新的智驾系统越来越多的采用2颗前向摄像头，例如：
图片来源：焉知汽车
4）侧视和后视
用于在行车过程中侧前方和侧后方的目标物体监测，一般是200~500万像素。
侧前视摄像头：视场角为90°~100°，最远探测距离大于80m；通常安装在B柱或外后视镜，主要用于参与交通标志识别、监控侧前向邻近车道车辆、十字路口左右侧车辆/行人监测等。
侧后视摄像头：视场角为90°~100°，最远探测距离大于100m；通常安装在车辆前翼子板，主要用于变道或汇入高速公路时侧后方相邻车道车辆的监控等。
图片来源：焉知汽车
后视摄像头：一般安装在汽车车顶后方（例如和鲨鱼鳍天线集成），FOV为100°~120°，探测距离为50m~80m，用于检测车辆正后方的目标。
图片来源：新浪
5）倒车后视
倒车摄像头（RVC）一般安装在车辆尾部（牌照灯附近），把车辆后方的场景显示到中控显示屏上，辅助驾驶员安全倒车。
RVC通常为广角摄像头，水平FOV一般在120°~140°左右，垂直FOV一般≥130°，分辨率为1MP~3MP。
倒车后视摄像头主要应用在一些低端车型上，正逐渐会被360°环视摄像头所取代。
图片来源：toutiao
6）360°环视
环视摄像头（SVC）一般有4颗，分别输出前后左右4个图像，中控屏会显示拼接好的鸟瞰图。SVC通常采用鱼眼摄像头，水平视场角（V-FOV）≥170°，垂直视野（V-FOV）≥140°，分辨率一般在1MP~3MP。
除了用于显示，SVC也可以识别近距离的车道线和目标，实现部分LDW、BSD等功能。
图片来源：https://www.junjiesz.com/product/360/
7）DMS
DMS，即Driver Monitoring System，驾驶员监测系统。
基于视觉的DMS功能，通过使用布置在驾驶员前方的摄像头来监控驾驶员，通过识别并追踪眼部、眼球、面部以及头部等部位的特征信息，经过算法处理后判定驾驶员是否存在分心、疲劳或危险驾驶行为，并能够及时提醒驾驶员。
根据“欧盟通用安全法规”，从2024年中期开始，所有新生产的四轮及以上的载客和载货机动车，都必须配备先进的驾驶员分心警告系统（ADDW）。ADDW系统主要监控驾驶员的眼睛运动，并在检测到分心迹象时发出警告。
DMS 摄像头一般使用近红外（Near Infrared，NIR）摄像头（配合NIR红外LED光源），NIR摄像头对于眼球运动检测特别有效。
DMS 摄像头采用全局曝光模式，常用分辨率在1MP~5MP，水平视场角一般为40°~70°，帧率一般≥30fps。目前主流是利用2D摄像头方案，3D方案（ToF）目前也有少量开始应用。
图片来源：http://www.mileview.cn/dmsshexiangji/140-122.html
8）OMS
OMS，即Occupancy Monitoring System，乘客监测系统，监测对象为乘客。
基于摄像头的OMS方案特点：
OMS应用一般采用RGB-IR双模式摄像头，兼顾红外面部识别和彩色图像质量。
OMS摄像头也是采用全局曝光模式，常用分辨率为2MP~5MP，水平视场角一般≥120°。
安装布置位置：内后视镜上方、中控显示屏上方等。
OMS一般可以实现如下功能：乘客占位和属性检测、识别年龄/性别/情绪等人脸属性信息、遗留物品检测、遗留儿童检测、遗留宠物检测。
图片来源：https://ai.arcsoft.com.cn/technology/omsPassengerSeat.html
9）CMS
CMS（电子外后视镜）是一套基于摄像头和显示屏的组合装置来替代传统外后视镜。
通过外部摄像头采集图像信息，经过数据处理后，将车辆侧后方的信息显示在座舱内的显示屏上。另外，摄像头还可兼顾侧后方的感知功能，比如盲区监测、障碍物提示等。
图片来源：http://www.tianhantec.com/Content/2108258.html
传统外后视镜与电子外后视镜对比：
图片来源：焉知汽车
摄像头分辨率一般≥2MP，动态范围需要≥120dB；
考虑到极端天气情况，集成有加热除霜除雾功能；
对视频传输的实时性有较高要求，帧率需要≥60fps，延迟要求较高。
功能安全要达到ASIL-B以上；
3. 市场概览
摄像头模组目前主要是Global Tier 1占据主导地位：
图片来源：Yole，Imaging for Automotive 2024
随着国内企业加速推进的研发和产业化，市场竞争力也在逐渐增强。
中国厂商2023年摄像头模组出货量：
图片来源：2023年国产车载摄像头模组出货量TOP10
自动驾驶等级越高，需要的摄像头也越多：
图片来源：Yole
由于环视系统渗透率、前视摄像头装配率、以及高阶辅助驾驶功能渗透率的不断提升，单车平均搭载摄像头个数逐年增加。2019~2025年，中国乘用车摄像头平均搭载量趋势预测图：
数据来源：网络
佐思汽研发布的数据显示，2023年1~9月，中国新车整体摄像头安装量为4817.2万颗，同比增长34.1%。
预计2023年全年整体摄像头安装量达6506.5万颗，相较2022年同比增长25%。
数据来源：佐思汽研
Yole在《Imaging for Automotive 2024》中统计的数据：
图片来源：Yole，Imaging for Automotive 2024
因为360度环视的持续增长，导致单纯的后视摄像头会持续下降。
前视、侧视和后视ADAS会持续增长，其中前视ADAS 占比最高。
当前DMS相机占比还是比较低，欧洲市场从2024年7月起，所有新车都必须安装驾驶员疲劳监测系统。因为从2026年7月起，所有新车都必须安装驾驶员分心监测系统，所以DMS会再2024年快速攀升
电子后视镜会开始小规模使用，但是还是比例很小。
图片来源：Yole，Imaging for automotive 2024
4. 技术趋势
1）分辨率更高
高级别自动驾驶对周围环境感知要求的提升，摄像头将向“高清化”演变，以实现其图像采集功能的提升，及探测距离、视场角的扩充。
目前像素数的应用趋势：环视摄像头：1.2M→2M→3M，前向摄像头：5M→8M→17M。
2023年9月，Sony发布1742万像素的CMOS图像传感器IMX735（链接：https://www.sony-semicon.com/cn/news/2023/2023091201.html），对于远距离目标，检测更清晰：
图片来源：索尼
图片来源：索尼
由于IMX735图像传感器采用索尼自研的像素结构和特别的曝光方式提升了饱和照度范围，同时采用HDR和LED闪烁抑制功能（LFM），也能实现很高的宽广的动态范围。(使用动态范围优先模式时，动态范围可实现高达140dB）。这种设计有助于摄像头减少拍摄移动物体时产生的运动伪影，即使在隧道出入口等亮度差异较大的道路环境中，也能实现精确检测和识别物体。
地平线、森云重磅推出基于索尼IMX735的车载1700万超高像素前视摄像头，详见：https://mp.weixin.qq.com/s/1dWzjSgntFd-EVlEzo5eWg
2）3D感知
传统2D摄像头可以实现二维平面成像，而3D视觉感知是一种深度传感技术，能够实现三维成像，除了提供目标对象的X和Y值之外，还能够提供深度值，可以更加真实、准确地呈现物体的形态与结构。
2D和3D的区别：
图片来源：网络
主流的3D技术主要有3种：
图片来源：焉知汽车
图片来源：Yole
双目识别技术
双目识别技术又叫双目测距技术，原理和我们的人眼类似，直接由两个摄像头拍摄，得到两个不同的平面图像，再把两张图像上相同的特征点标注出来，最后再基于三角测量原理计算出深度信息。如下：
图片来源：https://www.cnblogs.com/AdaminXie/p/15710993.html
3D结构光技术
3D结构光技术，是将投射结构光到被测物体上，通过测量结构光的飞行时间、或者相位、光强等变化，来确定被测物的三维尺寸。
根据光结构化的方式，可以分为：点结构光、线结构光、面结构光、光学图案编码等等。
图片来源：https://www.cnblogs.com/AdaminXie/p/15710993.html
TOF技术
ToF（Time of Flight），使用调制的红外光源主动向目标物体发射光线脉冲，然后通过接收器接受返回的光信号，最后测量发射光和反射光之间的飞行时间，或相位差，得到目标物体的深度信息。
图片来源：https://www.cnblogs.com/AdaminXie/p/15710993.html
对于舱外应用，主要以双目视觉为主。
对于舱内应用，主要以ToF技术为主。相比结构光，ToF方案结构简单、可靠性更好，成本较低。ToF方案的舱内摄像头正处于上车初期（例如，理想L9已经搭载）。例如，下图是舜宇智领开发的舱内TOF深度感知模组（640*480）：
图片来源：舜宇智领
3）红外
近红外摄像头以及长波红外热成像摄像头，在中高端车辆以及高级别自动驾驶车辆中，有望继续提升渗透率。
热成像摄像头整体结构如下：
图片素材来源：轩辕智驾，图片后处理：雪岭飞花
具体请参考：《雪岭 · 万字初探红外摄像头（上）：基本原理、特点、应用和国外主要玩家》，以及《雪岭 · 万字初探红外摄像头（下）：自动驾驶感知“响尾蛇”——长波红外热成像系统》
图片来源：轩辕智驾
4）封装工艺
随着车载摄像头模组不断地向高清化、小型化趋势发展，车摄像头模组封装工艺也在逐步升级。
主要有三类不同的封装工艺，对比如下：
图片来源：焉知汽车
目前，车载摄像头模组还是以CSP封装模式为主，综合技术需求和成本因素的考量，对于5MP及以上的高分辨率摄像头，车载摄像头模组厂商会逐步采用COB封装技术。
5）其他
超级鱼眼摄像头：将4个超级鱼眼摄像头（800万像素），替代传统4个侧视+4个传统鱼眼摄像头，可以支持大FOV视角以及80米的环视检测距离，在保持功能不变的情况下，实现硬件的降本。
去ISP：在集中式域控制器架构下，主控SoC芯片集成度越来越高，目前最新的SoC一般都内置ISP模块，摄像头模组便可以无需安装ISP。不带ISP的摄像头可以降低成本、减小体积，同时，在像素更高时，散热也更容易控制。目前，除了环视鱼眼摄像头之外，前视、侧视和后视等摄像头，通常已经没有ISP。
CIS集成ISP：对于需要集成ISP的摄像头，将ISP集成在了CIS芯片中，有助于摄像头轻量化，同时降低延时和减少成本。
CIS集成串化器：包括索尼在内的许多CIS厂家，正在探索将串行化器集成到CIS中，以进一步降低成本。
图片来源：Yole
04
超声波雷达
1. 基本原理
超声波雷达使用频率为40~60KHz的超声波，使用ToF原理进行距离探测。
超声波在空气中以声速V传输，计时器记录时间为T，发射点到障碍物的距离L=V*T/2。
1）探测原理
图片来源：网络
单个超声波雷达只有测距能力，需要多个超声波相互配合，采用三角原理进行测角。
图片来源：https://zhuanlan.zhihu.com/p/675807455
2）分类
超声波雷达探头的工作频率有40KHz、48kHz和60kHz三种。频率越高，灵敏度越高，但水平与垂直FOV也越小。
图片参考：https://www.zhihu.com/question/33893107/answer/2391193659
车用超声波雷达都是封闭型收发一体超声波传感器（探头），一般有两种：
UPA：安装在汽车前后保险杠上，用于测量汽车前后障碍物，探测距离一般为0.15~2.5m，使用40KHz超声波，水平FOV大概120°。
APA：安装在汽车侧面，用于测量侧方障碍物和车位，探测距离一般为0.3~5m，使用60KHz超声波，FOV大概80°。
常见的配置是12个探头，包括前后共8个UPA，左右共4个APA，示意图如下所示：
3）主要功能和特点
超声波雷达是一种性能稳定可靠，且性价比非常高的感知传感器。超声波雷达可以做障碍物距离检测、自动泊车车位检测、低速紧急制动，前车防撞、油门防误踩、盲区监测等功能。
结构简单，体积小，成本低，信息处理简单可靠。
超声波雷达可以准确识别一些摄像头很难识别的目标，例如没任何纹理的墙。
在短距测量精度高，测距精度可达1cm。（相对应的，激光雷达测距精度是3-5cm，4D成像毫米波的测距精度是10-30cm）
对烟尘、色彩、光照度、电磁场不敏感，可用于黑暗、有灰尘或烟雾、强电磁干扰等恶劣环境中。
超声波的传输速度会受到温度、湿度、气压、空气成分的影响，因此在复杂天气情况下，测距精度可能会受到影响。
超声波传播速度较慢，当汽车高速行驶时，使用超声波测距误差较大。
超声波散射角大，方向性较差，在测量较远距离的目标时，回波信号强度较弱，精度较低。
另外，由于超声波发射之后，发射器和壳体会有余震，会为了减少误报噪声，需要一段时间之后再开启接收测量，因此会存在一定的检测盲区。探测距离越远，发送功率越大，余振时间越长，其盲区也会越大。一般情况下，UPA的盲区为0.1m，APA的盲区为0.3m。
2. 系统结构
超声波雷达系统结构如下：
其中探测芯片和信号处理芯片是超声波雷达系统的关键器件。目前主要是博世、elmos、法雷奥等公司的产品，近年来，许多本土企业也在逐渐推出本土自研的产品，如奥迪威、纵目科技、保隆科技、佑航科技等。
目前，市场占有率最高的是elmos和BOSCH的方案。
1）elmos方案
elmos方案的超声波探头结构：
图片来源：elmos
elmos方案的超声波系统整体架构如下：
图片参考：CSDN
2）BOSCH方案
BOSCH的整体方案：
3. 技术趋势
超声波雷达在技术原理上难度并不高，国内外厂商之间的差距，主要在于传感器的稳定性和可靠性。
超声波雷达模组的主要生产商有博世、法雷奥、同致电子、深圳航盛、豪恩汽电、奥迪威、保隆科技、辅易航等等。
图片来源：BOSCH
（AK标准是由宝马、戴姆勒和大众三大汽车集团，针对泊车辅助系统的超声波传感器制定的技术参数标准，统一技术要求和性能指标。AK标准当前已经更新到了AK2，主要增加了功能安全和超声波编码等相关要求。）
相对于AK1，AK2超声波雷达的主要优势是：
AK2超声波雷达可通过独特的超声波信号编码方式（升频、降频），实现多个传感器的同时收发，大大缩短系统刷新周期（一般＜40ms）；（AK1超声波雷达工作频率较集中，为避免同频干扰，同侧保杠的所有探头需要分时发送超声波，因此检测时间较长，刷新周期长）
信号编码可以提升抗同频干扰能力，同时测距能力更强（可达7-8m）；
盲区更小（小于0.1m）；
可以满足ASIL-B功能安全需求；
可以采用DSI3通信方式，信号传播速度快，最高速率可达444kbit/s；
满足功能安全ASIL-B要求；
部分国内AK2超声波雷达企业产品特点，及量产情况如下：
来源：佐思汽研《2024年车用超声波雷达及主机厂泊车路线研究报告》
05
结语
1. 发展趋势
根据Yole的《Imaging for Automotive 2022》报告，车载传感器发展情况如下。
图片来源：Yole
超声波传感器、可见光摄像头和3D毫米波雷达已经比较成熟；
Lidar、热成像摄像头和4D成像雷达，目前正处于发展和导入期；
更高检测性能的FMCW Lidar、Event Based Imaging（例如事件相机）、Time Gated SWIR（时间门控短波红外）、Hyperspectral（高光谱成像），在未来可能会逐渐进入汽车。
2. 传感器对比
激光雷达、毫米波雷达、摄像头所使用的波长不同，示意图如下（超声波使用的是机械波，和上述几种传感器差异较大）：
图片来源：网络，后处理：雪岭飞花
每种传感器检测原理不同，因此有不同的感知特点，有各自的优势场景：
对于要求不高的自动驾驶系统中，单一传感器可以实现感知需求。具体配置方案，需要结合系统需求和自身研发能力，选择最佳的感知方案。
自动驾驶等级越高，对于感知的要求也越高，要求配置的传感器数量和种类也越多。
对于L3及以上等级的自动驾驶系统，由于功能安全的冗余要求，必然需要2种及以上异构感知单元，以避免同源失效。
图片来源：Yole
3）感知硬件的集成
为了提升性能，降低成本，将不同类型传感器做整合，或许是一个有意思的，可以考虑的思路。
在2014年左右，德尔福开发了RaCam（Radar+Camera）系统，这是业界第一个将毫米波雷达和摄像头集成在一起的产品。
图片来源：德尔福
2024年3月，大疆车载发布“激目系统”，该产品集成了大疆三目、惯导和激光雷达，系统成本更低、更容易做深度前融合。
图片来源：大疆
“雪岭 · 自动驾驶”系列文章
（本篇）第二篇：《雪岭 · 自动驾驶(2/10)：感知系统》
（后续）第三篇：介绍自动驾驶的控制系统（硬件）
雪岭系列感知相关文章
激光雷达：
《激光雷达系列（三）：配备激光雷达的汽车汇总（含安装方式）》（链接：https://zhuanlan.zhihu.com/p/688537867）
《55图分析：华为激光雷达详细拆解和系统方案》（华为96线激光雷达）
毫米波雷达：
毫米波雷达原理详见：《毫米波雷达系列（一）：毫米波雷达简介》（链接：https://zhuanlan.zhihu.com/p/686260069）
红外摄像头：
本文内容仅代表个人观点，和真实情况有可能有偏差，仅供参考。如需要相关内容更详细的技术信息，欢迎添加“雪岭飞花”微信（maxhnnl）进一步交流，感谢。
参考资料：
巫婆塔里的工程师，概述：自动驾驶中的环境感知，https://zhuanlan.zhihu.com/p/438306190
焉知产研，车载摄像头产业分析报告：https://mp.weixin.qq.com/s/6pbc1pjPpzndoC_8Yfxp9g
刘斯宁，Understanding CMOS Image Sensor，https://zhuanlan.zhihu.com/p/100777121
陈康成，九章智驾：一文带你了解800万像素车载摄像头，https://zhuanlan.zhihu.com/p/424947860
车载毫米波雷达降到百元级，要凭性价比侵吞整个市场？https://new.qq.com/rain/a/20231124A03OOZ00
我是雪岭飞花，汽车行业24年开发经验，自动驾驶行业发展的见证者和参与者，自动驾驶感知和控制系统资深专家。
做有深度、高质量的技术分享，如果文章对您有帮助，欢迎关注、点赞和转发。如有疏漏或者错误，请批评指正。
如需加入自动驾驶专家微信群，和自动驾驶CEO/CTO、研发/产品总监、资深开发专家探讨交流，请联系“雪岭飞花”微信（maxhnnl），备注所在公司和从业方向。感谢~
