本文系微信公众号《大话成像》，知乎专栏《all in camera》原创文章，转载请注明出处。 大话成像读者QQ 交流群2 ：833282006 大话成像技术论坛：ww.dahuachengxiang.com 微信群请先加 zxzombie
本站新教学视频《图像传感器技术与应用》上线淘宝教育
《成像系统图像质量调试》《成像算法基础（python版）》 《成像系统镜头光学》《新版图像质量测试测量与国际标准》《新版cmos sensor测试测量与国际标准》《新版数字成像系统42讲》课程大话成像淘宝官方网店有售：
https://shop322456667.taobao.com/
自动对焦一直是相机的关键技术之一，《大话成像》公众号之前有很多相关文章介绍传统的自动对焦关键技术要点。近几年来随着AI在各技术领域的渗透，自动对焦技术也有了新的发展。
从功能上来说，自动对焦有三个主要任务：
1.确定对焦点，即判断场景中哪部分是要对焦的。
2.根据对焦点确定适合的焦距，移动镜头进行对焦。
3.在视频录制中，或者拍照中，要进行目标追踪，即始终保持对关键物体的对焦。
从性能来说，就是既要对焦准，又要对焦快。
传统的自动对焦技术分为反差式对焦（contrast based）和相差式对焦（phased based）两种。也曾有主动对焦技术比如激光对焦，但现在这种方式只是作为辅助。反差式对焦依靠计算图像的sharpness（contrast），通过找到最大的sharpness来确定镜头的移动位置。这种方法的缺点是对焦速度比较慢，有些场景对焦也不准确；现在的相差对焦通过dual pixel生成左右视图，计算左右视图的disparity的程度来判定离焦程度，通过calibration来确定镜头位置与disparity的对应关系。从速度上来说，相差对焦比反差式对焦要快很多。但是随着像素尺寸越来越小，由于光学的限制以及噪声等因素，这种calibration不能非常准确地建立起镜头位置与disparity的对应关系，所以工程上经常会把PDAF和CDAF混合使用，来提高对焦的准确性，也就是所谓的hybrid AF。
从本质上来说，自动对焦就是建立退化图像与镜头位置的对应关系。如何模型离焦造成图像退化，是自动对焦研究的一个核心主题。CDAF时期的论文，大多都在研究如何设计评价函数，计算出图像的sharpness —— 能够在镜头移动时，在各种光照情况，各种反射率的物体，都能形成可靠的sharpenss数值，这样才能用爬坡算法得到sharpness的峰值。这套理论基础是基于thin lens 假设和近轴估计。也就是离焦模糊的程度符合下面的公式。
L是aperture size，f是focal length，g是focus distance,Z是景物ROI中某一点的深度。
lens的通过左右移动，改变g，最小化离焦模糊，就是对焦过程。L，f，Z都是已知量。
这个公式的一个核心假设就是镜头离焦导致的模糊符合高思点扩散函数（Gaussian PSF），但实际上真实的镜头设计确不是如此。为了产生更‘好看’的背景虚化效果，镜头厂都会把离焦模糊搞成圆盘甚至六边形状。
在这种情况下，越离焦产生的图像梯度 ∇ 越大，sharpness会不降反增。
类似的，噪声也会导致对焦的错误：
PDAF的离焦模糊模型：
d：左右视图的disparity
PDAF与CDAF一样，也是基于镜头离焦导致的模糊符合高思点扩散函数（Gaussian PSF）这一假设，所以有同样的问题。
同时，由于镜头的移动造成的呼吸效应——即图像内容的移动，可能原本不在ROI内的内容移动进入了ROI，造成了统计信息的变化。（白色立柱本不在ROI红框内，因为镜头移动，进入了ROI）。
传统CDAF和PDAF有这些难以克服的硬伤，这几年很多手机和相机公司都开始用机器学习的方法来提高自动对焦，有的公司就直接宣传他们有AI对焦芯片，实现AI autofocus （SONY α7R V）
google的团队公布了他们的AI autofocus。他们自己采集的数据集，对基于MobileNetV2架构的模型进行训练。
他们的数据集是focal stack，也就是如下图d图像与lens sweep对应的stack。
把五个Google Pixel相机绑到一起，进行数据采集。
针对不同的场景做了测试，结论就是他们的AI autofocus比很多手机的原生autofocus 算法要好，他们的模型，比很多其它的模型要好。
Google的团队说在旗舰手机上跑这个模型需要32.5ms，对于拍照来说这个速度还可以，但对需要连续对焦的视频应用来说，这个速度就显然不够。所以，图像传感器厂家敏锐地察觉到市场的这一需求。
AI 技术在自动对焦领域的应用导致了图像传感器AI化的加速，尤其是韩国公司将其视为超车Sony的一个机会。Sony在几年前就开始推AI image sensor（imx500等），在sensor上可以部署一些算力较小的模型。而且现在已经推出了AI autofocus的无反相机产品。据韩国商务新闻报导，三星和SK Hynix都要推出AI嵌入的图像传感器。
三星最近推出了一款 200 兆像素图像传感器ISOCELL VISION 63D，
具有先进的变焦功能，称为 Zoom Anyplace，使用人工智能技术在特写镜头期间自动跟踪物体。三星制定了长期业务目标，将能够感知和复制人类感官的“人形传感器”商业化，并制定了到 2027 年开发甚至可以捕捉不可见物体的图像传感器的路线图。
在最近的SK技术峰会上，SK海力士透露了On-sensor AI技术的开发进展，他们将图像传感器嵌入到人工智能芯片上，直接在传感器级别处理数据，这与传统传感器将图像信息转发到中央处理单元（CPU）进行计算和推理不同。这一进步预计将成为实现物联网 (IoT) 和智能家居服务演进、降低功耗和处理时间的关键技术。
随着AI autofocus技术渗透到图像传感器，对智能手机相机的设计也会产生巨大影响，让我们拭目以待。
