本文系微信公众号《大话成像》，知乎专栏《all in camera》原创文章，转载请注明出处。 大话成像读者QQ 交流群2 ：833282006 大话成像技术论坛：ww.dahuachengxiang.com 微信群请先加 zxzombie
本站新教学视频《图像传感器技术与应用》上线淘宝教育
《成像系统图像质量调试》《成像算法基础（python版）》 《成像系统镜头光学》《新版图像质量测试测量与国际标准》《新版cmos sensor测试测量与国际标准》《新版数字成像系统42讲》课程大话成像淘宝官方网店有售：
https://shop322456667.taobao.com/
随着人工智能的飞速进展，AI ISP（图像信号处理）逐渐成为计算摄影领域的焦点研究。传统ISP方法通常依赖固定算法执行图像增强和修复，但在复杂环境和极端条件下，这些方法可能未必达到理想效果。与之相对，基于AI的ISP技术通过深度学习模型自我调整处理策略，从而在各种场景中实现优异的图像输出。在产业界，无论是手机的AI preisp还是通过SOC集成的AI pipeline来处理低光和AI HDR视频增强，以及目前经常听到的黑光相机, AI ISP都起到了核心作用。当前，许多主打ISP发展的芯片公司都在计算摄影和AI ISP领域做出了大量投资和研究。很多朋友都询问如何开始学习AI ISP及相关资源推荐，因此我编写了此篇文章。在现行的ISP领域，主要是通过一系列关键模块进行AI化操作。
在本文中，我们将探讨AI ISP的各个核心技术领域，包括但不限于低光照下的降噪技术、超分辨率重建、HDR图像生成、Tonemapping和AI demosaic等。每个子领域都存在其特有的挑战和应用潜力。为了给读者提供一些宏观的了解，我们还会推荐一些关于这些主题的综述文章。但需要注意的是，尽管这些综述为我们展现了一个广阔的视角，它们的深度和质量可能不如特定领域的研究文章。因此，我们建议读者在查阅综述时，同时参考具体的研究论文，以便获得更深入和详细的理解。
一 低光降噪领域
1.1 Learning to See in the Dark
此论文解决在低光照条件下摄影的挑战，特别是当照明条件远低于传统摄影设备能够处理的条件时。作者提出了一种使用Unet网络端到端的深度学习方法，该方法直接将原始的低光照图像转换为正常光照下的清晰照片，而无需中间步骤或额外的处理。
这篇论文创建了一个新的数据集，该数据集包含了不同光线条件下拍摄的图像，成对图像是使用不同的曝光时间从相同的场景捕获的。
这项研究表明，深度学习方法可以显著改善在困难照明条件下的摄影质量，为低光摄影设备和技术的未来发展提供了新的可能性。
Paper: https://arxiv.org/pdf/1805.01934v1.pdf
Code Github: https://github.com/cchen156/Learning-to-See-in-the-Dark
SID Dataset: https://cchen156.github.io/SID.html
1.2 A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising
深度学习的图像去噪算法对于训练数据的噪声要求很高。尽管可以通过高斯模型来合成噪声来缓解这个问题，但是和实际设备的噪声来源还是有很大的差异。为了解决这个问题，这篇论文提出了一个基于CMOS光传感器特性的高精度噪声形成模型，从而合成更好地匹配图像形成过程物理特性的成对数据。考虑到所提出的噪声模型需要实际使用，文章还提出了一种为现有的现代数字相机校准噪声参数的方法，这种方法对于任何新设备都是简单且可复制的。文章还提供了一个常用的去噪数据集 ELD,目前是很多论文中评价算法使用的数据集
Paper: https://arxiv.org/pdf/2003.12751v2.pdf
Code Github: https://github.com/Vandermode/ELD
ELD Dataset: https://github.com/Vandermode/ELD
1.3 Cycle ISP: Real Image Restoration via Improved Data Synthesis
这篇论文之前谷歌发表过一篇文章：Unprocessing Images for Learned Raw Denoising，是关于如何构造逼近真实的数据来进行降噪的，那篇文章里，研究者们主要是模拟了 ISP 中从 RAW 图到 sRGB 的过程，然后将 ISP 的过程逆转过来，从 sRGB 到 RAW，然后再在 RAW 域上添加噪声，从而构造出符合真实场景的噪声数据。这篇文章直接用网络进行了端到端的模拟，不过与一般的端到端方式不同的是，这篇文章采用了一个循环的方式，从 sRGB 到 RAW 图，然后再从 RAW 图回到 sRGB, 所以这个框架称为 Cycle ISP, 有循环轮回的感觉。
Paper: https://arxiv.org/pdf/2003.07761.pdf
Code: https://github.com/swz30/CycleISP
1.4 Learnability Enhancement for Low-light Raw Denoising: Where Paired Real Data Meets Noise Modeling
这篇论文主要讨论了面向现有的数据集存在的数据质量问题，作者提出了一套新的数据采集流程，并收集了一套高质量的手机低光去噪数据集，尽量避免让数据自带可学习性缺陷。深入分析了SNA(Shot Noise Augmentation)在应用时的缺陷，并基于SFRN贴黑图的思想改进了SNA的应用策略。弥补了缺陷的SNA可以让降噪后图像呈现更多的细节。拓展了线性dark shading模型，并深入分析了DSC的鲁棒性与泛化性。基于我们提供的噪声标定数据，探索并讨论了DSC与噪声建模的结合方式，以及这种结合所带来的巨大性能增益。
1.5Learning to Expose for Low-light Image Enhancement
南洋理工大学、鹏城实验室、香港理工大学在ICCV2023发表的暗图增强论文。用diffusion大模型来进行raw图像暗图增强，同时提出了一个自适应的残差层用来对具有不同信噪比的不同区域采取不同的去噪策略。
Paper: https://arxiv.org/pdf/2307.07710v2.pdf
Code Github: https://github.com/wyf0912/ExposureDiffusion
二 AI demosaic & AI SR
2.1 Deep Residual Network for Joint Demosaicing and Super-Resolution
该论文的最大创新点和其标题一样，是第一次把去马赛克和超分辨率结合在一起做，直接从单通道的RAW图像中挖掘尽可能多的信息，直接生成超分辨率的三通道图片。相对于先做去马赛克，再做超分辨率，这样做的好处在于一可避免两个阶段的错误积累，产生质量更高的图片，二可减少运算量，减少计算时间。
Paper: https://arxiv.org/abs/1802.06573
Code:https://github.com/Linwei-Chen/Deep-Residual-Network-for-JointDemosaicing-and-Super-Resolution
2.2 Deep Learning for Image Super-resolution: A Survey
这是一篇早期的综述,对于如何进行AI 超分.讲述了丰富的基本知识
Paper: https://arxiv.org/abs/1902.06068
2.3 Rethinking the Pipeline of Demosaicing, Denoising and Super-Resolution
demosaicing、denoising、super-resolution分别是采样不完全、噪声退化、分辨率有限的对应处理方法。每个领域都被研究过，但是领域交叉的部分受到的关注还不够。对应的解决方法通常是在一个固定的次序中分别处理（DM->DN->SR），或者是在使用一个end2end的网络进行处理，导致结果不甚理想.本文设计了一种新的pipeline：DN->SR->DN。1.在demosaicking之前进行denoise；2.在denoise和demosaicking之间进行sr。大量实验表明：根据本文的ppl修改，可以显著提高效果noise可以隐藏颜色信息，破坏纹理。在其上进行demosaicking可能会产生artifact。从HR 进行DM要比从LR进行artifact少
Paper: https://arxiv.org/pdf/1905.02538.pdf
2.4 Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data
论文提到一个真实的复杂退化由不同退化过程的复杂组合，例如camera不同的成像系统，图像编辑和网络的转换.Real-ESRGAN提出扩展经典的“一阶”退化模型（“一阶”退化是经典的退化模型）为“高阶”退化模型。“高阶”退化就是进行多次“一阶”退化。第一次“一阶”退化的结果是第二次“一阶”退化的输入。文章期望通过”高阶“退化可以得到和真实退化更接近的LR数据。
Paper: https://arxiv.org/pdf/2107.10833.pdf
Code: https://github.com/xinntao/Real-ESRGAN
三 HDR 和 Tonemapping
3.1 Deep High Dynamic Range Imaging of Dynamic Scenes
这篇文章介绍了一种在动态场景中，如何将不同曝光的图像进行融合从而得到高动态图像的方法，这篇文章提出了一种基于学习的方法来解决动态场景的这些问题，这篇文章利用 CNN 作为学习模型，并且对比了三种不同的学习策略的融合效果，
Paper:https://cseweb.ucsd.edu/~viscomp/projects/SIG17HDR/PaperData/SIGGRAPH17_HDR.pdf
Code: https://github.com/TH3CHARLie/deep-high-dynamic-range
3.2 Deep Bilateral Learning for Real-Time Image Enhancement
这篇文章提出了一种新的网络架构可以实现实时的图像处理，这种网络架构是基于 bilateral grid processin 和 local affine color transforms，利用成对的输入-输出图像，文章作者训练一个卷积神经网络去预测 bilateral space 中的局部仿射变换模型的系数，这个网络结构可以同时在局部以及全局层面，基于图像内容去估计一个想要的图像变换.这个变换和tonemapping的需求很一致.
Project: https://groups.csail.mit.edu/graphics/hdrnet/
3.3 Deep HDR Video from Sequences with Alternating Exposures
通过使用交替的曝光度的视频来合成HDR视频.文章有3个贡献.是第一个使用深度学习的方法来生成HDR视频，其质量高、速度快.提出了专用于HDR视频的光流网络，比现有的非深度学习的方法和基于深度学习的方法都要好。本文对KALANTARI的合并网络的输入和结构进行修改，从而极高地提高了性能。
Paper:https://people.engr.tamu.edu/nimak/Data/Eurographics19_HDRVideo.pdf
3.4 Joint HDR Denoising and Fusion: A Real-World Mobile HDR Image Dataset
首次利用手机摄像头开发了一个HDR图像数据集，即Mobile-HDR数据集。具体来说，作者利用三个手机摄像头在原始图像域中收集成对的LDR-HDR图像，涵盖了不同噪声水平的白天和夜间场景。然后，作者提出了一个基于transfromer的模型和金字塔交叉注意对齐模块，以聚合来自不同曝光帧的高度相关的特征来进行联合HDR去噪和融合。实验验证了该数据集和方法在移动HDR成像中的优势。
Paper: https://openaccess.thecvf.com/content/CVPR2023/papers/Liu_Joint_HDR_Denoising_and_Fusion_A_Real-World_Mobile_HDR_Image_CVPR_2023_paper.pdf
Code and dataset: https://github.com/shuaizhengliu/Joint-HDRDN
3.5 Unpaired Learning for High Dynamic Range Image Tone Mapping
在这篇论文中，作者描述了一种新的色调映射方法，该方法的主要目标是生成最能再现原生LDR图像的视觉特性的低动态范围（LDR）图像。这一目标能够基于不相关的HDR和LDR图像集进行非配对的对抗性训练，两者都广泛可用且易于获取。
为了在这些最小要求下实现有效的训练，作者引入了以下新的方法：（i）一种范围归一化的预处理，它估计并应用不同级别的基于曲线的压缩；（ii）一个在保留输入内容的同时允许网络达到其目标的损失函数；以及（iii）使用更简洁的鉴别器网络，旨在促进再现LDR固有的低级属性。
Paper: https://arxiv.org/pdf/2111.00219.pdf
Code: https://github.com/yael-vinker/unpaired_hdr_tmo
3.6 Deep Tone Mapping Operator for High Dynamic Range Images
较早用CNN做tone mapping的论文, 使用了two-scale结构, loss使用LSGAN loss, 判别器feature matching loss和vgg loss
Paper:https://arxiv.org/pdf/1908.04197.pdf
Code:https://github.com/Aakanksha-Rana/DeepTMO
四 一些综述的论文
下面是一些综述或者针对pipeline的论文
4.1 ISP meets Deep Learning: A Survey on Deep Learning Methods for Image Signal Processing
ISP 遇上深度学习：图像信号处理深度学习方法综述,描述了各种
论文: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2305.11994
4.2Learned Smartphone ISP on Mobile GPUs with Deep Learning, Mobile AI & AIM 2022 Challenge: Report
这是一个基于移动设备GPU进行AIISP算法的挑战.这篇论文提供了此次挑战中开发的所有模型的详细描述
论文: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2211.03885
4.3Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021 Challenge: Report
通过深度学习在移动 NPU 上学习智能手机 ISP
论文: https://arxiv.org/abs/2105.07809
这些年基于AIISP 研究是很丰富的,所选择的论文也只是选择的一些读过比较经典的文章.实际上每个领域需要研究的论文都是,大家可以通过学习这些文章之后逐渐索引更多的知识
