CMOS图像传感器

高分辨率固态成像器件,（主要是电荷耦合器件 （CCD） 和互补金属氧化物半导体 CMOS图像传感器）的到来，预示着光学显微镜的新时代，它有可能超越传统的图像记录技术，如胶片、视频管和光电倍增器。许多原始设备和售后市场制造商都提供专为显微镜应用设计的电荷耦合器件相机系统，CMOS成像传感器现在已可用于少数显微镜。

这两种技术都是在20世纪70年代早期和后期开发的，但CMOS传感器的性能令人无法接受，直到20世纪90年代早期，它们通常被忽视或被认为只是一个新奇的东西。到那时，CMOS设计的进步产生了具有更小像素尺寸、更低噪声、更强大的图像处理算法和更大的成像阵列的芯片。CMOS传感器的主要优点包括低功耗、主时钟和单电压电源，与CCD不同，CCD通常需要在不同时钟速度下提供5个或更多电源电压，功耗明显更高。CMOS和CCD芯片通过相似的机制感测光线，利用了光电效应，当光子与结晶硅相互作用时，就会发生光电效应，将电子从价带推入导带。请注意术语“CMOS”指制造图像传感器的过程，而不是特定的成像技术。

当宽波长的可见光入射到特别掺杂的硅半导体材料上时，会释放出与入射到光电二极管表面的光子通量密度成比例的可变数量的电子。实际上，产生的电子数是照射半导体的波长和光强的一个函数。电子被收集在电位阱中，直到积分（照明）周期结束，然后它们被转换为电压（CMOS 处理器）或转移到计量寄存器（CCD 传感器）。然后，测得的电压或电荷（转换为电压后）通过模数转换器，该转换器形成由传感器成像的场景的数字电子表示。

光电二极管通常被称为像素，是数字图像传感器的关键元件。灵敏度由光电二极管可以积累的最大电荷、入射光子转化为电子的效率以及设备在受限区域中积累电荷而不发生泄漏或溢出的能力决定。这些因素通常由光电二极管的物理尺寸和孔径以及它与阵列中相邻元件的空间和电子关系决定。另一个重要因素是电荷-电压转换率，它决定了积分的电子电荷如何有效地转换为可以测量和处理电压信号。光电二极管通常以正交网格的形式组织，其大小范围从128×128像素（16K像素）到更常见的1280×1024（超过100万像素）。一些最新的CMOS图像传感器，例如为高清电视（ 高清晰度电视 ），包含数百万个像素，这些像素被组织成超过 2000 个方形像素的非常大的阵列。必须准确地检测和测量（读出）构成阵列每一行和每一列的所有像素发出的信号，以便从光电二极管电荷累积数据中形成图像。

在光学显微镜中，由物镜聚集的光通过投影透镜聚焦到传感器表面上，该传感器含有相同的光电二极管的二维阵列，称为 像元 或 像素 。因此，阵列大小和像素尺寸决定了传感器的空间分辨率。CMOS和CCD集成电路本质上是单色（黑白）器件，只对光电二极管中累积的电子总数作出反应，而不是对导致电子从硅衬底释放的光的颜色作出反应。通过将入射光通过一系列红色、绿色和蓝色滤光片，或者使用以马赛克图案沉积在像素阵列上的微型透明聚合物薄膜滤光片来检测颜色。

CMOS光电二极管的结构

与CCD相比较，CMOS图像传感器的一个主要优势是能够将许多处理和控制功能直接集成到传感器集成电路上，这些功能超出了光子收集的主要任务。这些功能通常包括时序逻辑，曝光控制，模数转换，快门，白平衡，增益调整，和初始图像处理算法。为了执行所有这些功能，CMOS集成电路的架构更类似于随机存取存储单元，而不是一个简单的光电二极管阵列。最流行的CMOS设计围绕有源像素传感器 （APS） 技术构建的，将光电二极管和读出放大器都集成到每个像素中，使光电二极大积的电荷在像素内转换为放大的电压，然后依次行或列传输到芯片的模拟信号处理部分。

因此，每个像素（或成像元件）除了光电二极管外，还包含三极管，该三极管将累积的电子电荷转换为可测量的电压，复位光电二极管，并将电压传送到垂直列总线。由此形成的阵列是由金属读出总线组成的有序棋盘，每个交叉点处都包含一个光电二极管和相关的信号准备电路。总线将定时信号施加到光电二极管，并将读出信息返回到远离光电二绝缘体阵列的模拟解码和处理电路。这种设计使信号从每个像素的阵列中读取简单的 x，y 寻址技术，这在当前的 CCD 技术中是不可能的。

图 1 显示了典型 CMOS 图像传感器的架构，该集成电路芯片包含 640 × 480 像素的有效图像区域。光电二极管阵列位于芯片的红棕色中央区域，被一层有序的红色、绿色和蓝色染色聚合物滤光片覆盖，每个滤光片的大小都适合单个光电二极管（方式类似于用于彩色 CCD 的技术）。为了将入射光子集中到光电二极管电子收集井中，滤光二极管也被安置在微型正半月板透镜（见图2、3和4）之下，该微型透镜被称为微透镜或透镜阵列。图1中的插图显示了滤光片和微透镜阵列的高放大视图。在图1所示的集成电路上还包括模拟信号处理电路，该电路收集并解释由光电二极管阵列产生的信号。然后将这些信号发送到模拟-数字转换电路，该电路位于芯片上部的光电二极管阵列附近（如图1所示）。由CMOS图像传感器执行的其他职责包括用于分步电荷产生、电压收集、传输和测量任务的时钟计时，以及图像处理和累积信号的输出。

仔细观察光电二极管阵列，可以发现红色、绿色和蓝色滤光片的连续图案，这些滤光片以马赛克图案排列，以柯达工程师 Bryce E. Bayer 的名字命名。此滤色器数组 （ 拜耳 滤波器图案）旨在从来自光学镜头系统的宽带宽入射照明中捕获颜色信息。滤光片排列成四重奏[图 2（a） 和图 2（b）]，按连续行排序，交替使用红色和绿色或蓝色和绿色滤光片（图 2（a））。图 2 中显示了由典型拜耳滤光片阵列和底层光电二极管的高分辨率光学显微镜捕获的数字图像。图 2（a） 说明了交替过滤器行的视图。每个红色滤镜被四个绿色和四个蓝色滤镜包围，而每个蓝色滤镜被四个红色和四个绿色滤镜包围。相比之下，每个绿色滤镜都由两个红色、四个绿色和两个蓝色滤镜包围。基本重复单元的高放大倍率图像如图 2（b） 所示，其中包含一个红色、一个蓝色和两个绿色滤光片，使阵列中绿色滤光片的总数等于红色和蓝色滤光片的数量之和。对绿色滤光片的严重重视是由于人类视觉响应，它在可见光谱的 550 纳米（绿色）波长区域达到最大灵敏度。

图2（b）中还显示了微透镜阵列的一小部分（也称为 小透镜 ）通过光刻法沉积在拜耳滤光片表面，并对齐以使每个镜头覆盖单个滤光片。微型透镜元件的形状接近凸半月板透镜的形状，用于将入射光直接聚焦到光电二极管的感光区域。在拜耳滤波器和微透镜阵列下面是光电二极管本身，它们在图2（c）中被示为四个完整的光电二极体组件或像素单元。图2（c）中的一个光电二极管用一个大的白色盒子（右上角）标识，该白色盒子还包含一个较小的矩形盒子，该矩形盒位于较大的网格中。白盒用字母 P 和 T 来表示，分别表示光子集合（光敏）和支持像素的晶体管区域。

从图 2（c） 中的光电二极管元件中可以明显看出，大部分像素（在本例中约为 70%）区域专用于支持晶体管（放大器、复位和行选择），这些晶体管对可见光光子相对不透明，不能用于光子检测。剩余的 30%（图 2（c） 中标记为 P 的较小白框）代表像素的感光部分。由于光电二极管的这一小部分实际上能够吸收光子以产生电荷，因此图 1、2 和 3 所示的 CMOS 芯片和光电二极管的填充因子或孔径仅占光电二极管阵列总表面积的 30%。结果是灵敏度显著下降，信噪比相应降低，导致动态范围受限。填充因子比率因设备而异，但通常为 CMOS 传感器像素面积的 30% 到 80%。

使填充因子降低问题更加复杂的是光子吸收的波长依赖性，该术语恰当地称为 CMOS 和 CCD 图像传感器的量子效率。三种主要机制会阻碍受光区收集光子：吸收、反射和透射。如上所述，超过 70% 的光电二极管区域可能被晶体管和堆叠或交错的金属总线线屏蔽，这些总线在光学上是不透明的，可以吸收或反射与结构碰撞的大多数入射光子。这些堆叠的金属层还可能导致不良效果，例如渐晕、像素串扰、光散射和衍射。

入射光子的反射和传输是波长的函数，较短波长（小于400纳米）被反射的比例很高，虽然这些损耗可以（在某些情况下）扩展到可见光谱区域。许多CMOS传感器在制造过程中涂有黄色的聚酰亚胺涂层，在这些光子到达光电二极管区域之前，该涂层吸收了蓝光谱的很大一部分。减少或尽量减少多晶硅和聚酰亚胺（或聚酰胺）层的使用是优化这些图像传感器中量子效率的主要问题。

较短的波长在光敏区域的最初几微米被吸收，但较长的波长在被完全吸收之前钻到更深的深度。此外，最长的可见光波长（超过 650 纳米）通常会穿过受光面而不被捕获（或产生电子电荷），从而导致另一个光子损失来源。虽然微透镜阵列的应用有助于聚焦和引导进入光敏区域的光子，并可以使光电二极管的灵敏度翻倍，但这些微小元素也显示出基于波长和入射角的选择性。

图3是典型的CMOS有源传感器像素的三维剖面图，显示出了感光区域（光电二极管）、总线、微透镜、拜耳滤波器和三个支持晶体管。如上所述， CMOS 图像传感器中的每个 APS 元件包含一个放大器晶体管，该晶体管代表通常称为 源跟随器 的输入设备（源跟随器的负载位于像素外部，并且与列中的所有像素共用）。源跟随器是一个简单的放大器，它将光电二极管产生的电子（电荷）转换为电压，输出到列总线。此外，该像素还具有一个复位晶体管，用于控制积分或光子累积时间，以及一个行选择晶体管，用于将像素输出连接到列总线以进行读出。特定列中的所有像素都连接到检测放大器。

在操作中，图像捕获的第一步是初始化复位晶体管，以便从感光区域抽取电荷，并反向偏压光电二极管。接下来，积分期开始，与像素的光电二极管区域相互作用的光会产生电子，这些电子被存储在位于表面下方的硅电位阱中（见图3）。积分周期结束后，行选择晶体管打开，将所选像素中的放大器晶体管连接到其负载以形成源跟随器。因此，光电二极管中的电子电荷通过源极跟随器操作转换为电压。由此产生的电压出现在列总线上，并可被感光放大器检测。然后重复这个循环，读出传感器中的每一行，以产生图像。

三像素APS设计的主要缺点之一是 固定图案噪声 （ FPN ）的相对较高的水平。放大器晶体管增益和偏移的变化是制造过程中CMOS技术工艺波动的一个根本问题，会导致整个阵列的晶体管输出性能不匹配。其结果是在捕获的图像中显而易见的噪声模式，这种模式是恒定的，并且可以从一个图像复制到另一个图像。在大多数情况下，可以通过设计调谐位于阵列外围的模拟信号处理电路或通过电子减小暗图像（平场校正）来显著减少或消除固定图案噪声。

马赛克滤波器阵列与图像重建

拜耳滤波器马赛克阵列的不平衡性质，绿色滤光片的数量是蓝色或红色滤光片的两倍，也似乎提出了一个问题，关于精确的颜色再现的单个像素。典型的传输光谱分布的常见染料用于构建Bayer滤波器在图4中。红色滤波器的量子效率显着大于绿色和蓝色滤波器，它们在总体效率上彼此接近。注意滤波器之间的光谱重叠程度相对较大，特别是在520到620纳米（绿色，黄色和橙色）区域。

经常会出现一个问题，即光电二极管阵列的色彩再现和空间分辨率的确切性质，其像素被划分为拜耳滤光片图案的基本元素。像素尺寸为 640 × 480 像素的光电二极管阵列总共包含 307,200 个像素，从而产生 76,800 个拜耳四重奏。这是否意味着实际有用的图像空间分辨力降低到320×240像素？幸运的是，空间分辨主要由彩色图像的亮度分量而不是色度（颜色）分量决定。这是因为人类大脑能够将相当粗糙的颜色信息加入到精细的空间信息中，并几乎无缝地整合两者。此外，拜耳滤波器具有宽波长传输带（见图4），并有很大的重叠区域，这允许来自其他光谱区域的空间信息通过滤波器，以呈现出相当程度的空间信息。

例如，考虑一个物体将大量黄光（中心位于585纳米）反射到互补式数码相机的镜头系统中。通过检查图4中的拜耳滤光片传输光谱，可以明显看出红色和绿色滤光片在该波长范围内传输相同数量的光。此外，蓝色滤光片还传输通过其他滤光片的大约20%的波长。因此，每个四个拜耳滤光片中的三个通过等量的黄光，而第四个（蓝色）滤光片也传输其中的一部分光。相比之下，较低波长的蓝光（435纳米;见图4）仅在任何显著程度通过蓝色滤光片，从而降低了主要由可见光谱该区域的光组成的图像的灵敏度和空间分辨率。

从覆盖有Bayer图案滤色器的CMOS光电二极管阵列获得原始图像后，必须通过插值方法将其转换为标准的红色、绿色和蓝色 （RGB） 格式。为了生成准确表示电子传感器成像场景的图像，这一重要步骤是必要的。各种复杂且成熟的图像处理算法可用于执行此任务（图像捕获后直接在集成电路上），包括最近邻、线性、三次和三次样条技术。为了确定数组中每个像素的正确颜色，算法会对所选相邻像素的颜色值进行平均，并生成数组中每个像素的颜色 （色度） 和强度 （亮度） 的估计值。图 5（a） 中显示了通过插值重建之前的原始拜耳模式图像，在图 5（b） 中，显示了使用线性插值算法的相关性调整版本处理后获得的结果。

作为颜色插值功能的示例，请考虑嵌套在拜耳滤波器阵列中央区域中的绿色像素之一。该像素被两个蓝色、两个红色和四个绿色像素包围，这些像素是它的直接最近邻域。插值算法通过检查相邻红色和蓝色像素的色度和亮度值来生成绿色像素的红色和蓝色值的估计值。对数组中的每个像素重复相同的过程。如果图像颜色在大量像素上缓慢变化，则此技术可产生出色的结果，但在出现较大颜色和/或强度过渡的边缘和边界区域也可能会出现伪影，例如锯齿。

为了提高量子效率和光谱响应，一些CMOS设计者正在转向使用基于初级减色:青色、黄色和洋红色（ CMY ），而不是标准添加剂主要为红色、绿色和蓝色（ RGB ）上面讨论过的。使用CMY滤波器阵列的优点包括提高灵敏度，从而改善通过滤波器的光传输，以及更强的信号。这是因为与相应的添加滤波器相比，CMY滤光片应用于单一层，具有优越的光透射特性。CMY滤波器的缺点是需要更复杂的颜色校正矩阵，以便将从传感器收集到的CMY数据转换为在计算机显示器上打印或显示图像所必需的RGB值。这些算法导致在色彩转换过程中产生额外的噪声，但与CMY滤波器阵列获得的增强的灵敏度往往可以抵消图像处理过程中遇到的问题。

噪声的来源及解决方法

CMOS图像传感器的一个主要问题是，当检查这些设备产生的图像时，很容易显现出高度的噪声。传感器技术的进步使信号处理电路与图像阵列的精心集成成为可能，这大大抑制了许多噪声源并显著提高了 CMOS 性能。然而，其他类型的噪声往往困扰着设计人员和最终用户。如上所述，现代 CMOS 后采集信号处理技术实际上已经消除了固定模式噪声，但其他形式，如光子散粒噪声、暗电流、复位噪声和热噪声，则不太容易处理。

在由复位晶体管初始化或复位光电二极管的过程中，产生一个称为 kTC （或复位）噪声的大噪声分量，如果没有增强的电路设计，则很难去除。英文缩写 k 表示玻耳兹曼常数， T 表示工作温度， C 表示放大器晶体管输入端的总电容，由光电二极管电容和放大器晶体内的输入电容之和组成。重置噪声会严重限制图像传感器的信噪比。复位和另一个噪声源，通常称为 放大 器或 1/f 低频噪声，可以通过一种称为相关双采样 （CDS） 的技术进行控制，该技术必须通过向每个像素添加第四个“测量”（或传输）晶体管来实现。双采样算法的工作原理是单独测量 reset 或 amplifier 噪声，然后减去组合的图像信号加上重置噪声。

光子散粒噪声在捕获的图像中很容易看作是一种随机模式，这是由于照明量的统计波动导致输出信号的时间变化而发生的。阵列中的每个光电二极管产生的光子散粒噪声水平略有不同，在极端情况下会严重影响 CMOS 图像传感器的性能。这种类型的噪声是远大于传感器本底噪声的信号的主要噪声源，并且存在于包括 CCD 在内的每个图像传感器中。暗电流是由在没有照明的情况下产生信号电荷（电子）的伪影产生的，并且可以表现出从一个像素到另一个像素的显著程度的波动，这在很大程度上取决于操作条件。这种类型的信号是温度敏感的，可以通过冷却图像传感器或通过额外的帧存储来消除，该帧存储在随机存取存储器中并从捕获的图像中减去。

暗电流几乎不可能消除，但可以通过在 CMOS 传感器制造过程中使用固定光电二极管技术来减少。为了创建固定光电二极管像素，将 P 型硅的浅层应用于典型 N 孔受光区的表面，以产生双结三明治，从而改变像素的可见光谱响应。表面结针对响应较低波长（蓝色）进行了优化，而较深的结对较长的波长（红色和红外）更敏感。因此，电势井中收集的电子被限制在 N 区附近，远离表面，这导致暗电流及其相关噪声元件的减少。在实践中，构建一个固定的光电二极管像素在 CMOS 传感器工作的低电压环境中产生完全复位可能很困难。如果未达到完全复位条件，则可能会将滞后引入阵列，从而相应地增加复位晶体管噪声。固定光电二极管技术的其他优点是，由于 P-Silicon 层界面附近短波长可见光辐射的捕获增强，因此蓝光响应得到改善。

在CMOS成像传感器中，像素感光区域之间的晶体管、电容和总线是引起热噪声的元件。通过微调成像器带宽、增加输出电流或冷却相机系统，可以减少这种类型的噪声。在许多情况下，CMOS像素读出序列可以通过限制每个晶体管放大器的带宽来降低热噪声。在低成本 CMOS 图像传感器上添加复杂且昂贵的 Peltier 或类似的冷却装置是不切实际的，因此这些设备通常不用于降噪。

CMOS像素结构

在现代 CMOS 图像传感器中有两种基本的光敏像素单元结构：光电二极管 和 光电门（参见图 6 ）。一般来说，光电二极管设计对可见光更敏感，特别是在光谱的短波长（蓝色）区域。与光电二极管相比，Photogate 器件通常具有更大的像素面积，但填充因子较低，蓝光响应（和一般量子效率）要差得多。然而，光栅通常能达到更高的电荷-电压转换增益水平，并且可以很容易地被利用来执行相关的双采样以实现帧差分。

Photogate 有源像素传感器利用 CCD 技术的多个方面来降低噪声并提高 CMOS 图像传感器捕获的图像质量。在积分过程中，在光门下积累的电荷被定位到由接入晶体管控制的电位井中。在读出期间，支持像素电路将电荷（作为电压）进行两阶段转移至输出总线。第一步是通过放大器晶体管将累积的电荷转换为可测量的电压来实现的。接下来，传输栅极被脉冲驱动，以启动电荷从受光面到输出晶体管的传输，然后传递到色谱柱总线。这种传输技术允许两个信号采样机会，可以通过高效设计来利用这两个机会来提高降噪效果。像素输出在光电二极管复位后首先采样，然后在积分信号电荷后再次采样。通过从第二个信号中减去第一个信号以消除低频重置噪声，光门有源像素架构可以执行相关双采样。

与光电二极管传感器相比，光电门设计的一个主要优点是它们在低光照水平下工作时具有降低噪声的功能。基于光电二极管的 CMOS 传感器适用于不需要高精度图像、低噪声、卓越动态范围和高分辨率色彩特性的中等性能消费类应用。这两款器件都利用了经济的电源要求，可以通过电池、来自计算机接口（USB 和 FireWire）的低电压电源或其他直流电源来满足。通常，CMOS 处理器的电压要求在 3.3 V 到 5.0 V 之间，但较新的设计正在迁移到降低一半的值。

CMOS图像传感器工作序列

在大多数 CMOS 光电二极管阵列设计中，有源像素区域被一个光学屏蔽像素区域包围，这些像素区域排列成 8 到 12 行和列，用于黑电平补偿。Bayer（或 CMY）滤波器数组从第一个未屏蔽的行和列中的左上角像素开始。当每个积分周期开始时，同一行中的所有像素将由板载时序和控制电路逐行复位，从行地址寄存器编目的第一行到最后一行（见图7），对于具有模拟输出的传感器器件，当积分完成后，相同的控制电路将每个像素的积分值传送到相关的双采样电路（ CDS ），然后转到水平移位寄存器。在移位寄存器被加载后，像素信息将被串行移位（一次一个像素）到模拟视频放大器。此放大器的增益由硬件或软件控制（在某些情况下，两者的组合）。相比之下，具有数字读出功能的 CMOS 图像传感器每列使用模数转换器，并且连续每个像素并行进行转换。然后采用宽度等于完成转换的位数的数字总线来输出数据。在这种情况下，只有数字值被 “serially” 移位。白平衡算法通常应用于此阶段的像素。

在视频放大器（图 7 中标记为 Video Amp）中设置增益和偏移值后，像素信息被传递到模数转换器，在那里它被渲染成二进制数字的线性数字阵列。随后，数字像素数据经过进一步处理，以去除“坏”像素中出现的缺陷，并在构图和显示在数字输出端口之前补偿黑电平。黑电平补偿算法（通常称为帧速率箝位）从数字视频输出中减去阵列周围黑色像素的平均信号电平，以补偿有源像素阵列中与温度和时间相关的暗噪声电平。

序列的下一步是图像恢复（参见图 7）和应用必要的基本算法，以准备用于显示编码的最终图像。对像素执行最近邻插值，然后使用抗锯齿算法对其进行过滤并进行缩放。恢复引擎中的其他图像处理步骤通常包括抗渐晕、空间失真校正、黑白平衡、平滑、锐化、色彩平衡、光圈校正和灰度系数调整。在某些情况下，CMOS 图像传感器配备了辅助电路，可实现抗抖动（图像稳定）和图像压缩等片上功能。当图像得到充分处理后，它被发送到数字信号处理器，以缓冲到输出端口。

由于 CMOS 图像传感器能够访问整个光电二极管阵列中的单个像素数据，因此它们可以用于选择性地读取和处理为特定图像捕获的选定像素部分。这种技术被称为窗口化（或感兴趣窗口读出），极大地扩展了这些传感器的图像处理可能性。窗口通过时序和控制电路直接在芯片上进行控制，这使得能够以一对一的像素分辨率访问和显示阵列有效区域内任何位置的任何大小的窗口。当需要对图像的一个子区域中的对象进行时间运动跟踪时，此功能非常有用。它还可用于对选定部分或整个图像进行电子平移、缩放、加速读出和倾斜操作的片上控制。

大多数高端 CMOS 传感器都具有多种读出模式（类似于 CCD 传感器中采用的模式），以增加软件接口编程和模板的多功能性。逐行扫描读出模式可以从左上角开始连续访问光电二极管阵列中每行中的每个像素（一次一个像素），一直到右下角。另一种流行的读出模式称为隔行扫描，它通过在两个连续的字段中读取像素数据来操作，一个奇数字段后跟一个偶数字段。字段从数组顶部到底部交替排列，并且在读取下一组之前按顺序记录组的每一行。例如，在具有 40 个像素行的传感器中，首先读取第 1 行、第 3 行、第 5 行，直至第 39 行，然后读取第 2 行、第 4 行、第 6 行，直至第 40 行。

CMOS 图像传感器中的电子快门需要为每个像素添加一个或多个晶体管，考虑到填充因子在大多数设备中已经被破坏，这是一个不太实际的做法。大多数面阵扫描图像传感器都是这种情况。然而，已经开发的线扫描传感器将快门晶体管放置在像素有效区域附近，以减少填充因子负载。许多设计人员已经实现了一种非均匀卷帘快门解决方案，该解决方案利用最少的像素内晶体管以不同的时间间隔显示阵列中的连续行。尽管果冻效应机制适用于静止图像，但它们会产生运动模糊，从而导致高帧速率下的图像失真。为了解决这个问题，工程师们精心设计了统一的同步快门设计，可以一次暴露整个阵列。由于此技术需要在每个像素上额外使用晶体管，因此填充因子比存在一定程度的妥协，除非同时实现更大的像素。

CMOS 图像传感器的动态范围由光电二极管累积的最大信号电子数（电荷容量）除以传感器读取噪声（本底噪声）的所有分量之和决定，包括在特定积分时间内产生的时间噪声源。所有暗噪声源的贡献，例如暗电流噪声，以及像素读取噪声，以及信号路径产生的时间噪声（但不包括光子散粒噪声），都包含在此计算中。本底噪声限制了图像暗区的图像质量，并且由于暗电流散粒噪声，本底噪声会随着曝光时间的增加而增加。因此，动态范围实际上是最大可检测信号与最小同时可检测信号（本底噪声）之比。动态范围通常以灰度、分贝或比特为单位报告，信号电子与噪声的比率越高，产生的动态范围值就越大（分贝或比特越多）。请注意，动态范围受传感器信噪比特性控制，而位深度是传感器中采用的模数转换器的函数。因此，12 位数字转换对应于略高于 4,000 个灰度级或 72 分贝，而 10 位数字化可以解析 1,000 个灰度级，这是 60 分贝动态范围的适当位深度。随着传感器动态范围的增加，同时记录图像中最暗和最亮强度（场景内动态范围）的能力得到提高，探测器的定量测量能力也得到提高。场景间动态范围表示当针对不同的视场调整探测器增益、积分时间、镜头孔径和其他变量时可以容纳的强度光谱。

CMOS 图像传感器最通用的功能之一是它们能够以非常高的帧速率捕获图像。这可以通过软件控制的界面录制延时序列和实时视频。每秒 30 到 60 帧的速率很常见，而几个高速成像器可以实现超过 1000 帧的加速速率。额外的支持电路，包括协处理器和外部随机存取存储器，是生产能够利用这些功能的相机系统所必需的。

结论

CMOS 图像传感器在大批量晶圆厂中采用成熟的标准硅工艺制造，这些工厂还生产相关芯片，例如微处理器、存储电路、微控制器和数字信号处理器。其巨大优势在于，数字逻辑电路、时钟驱动器、计数器和模数转换器可以与光电二极管阵列放置在相同的硅基上。这使得 CMOS 传感器能够以类似于其他集成电路的方式参与工艺缩小，以最少的重新设计移动到更小的线宽。即便如此，为了保证低噪声器件的高性能，通常必须修改标准的 CMOS 制造工艺，以专门适应图像传感器。例如，在逻辑芯片中创建晶体管结的标准 CMOS 技术在应用于成像器件时可能会产生高暗电流和低蓝光响应。优化图像传感器的工艺通常涉及权衡，这使得常见 CMOS 器件的制造场景不可靠。

在过去几年中，像素尺寸不断缩小，从 1990 年代中期主导设备的 10-20 微米巨型像素，到目前充斥市场的 6-8 微米传感器。对微型电子成像设备（如监控和电话摄像头）的需求越来越大，这促使设计人员进一步减小像素尺寸。具有 4-5 微米像素的图像传感器正在用于具有较小阵列的设备，但数百万像素芯片需要 3 至 4 微米范围内的像素尺寸。为了实现这些尺寸，CMOS 图像传感器必须在 0.25 微米或更窄的制造生产线上生产。通过采用更窄的线宽，可以在保持可接受的填充因子的同时将更多的晶体管封装到每个像素元件中，前提是缩放比率因子接近统一。凭借 0.13 至 0.25 微米的制造生产线，先进的技术（如像素内模数转换器、全彩处理、接口逻辑和其他相关的复杂电路）应该成为可能，这些电路经过调整后可以提高 CMOS 传感器的灵活性和动态范围。

尽管许多 CMOS 制造厂缺乏添加彩色滤光片和微透镜阵列的工艺步骤，但随着市场需求的增长，这些步骤越来越多地用于图像传感器生产。此外，对成像设备至关重要的光学封装技术需要洁净室和平板玻璃处理设备，这在制造标准逻辑和处理器集成电路的工厂中通常没有。因此，图像传感器制造的增加成本可能很高。

CMOS图像传感器的应用范围在过去几年中急剧增加。自 1990 年代后期以来，CMOS 传感器在传真机、扫描仪、安全摄像头、玩具、游戏、PC 摄像头和低端消费类摄像头等应用中的成像设备中占据了越来越多的份额。未来几年，多功能传感器也可能开始出现在手机、条形码阅读器、光学鼠标、汽车甚至家用电器中。由于 CMOS 传感器能够以高帧率捕获连续图像，因此越来越多地用于工业检测、武器系统、流体动力学和医疗诊断。尽管预计 CMOS 图像传感器不会在大多数高端应用中取代 CCD，但随着技术的进步，CMOS 图像传感器应该会继续找到新的归宿。

终身辅导、一对一辅导是景芯SoC训练营的特色！

手把手教您搭建SoC，从入门到进阶，带您掌握架构、算法、设计、验证、DFT、后端全流程低功耗！直播视频不定期升级！让您快速超越同龄人！

报名微信：13541390811

景芯全流程课程如下：

• 景芯SoC设计  视频+文档+实战+一对一终身辅导（视频免费无期限）

• 景芯SoC验证  视频+文档+实战+一对一终身辅导（视频免费无期限）

• 景芯SoC中端  视频+文档+实战+一对一终身辅导（视频免费无期限）

• 景芯SoC后端  视频+文档+实战+一对一终身辅导（视频免费无期限）

进阶课程：

• 12nm 2.5GHz A72 低功耗DVFS实战培训（价格不到同行1/2）

• DDR4/3项目实战培训（价格不到同行1/2）

  
  

  
  

小编逐步将教程、芯片设计全流程知识公布在知识星球，包括设计、验证、DFT、后端全流程知识以及大量技术文档，如果你和我一样渴求知识，不惧怕全流程的知识爆炸，那么欢迎您加入讨论学习，共同进步！

景芯主营业务是design service+一对一芯片辅导培训！

另外小编团队提供芯片Design Service，设计服务包括：

• 提供SoC、MCU、ISP、CIS等芯片设计、验证、DFT设计服务

• 提供DDR/PCIE/MIPI/CAN/USB/ETH/QSPI/UART/I2C等IP设计

• 提供7nm、12nm、28nm、40nm、55nm、65nm、90nm等后端设计

• 提供高校、企业定制化芯片设计服务、设计培训业务

手把手教您掌握SoC算法、设计、验证、DFT、后端全流程低功耗！

景芯SoCv3.0，是一款用于【芯片全流程实战培训】的低功耗多媒体SoC！

景芯SoC系统分为三个层次的功耗管理，并集成低功耗RISC-V处理器，集成ITCM SRAM、DTCM SRAM，集成MIPI、ISP、USB、QSPI、UART、I2C、GPIO等IP，采用SMIC40工艺流片。

• 高速接口的Verilog设计实现
• 从图像算法到RTL设计实现
• MIPI、ISP的Verilog实现与仿真
• Lint、CDC检查及UVM验证
• SoC子系统的C驱动仿真
• 后仿真

• SoC子系统级的UVM环境搭建
• SoC子系统级的UVC环境搭建
• SoC子系统级的VIP环境搭建
• SoC子系统的DMA SRAM UVM联合验证
• SoC子系统的UART、I2C、QSPI UVM验证
  
  

仅验证一门课程内容就抵得上其他培训机构的3-4门课程，价格仅其1/6

• DFT设计(芯片级)
• Synthesis逻辑综合(芯片级）
• 低功耗UPF设计、CLP技术

• formal验证等技术

(四)SoC后端课程，您将学会

• 低功耗设计
  

• 布局布线(低功耗FF flow)
• StarRC/QRC
• STA/Tempus
• 功耗分析
• DRC/LVS设计

仅后端一门课程内容就抵得上其他培训机构的3-4门课程，价格仅其1/6

课程提供服务器供大家实践！带你从算法、前端、DFT到后端全流程参与SoC项目设计。请联系号主报名！联系微信：135-4139-0811

景芯SoC训练营图像处理的数据通路：

景芯SoC的CRG设计：

一键式完成C代码编译、仿真、综合、DFT插入、形式验证、布局布线、寄生参数抽取、STA分析、DRC/LVS、后仿真、形式验证、功耗分析等全流程。升级后的芯片设计工程V4.0 flow如下：

数字电路中经典设计：多条通信数据Lane Merging设计实现

数字电路中经典设计：多条通信数据Lane Distribution实现

全芯片UPF低功耗设计(含DFT设计)

景芯SoC训练营培训项目，低功耗设计前，功耗为27.9mW。

低功耗设计后，功耗为0.285mW，功耗降低98.9%！

电压降检查：

低功耗检查：

芯片的版图设计V1.0

芯片的版图设计V4.0

低功耗设计的DRC/LVS，芯片顶层的LVS实践价值极高，具有挑战性！业界独一无二的经验分享。

•    dpc - 坏点校正

  
  

•    blc - 黑电平校正 

  
  

•    bnr - 拜耳降噪

•    dgain - 数字增益 

•    demosaic - 去马赛克

  
  

•    wb - 白平衡增益 

•    ccm - 色彩校正矩阵 

•    csc - 色彩空间转换 (基于整数优化的RGB2YUV转换公式)

•    gamma - Gamma校正 (对亮度基于查表的Gamma校正)

•    ee - 边缘增强

  
  

•    stat_ae - 自动曝光统计 

•    stat_awb - 自动白平衡统计

支持手写数字的AI识别：

仿真结果：仿真识别上图7、2、1、0、4、1、4、9

景芯SoC 3.0 ISP：

景芯SoC V3.0 DFT方案：

如果您和小编一样渴求进步，想掌握芯片设计全流程，欢迎加入小编知识星球，疯狂成长，一起进步！早日成为芯片大佬！

景芯学员们，小编十分感谢你们对景芯的肯定、信任和支持，你们的鼓励让小编十分感激，小编一定更努力精心打磨景芯SoC实战课，我承诺，一定要做到零差评，让大家无论资深还是资浅都能从景芯训练营获得成长！