本文系微信公众号《大话成像》,知乎专栏《all in camera》原创文章,转载请注明出处。 大话成像读者QQ 交流群2 :833282006 一群已满 大话成像技术论坛:ww.dahuachengxiang.com 微信群可以先加: zxzombie
本站教学视频《图像传感器技术与应用》《成像系统图像质量调试》《成像算法基础(python版)》 《成像系统镜头光学》《新版图像质量测试测量与国际标准》《新版cmos sensor测试测量与国际标准》《新版数字成像系统42讲》课程大话成像淘宝教育官方网店有售:https://shop322456667.taobao.com/
从成像的角度来看,人眼并不是一台完美的相机。但是在大多数情况下,当我们设计针对视觉、特别是消费者的彩色成像相机时,设计师的一个默认对比就是人眼(主观结果)。这些年随着技术的发展,越来越多的相机展示了从夜景到变焦等各种超越人眼的摄像头产品和功能。但是又总有各种客户反馈每个产品在这里或那里不如人眼。这使得一个全面超过人眼的相机依然是很多产品的追求。
想要做一个能够整体超过人眼的相机,首先我们需要分析眼睛到底是一个什么样水平的相机呢?
首先,从结构和功能上理解眼睛。对于一架摄像机或照相机,人眼的结构是由角膜、晶状体、前房后房、玻璃体所共同组成的具备镜头功能的组合。它把物体发出的光成的像投影到后面的相当于sensor/胶卷的用于检测光线的视网膜上。
角膜是一直径为11mm的透明膜,镶嵌于巩膜前面圆孔内,其中央部的曲率半径为8mm,周边部比较平坦。角膜的屈光指数为1.376,为眼球的主要曲光媒质。
晶状体为一形似双凸透镜的透明组织,由小带纤维悬挂于瞳孔后面,睫状肌收缩时小带松弛,晶状体依靠其本身的弹性而变厚,前后表面的曲度增加,整体屈光度增加,利于看清近处物体,称为调节。在角膜和水晶体之间为虹膜,中间开有一个可以自动控制大小的孔,让适当的光线进来,称为瞳孔。
前房和后房是存在于角膜和晶状体之间,以及虹膜和晶状体周边部之间的空隙,充满着房水。房水的主要功能是维持眼内压,并维持晶状体的代谢。
玻璃体是一透明胶样组织,充填于视网膜内的空间。它占眼球容积的4/5。玻璃体具有保护视网膜和缓冲震动的功能。
视网膜是接近黑的深红色,反光很弱,其上面布满感光细胞。正对眼球中心有一个直径约2mm的黄色区域(折合6度视角),称为黄斑。黄斑中心有一个小凹,称为中央凹,面积约为1平方毫米。
视网膜上有两种感光细胞:视锥细胞和视杆细胞。它们均以外表形状命名。一只眼睛里面大约分别有700万个视锥细胞和1亿2千万个视杆细胞。视锥细胞像玉米的锥形,尖向外,只对较强的光敏感,至少有分别感觉红、绿、蓝三种颜色的视锥细胞存在,因此能够感知颜色。视杆细胞只有一种,因此没有颜色感觉,但是灵敏度非常高,可以看到非常暗的物体。视锥细胞在黄斑里面非常集中,尤其是在中央凹里面最为密集,是产生最清晰视觉的地方。视杆细胞恰好在黄斑里面最少,除此之外分布比较均匀,在距离中心10-20度的范围内相对集中。
从关键参数的角度来看:
像素分辨率目前科学界公认的数据表明,观看物体时,人能清晰看清视场区域对应的分辨率为2169X1213。再算上上下左右比较模糊的区域,人眼分辨率是6000X4000。
当然还有其他评价分辨率的方法:
PPD(Pixels Per Degree)角分辨率,指视场角中的平均每1°夹角内填充的像素点的数量。这其实更多用在显示上,而不是相机。PPD数值越大,就说明对细节的显示越精细,用户对显示画面的感受就越清晰。
标准视力1.0的最小分辨角为1/60度,因此每视野角度60个像素点,即60PPD,便达到人眼极限。视力越好,最小分辨视角α越小,达到极限所需的PPD就越大。下面这张表格表示了不同视力下的视觉PPD。
超高动态范围
在动态感光范围内,人眼有以下优势:
局部调节细胞亮度调节,光强信号的记录是模拟的,不存在二进制数位数的限制。
可以根据场景调整动态范围。
结合人眼的快速亮度和注意力机制,在场景内通过快速切换注意力,实际上可以获得更大动态范围,但这很难评估。因此只能从人眼观察物体的实际情况进行计算。
从刺目的阳光到星光之间整整相差了10^8数量级,也就是一亿倍。计算一下Log2 10^8=26.6。用摄影的语言讲,光线的动态范围应该在27EV这个数量级,实际上因为不同场景下人眼感光度不同,动态范围普遍认知在120DB到180DB之间。
高数据带宽
网上找到一个例子:7680×4320超高清晰分辨率的未经压缩的18分钟超高清视频大小为3.5TB,平均每分钟194GB。按照这个数据量,每分钟经过人眼的数据量约为140.34GB。也就是说,平均打一个小时的XBOX360,将有8420.4GB的数据被传导到大脑。这些数据如果刻成蓝光光碟,需要337张!如果把人眼想象成一个高清摄像头,它的总线带宽为2.339GB/秒。
人眼的最大ISO
在黑夜中,人眼的ISO会达到最大值约15000,这是科学家根据市面上有售的最低的ISO 25的胶片,乘以人眼最亮和最暗时感敏度相差600倍的系数而计算出来的。如果拿时下数码相机以100起跳来计算,那这数值就是60000了!
颜色和位宽
从某种程度上说,颜色是一个复杂的问题。一般认为,人类肉眼最多能分辨1000万种颜色。以8bit位宽SRGB颜色空间为例,图像的每个像素由3个组成颜色通道的成分组成,分别是RGB(红,绿,蓝)。每个通道所需的颜色位深度为8位,总共为24位。24位颜色,总共有16,777,216种组合(2的24次方)。这远远超过了人类肉眼所能分辨的1000万种颜色。但事实上,人眼是个模拟系统。
颜色范围
从下面的图像来看,人眼的颜色感觉范围是一个马蹄型投影,而SRGB的范围其实只是人眼颜色的很小一部分。即使使用ProPhoto RGB也无法完全表达所有颜色。如果需要表达所有颜色,可能还需要使用XYZ的颜色空间。
(2) 精度
这部分可靠的数据比较少,但是基于HDR10的一些资料表明,在SRGB和ARGB的颜色范围内,配合适当的调试12位深度就可以满足人眼的基本无损感受。不过,如果换到XYZ颜色空间,可能需要更大的位深。另外,考虑到动态范围以及颜色和亮度之间的关系,颜色的位深也可能还需要更大。
帧率:
对于运动物体的识别,帧率较低,一般认为人眼视觉流畅的帧数为24fps。但是人眼确实能够分辨率更高帧率画面,虽然不代表完全记录了信息。目前,从显示领域中常见的认为,人眼在140~150fps上还能有一定的分辨能力。
不过,人眼在尝试分辨高帧率图像间内容的时候容易疲劳,且拖影现象也比较严重。
基本光学参数:
曲率半径 r = 5.7mm 介质折射率 n = 1.3333 视网膜曲率半径 r' = 9.7mm
FOV和视野:
FOV:单眼156°双眼188°
视野:
如图所示,为双眼视度图。
角xyz实际上就是被鼻子挡住的位置,全部白色的范围实际上就是人眼的盲区,除了可以看到自己的鼻子和眼眶。角cyg这个范围内观看到的事物有立体感。人单眼的舒适视域为60度。
光圈:
一个顺滑可调节的强光光圈为f/8.3,低光光圈为f/2.1(对应2mm-8mm的瞳孔大小)。
焦距:
焦距方面,基本无法调节,所以人眼基本没有办法进行光学变焦.
人眼前面等效于一个比较理想的定焦镜头,可以计算出以下参数:
物方焦距f = -5.7 / 0.3333 = -17.10mm,
像方焦距f' = 1.3333 x 17.10 = 22.80mm,
像方光焦度φ = 0.3333 / (5.7 x 10-3) = 58.48。
不过人眼能够利用3D距离,辅凑系统,以及来自大脑的AI能够快速对焦,基本不会出现拉风箱的情况.
此外人眼还有以下优点:
出色的转动机械系统,可以快速对准想要观察的物体。软组织肌肉拉伸形变对焦,耐用性极强,正常使用时间可超过百年!微损伤自修复。
单眼156度,双眼188度超广角单透镜镜头,数亿年进化倾情打造的透镜面,超低畸变,消除球差相差各种差的能力极强,软组织近圆形无级可调光圈(虹膜)。
距对焦能力强,最近对焦距离为5-10cm,微距细节分辨率为326像素/英寸(by Apple),双摄像头即时测距真3D,具有自动辅凑功能。
大脑全适应白平衡(其实白平衡的主要参照人脑的机制和结果)。
不同种感光元件的组合:人单眼视网膜上约有700万个锥体细胞,1亿2千万杆体细胞。锥体细胞负责强光感知和颜色分辨,杆体细胞负责弱光感知,只能分辨明暗。两种细胞的搭配极大地提高了人眼对环境的适应能力和动态感光范围。
感官低噪声:相对于传感器,人眼中的可见噪声很少。即使现在的成像技术能够产生信噪比更好的图像,但在噪声形态和噪声的可见性上,一直不如人眼。
人眼本身其实也有很多缺点:
1 硬度低,易受损伤,在不卫生环境下有受各种细菌病毒侵蚀染病的风险,有因晶状体蛋白质变性而发生混浊的风险 ,不能长时间暴露在空气中,需要不间断湿润,不停地眨眼保持工作状态(每一分钟需要眨眼10~20次,每次0.2~0.4s[8]),
有因过疲劳、衰老、遗传因素等原因造成光学系统形变,产生在一定距离段上无法准确对焦的风险(近视在远端无法对焦,远视在近端(严重的甚至远端也)无法对焦) ,焦距基本固定(仅在对焦时发生小范围变化),不能进行光学变焦放大物体 由于遗传,后天损伤,衰老等因素会造成透镜形变或内部折射率发生变化,可能导致不能准确聚焦成像
2 结构不合理
供能系统和数据线布局不合理,血管直接从表面通过,数据线直接占据感光原件的一部分,视网膜结构如图:
血管集中的部位就是盲点,中央部位就是我们的视觉中心区。视网膜的微观结构如图:
可以看到,各种传导信息的神经细胞都在感光元件上方。然而,正是因为这个原因,我们才能真正看到它们。这导致了一些不良的成像artifact:
3 感光度方面的缺点:
感光度调高的过程比调低的过程缓慢得多。
4 解析力方面的缺点:
当照度太强、太弱或背景亮度太强时,人眼的分辨率降低。当视觉目标的运动速度加快时,人眼的分辨率也会降低。人眼对彩色细节的分辨率比对亮度细节的分辨率要差,如果黑白分辨率为1,则黑红为0.4,绿蓝为0.19。
5 颜色方面的缺点:
人眼对饱和度高的颜色的敏感度较弱。
色调不同,人眼对色调方向上的色差的敏感度也不同。
在亮度方向上的色差敏感度也会随着亮度的不同而发生变化。
在低光照条件下,色彩还原度较差。
此外,从生理上看,人的绿色视锥细胞和红色视锥细胞非常接近,因此红绿分辨能力相对较弱。在下一篇文章中,我们将介绍更多动物的眼睛,许多动物的眼睛对颜色的分辨率能力都比人类强。有一种假说是红色视锥细胞是由绿色视锥细胞变异而来。在人群中,有5%的人是色盲或者色弱,这被认为是一种返祖性的病变。
人眼是一个复杂而精密的结构,既有优点又有缺点,而且是人类最主要的信息获取途径。了解人眼对于学习成像过程至关重要。下一次,我们将更新一些有趣的与动物眼睛相关的信息。
本文参考了知乎文章的部分内容
https://www.zhihu.com/question/26507130