就在前几天,华为推出了Mate 70系列,其中有一个「红枫原色影像」引起了极果君注意,于是乎扒了扒它的资料,这不扒不知道,里面的秘密还真不少…
通常情况下,高端旗舰的影像系统往往采用主摄、超广角、长焦三颗镜头的组合方案,而这次,华为 Mate 70 系列上多出了一颗「红枫原色摄像头」,四颗摄像头搭配,色彩还原更准确,「红枫原色影像」因此而得名。
本质上,这颗「红枫原色摄像头」是首次应用于手机中的多光谱成像摄像头,主要工作部件为多光谱传感器,它的作用就是解决「色彩还原不够准确」的问题。
其实手机影像发展至今,依然存在偏色的痛点。细心的朋友会发现,用手机拍照的成片,对比人眼所见,有时色彩并不完全一致,这其中主要原因就是传感器对色彩识别能力不足。
人眼和摄像头虽然都有聚光的透镜和接收光的传感器,但是人眼有专门来处理红、绿、蓝不一样的颜色的感光细胞,来区分不同的光,
而摄像头是使用数百万个 “光点”阵列来记录图像,然后通过测量电信号的强度来评估有多少光子落入每个空腔,最后将信号量化为数字值,但是这些空腔无法区分每种颜色的含量。
为了捕捉彩色图像,必须在每个空腔上放置一个滤光片,只允许特定颜色的光通过,市场上常见的手机采用的滤色器阵列类型称为「拜耳阵列」,采用RGGB ( 红、绿、绿、蓝 )阵列传感器,只有RGB( 红、绿、蓝 )三个通道。
在采集过程中,只保留红、绿、蓝三波段的光谱,至于其他大多数的光都无法采集,只能依靠白平衡等算法去「猜」,所以手机拍到的颜色与人眼看到的颜色有所偏差。
华为采用的则是祖传的 RYYB( 红、黄、黄、蓝 ) 传感器,把绿色滤光片换成了黄色,这么设计是为了提高进光量,提升暗光拍摄效果,但也容易发生偏色问题。
所以想要解决这个问题,就要从传感器入手,而多光谱传感器则可以大大增加颜色通道数,能在更多波段上感光,也就是感知到更多颜色的光。
华为 Mate 70系列上这颗多光谱成像摄像头,能够准确捕捉环境光谱,为主摄、超广角、长焦微距摄像头提供更加真实的色彩输入,从而拍出“所见即所得”的照片,用摄影时最不容易拍好的红色举例,对比iPhone 16 Pro Max,实际成片效果更接近肉眼所见:
「罗马非一日建成」,多光谱技术在华为手机上的成熟运用,也并非一蹴而就。
早在2018年,华为P20系列首次搭载了来自 AMS 的5通道色温传感器,这种色温传感器通过检测环境中光线颜色温度,可以帮助手机在不同光照条件下保持画面色彩的一致性,从而提升拍摄效果,所以也可以称其为环境光传感器。
2020年,华为P40系列搭载8通道多光谱色温传感器,在那时华为摄像头专家@MaidouDEmaidou先生就曾透露这颗实际上是11通道,但目前只用了其中的8个通道检测可见光,后续技术会继续演变,有了这颗8通道多光谱色温传感器,能够提升白平衡效果,改善偏色问题。
2021年,华为P50 Pocket带来了超光谱影像系统,硬件上由10 通道多光谱传感器、闪光灯、超光谱补光灯、激光对焦传感器、4000 万像素原色摄像头、1300 万像素超广角摄像头和3200 万像素超光谱摄像头组成。
其中这颗3200万像素的超光谱摄像头,实际上就是一颗特制的紫外摄像头,等于把滤光片换成只允许紫外光通过的滤光片,可以发现可见光之外的细微细节,能用来进行荧光摄影、防晒检测等等;而其中另一颗超光谱补光灯则与超光谱摄像头共同作用,它会发射紫光,经过被摄物体的表面反射,最终光线反射回紫外相机中,被紫外相机所收集,这就是这套超光谱影像系统(紫外相机系统)真正的工作原理。
2022年,华为Mate 50系列搭载10通道多光谱传感器,技术再次迭代。
2024年,华为Mate 70系列首次推出了红枫原色影像技术,搭载一颗150万多光谱通道红枫原色摄像头,是为「首次应用多光谱成像摄像头」,能够精准捕捉丰富的环境光谱信息,并赋能给主摄、超广角和长焦微距摄像头,再次升级了光谱技术在手机中的运用。
PS:需要注意的是,正确断句是「150万」「多光谱通道」,并非百万级光谱通道,而如果真的到了百万级别,那可真就「恐怖如斯」了,可能是以下的情况…
目前手机上应用的是多光谱成像,而在多光谱成像之上还有高光谱成像和超光谱成像,分别对应数十个波长通道和数百个波长通道,随着通道数量的增多,光谱在手机上的应用难以估量。这或许就是华为未来的布局。
目前高光谱成像和超光谱成像主要应用于农业、环境、地质、食品检测甚至文物鉴定等领域,简单来说,就是用来看农药残留、环境污染、矿物探测和看文物开不开门的…再简单来说,这俩已经超越了人类视觉,能看到人眼看不到的光。
而如果后续被华为运用到了手机上,就可以用来测农药残留、检测纸巾荧光剂;查看皮肤状态;提前发现皮肤暗沉、色斑等问题;识别各种材质,比如可以看出来超市里的苹果有没有暗伤,是真苹果还是假苹果,甚至能看出来一件衣服是棉的还是化纤的…这再搭配小艺大模型能力,以及侧边按钮,识别能力直接飞起。
以上功能并非臆想,而是已经经过了实践,极具发展前景。就在11月7号,北京理工大学张军院士团队在《Nature》期刊发表的一篇论文,也跟超光谱相机有关,首创片上光谱复用感知架构,自主研制了国际首款百通道、百万像素高光谱实时成像器件,工作波段覆盖了可见光和近红外超宽波段(400-1700nm),参数为1024×1024@124fps、96通道,光能利用率创造世界最高纪录,实际落地商用或许离我们并不遥远,相信技术的迭代,能让这些功能快点与我们相见。
以上种种,让我们有理由相信:手机影像,正迈入一个新的纪元。或许明年,多光谱摄像头被更多厂商搭载,已经能够实现一些比较简单的运用,由华为牵头,迈入崭新的光谱成像时代。