如何识别AI伪造的人像?看眼睛!

学术   2024-08-31 08:01   北京  



星标,才能不错过每日推送!方法见文末动图








当今AI伪造技术日益精湛,让人难辨真伪。但科学家们发现,通过分析图像中人眼的微妙细节是一种揭露伪造的有效方法,其奥秘在于精密的人眼系统。


撰文 焦述铭(粤港澳大湾区量子科学中心)
审稿 高辉(华中科技大学)


下面这幅画名为《错误的镜子》,是由比利时超现实主义画家马格里特(1898-1967)在1928年所创作,目前收藏于美国纽约现代艺术博物馆。


图1:比利时画家马格里特的作品《错误的镜子》[1]


从艺术视角,这幅画引发了人们对视觉感知本质的思考,每位观看者都有各自的解读。


不过从科学视角来看,画中的人眼与真实人眼在结构上其实非常相符。白色区域对应于人眼中的乳白色巩膜,蓝色白云的区域对应于人眼的虹膜,也就是平时所说的眼球(或者眼珠)。虹膜的颜色比巩膜深,因人种而异,可能是棕色或蓝色。但眼睛最深色的部分是虹膜中心的瞳孔,它大量吸收光线,看起来呈现漆黑色。人眼的几个基本组成部分,画中的眼睛也都一应俱全。


图2:人眼的外部结构:巩膜(Sclera),虹膜(Iris),瞳孔(Pupil),角膜(Cornea)[2]


在画中,虹膜部分被蓝天白云填充,黑色的瞳孔仍然清晰可见。这种表现方式就与实际不符了,因为我们通常无法仅通过观察他人的眼睛就判断出他们所看到的具体内容。


图3:人眼的内部结构[3]


人眼的工作原理类似于相机:瞳孔如同光圈,控制进入光线量;视网膜则相当于感光元件,接收光信号。由于瞳孔很小,且大部分光线被眼内组织吸收,我们难以从外部直接观察到视网膜上形成的图像。


图4:人眼与相机的类比


当然有时我们也可以从眼睛外部获得内部的蛛丝马迹。一个例子是夜间使用闪光灯拍照时,常会出现“红眼”现象。这是因为在暗环境中瞳孔放大,闪光灯的强光被眼内充血的脉络膜反射,造成照片中眼睛呈现红色。


人眼的光学系统主要由角膜和晶状体组成,两者都是透明的,类似于相机的镜头组。角膜位于眼睛最外层,形状固定;而晶状体可以通过睫状肌的作用改变形状,从而调节焦距,使不同距离的物体都能在视网膜上清晰成像。如果透镜组调节功能变得失灵,远处物体的图像无法聚焦在视网膜上,只能聚焦在视网膜前方,视像变得模糊,眼睛就会发生近视。


回到刚刚所说的,通过别人眼睛的一张照片,判断出他正在观看什么东西,通常是无法做到的,但也并不是绝对的,某些情况下还是有可能的,这就要靠眼角膜大显身手了。角膜是一种理想的光学器件,其光滑表面能折射和反射光线,适当条件下可以作为一面微型镜子。这种反射形成的“镜中像”通常很小且不清晰,还会受到虹膜纹理的干扰(虹膜的独特纹理类似指纹,可用于身份识别)


图5:从眼睛角膜反射的“镜中像”中,恢复出一张尽可能清楚的照片[2]


研究者们通过设计复杂的计算机算法,尝试从眼睛反光中恢复周围环境的清晰图像[4]。他们建立了数学模型,校正了位置和角度,并去除了虹膜纹理的干扰,最终成功重建了周围环境的图像。研究者还发现,眼角膜的“镜中像”具有独特优势。角膜的弯曲表面可提供广角全景画面,而眼球的运动和身体的移动可捕捉多个视角。这些特性使得从眼角膜反射中重建三维场景成为可能,实现了普通相机难以达到的效果,实现了“通过别人眼睛看世界”的效果。


图6:从一段包含人眼反射像的视频片段中,还原眼前的三维场景[4]


需要注意的是,这些研究是在理想的实验室条件下进行的,在日常环境中应用这项技术仍面临诸多困难。


眼角膜的反光还可以帮助我们辨别照片或视频的真伪。随着图像处理技术和人工智能的发展,虚假图像和视频变得越来越逼真,引发了社会忧虑和信任危机。为应对这一挑战,研究者开发了各种虚假图像视频检测技术。其中,通过分析图像中的眼睛细节就是一种有效的方法。


下面这两张照片中,有一张是伪造的,你能看出是哪一张吗?破解悬案的线索就来自一双眼睛。


图7:一真一假的两张照片:眼睛角膜反射像教你分辨[5]


研究发现,由于人的双眼位置接近,一张真实照片中左眼和右眼的角膜反射图像通常非常相似。造假者往往忽视这一细节,使得假照片中的两者存在不一致,图7右就是一个典型例子。利用这一特征,研究人员在辨别真假照片时达到了94%的成功率[5]


不仅如此,眼球瞳孔的形状也可以用来给一张照片辨别真伪[6],图8中两张照片同样是一真一假。分辨两者的诀窍在于,左图正常照片中人眼瞳孔形状通常是规则的圆形或者椭圆形,而右图AI伪造照片中瞳孔形状是不规则的。


图8:一真一假的两张照片:眼睛瞳孔形状教你分辨[6]


眼睛结构和功能的深入研究不仅加深了我们对视觉系统的理解,还促进了图像处理和信息安全技术的发展,科学研究和技术应用中很多灵感都来源于一双眼睛。


参考文献

[1] https://www.wikiart.org/en/rene-magritte/the-false-mirror-1928

[2] K. Nishino and S.K. Nayar, The World in an Eye, 2004 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2004),444-451 (2004)

[3] https://commons.m.wikimedia.org/wiki/File:Schematic_diagram_of_the_human_eye_zh-hans.svg

[4] H. Alzayer, K. Zhang, B. Feng, C. Metzler, J.-B. Huang, Seeing the World through Your Eyes, arXiv:2306.09348 (2023)

[5] S. Hu, Y. Li and S. Lyu, "Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights," IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2021), 2500-2504 (2021)

[6] H. Guo, S. Hu, X. Wang, M. -C. Chang and S. Lyu, "Eyes Tell All: Irregular Pupil Shapes Reveal GAN-Generated Faces," 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022), 2904-2908 (2022)


本文经授权转载自微信公众号“中国光学”,编辑:赵阳,原标题虚实之间:从人眼到现代图像技术


相关阅读

1  怀念图像配准先驱,他的算法让医学图像更准确

2  CCD图像传感器——颠覆人类记录影像的方式

3  看见病毒:显微镜的百年历程

4  博士生DIY超级显微镜,直接看到原子!网友:太极客了,一下省出几十万元


近期推荐

1  柳怀祖:我所知道周光召同志的一些事

2  聪明的孩子靠遗传还是“鸡娃”?这些双胞胎研究告诉你,事情没那么简单

3  多位CUSPEA学者痛别李政道:他得诺奖时是中国人,此后改变了我们和时代的命运

4  科学背后的政治竞争:1957年围绕宇称不守恒展开的国际争夺战

5  数学教授教体育后,把9名校队选手送进了今年奥运会


特 别 提 示

1. 进入『返朴』微信公众号底部菜单“精品专栏“,可查阅不同主题系列科普文章。

2. 『返朴』提供按月检索文章功能。关注公众号,回复四位数组成的年份+月份,如“1903”,可获取2019年3月的文章索引,以此类推。


找不到《返朴》了?快加星标!!



长按下方图片关注「返朴」,查看更多历史文章

微信实行乱序推送,常点“在看”,可防失联

返朴
溯源守拙·问学求新
 最新文章