【视频专栏】虹膜呈现攻击检测综述

文摘科技 2024-08-08 17:00 北京

点击上方蓝字关注我们

王财勇, 刘星雨, 房美玲, 赵光哲, 何召锋, 孙哲南. 虹膜呈现攻击检测综述. 自动化学报, 2024, 50(2): 241−281

摘要

虹膜识别技术因唯一性、稳定性、非接触性、准确性等特性广泛应用于各类现实场景中. 然而, 现有的许多虹膜识别系统在认证过程中仍然容易遭受各种攻击的干扰, 导致安全性方面可能存在风险隐患. 在不同的攻击类型中, 呈现攻击(Presentation attacks, PAs)由于出现在早期的虹膜图像获取阶段, 且形式变化多端, 因而虹膜呈现攻击检测(Iris presentation attack detection, IPAD)成为虹膜识别技术中首先需要解决的安全问题之一, 得到了学术界和产业界的广泛重视. 本综述是目前已知第一篇虹膜呈现攻击检测领域的中文综述, 旨在帮助研究人员快速、全面地了解该领域的相关知识以及发展动态. 总体来说, 本文对虹膜呈现攻击检测的难点、术语和攻击类型、主流方法、公共数据集、比赛及可解释性等方面进行全面归纳. 具体而言, 首先介绍虹膜呈现攻击检测的背景、虹膜识别系统现存的安全漏洞与呈现攻击的目的. 其次, 按照是否使用额外硬件设备将检测方法分为基于硬件与基于软件的方法两大类, 并在基于软件的方法中按照特征提取的方式作出进一步归纳和分析. 此外, 还整理了开源方法、可申请的公开数据集以及概括了历届相关比赛. 最后, 对虹膜呈现攻击检测未来可能的发展方向进行了展望.

引言

自从1993年英国剑桥大学Daugman博士首次提出实用的高性能虹膜识别系统[1]以来, 虹膜识别技术得到了广泛关注和迅猛发展. 虹膜作为身份标识具有诸多先天优势, 如唯一性、稳定性、非接触性、防伪性等, 因此长期以来虹膜识别被人们视为一种安全、可靠的生物特征识别技术[2-3], 广泛应用于国家公共安全、公共卫生、边检安防、司法、商业等重要场景中. 特别是近些年来, 随着物联网、互联网、人工智能、元宇宙等技术的发展, 一大批基于笔记本电脑、手机、VR/AR设备等的终端产品丰富了虹膜识别的应用场景. 然而随着应用的不断深入, 人们发现虹膜识别技术并非百分之百安全, 它的不同阶段仍然可能遭受各种类型的攻击干扰, 造成识别系统存在安全漏洞和风险隐患. 在不同的攻击类型中, 虹膜呈现攻击(Presentation attacks, PAs)是最常见的, 出现在早期的虹膜图像获取阶段, 它通过诱导传感器捕获假体虹膜样本作为待识别的虹膜图像, 干扰识别系统的正常运行, 导致系统做出错误的决策. 截止目前, 网络媒体上关于虹膜呈现攻击的报道屡见不鲜. 例如, 2017年, 欧洲最大黑客协会Chaos Computer Club针对三星Galaxy S8手机进行了一项测试, 他们通过将透明隐形眼镜覆盖在打印虹膜图像上(该隐形眼镜用于模拟眼球的曲率), 成功解锁了手机; 同年, 百度安全实验室(Baidu X-Lab)利用激光黑白打印机打印出来的高清虹膜照片也解锁了一款具备虹膜识别功能的手机; 2018年, 来自波兰华沙工业大学的研究员们将尸体虹膜作为一种呈现攻击类型, 指出犯罪分子有可能利用尸体虹膜来绕过虹膜扫描仪以冒充逝者获得访问权. 这些报道极大地引发了社会各界对虹膜识别技术安全性的担忧. 针对此类问题, 虹膜呈现攻击检测(Iris presentation attack detection, IPAD)技术应运而生, 它旨在判别输入系统的虹膜图像是来自正常采集的活体虹膜, 还是来自某种假体虹膜, 以排除假体虹膜对于系统的攻击和阻碍[4-5]. 常见的虹膜呈现攻击方式包含打印虹膜照片、重播放虹膜样本、3D虹膜假体(如义眼)和佩戴有纹理的隐形眼镜等. 图1展现了在虹膜识别过程中使用义眼进行虹膜呈现攻击的场景.

图 1 使用义眼进行虹膜呈现攻击图示(插图取自电影《辛普森一家》)

Fig. 1 An illustration of iris presentation attack using artificial eye (the figure is from 《The Simpsons》)

随着获取个体虹膜信息的渠道增多, 以及制造假体虹膜的手段不断升级, 虹膜呈现攻击给虹膜识别系统带来的隐患与日俱增. 从个人角度来看, 该攻击行为可能会导致用户的隐私泄露, 侵犯用户的合法权益, 给正常的生活带来困扰; 另一方面, 从国家角度来看, 亦会影响社会的稳定和谐. 相较于其他生物特征识别技术, 比如指纹识别和人脸识别, 虹膜识别一般应用于安保级别较高的地方, 如涉及财物、机密文件、特殊人群的银行、政府、监狱等场所, 故虹膜识别的安全性尤其重要. 图2列举了一些虹膜识别及虹膜呈现攻击检测的应用场景. 因此, 准确判别呈现给虹膜传感器的样本真假, 保障虹膜识别技术的安全性是该技术发展中不可忽视的一环.

图 2 虹膜识别及虹膜呈现攻击检测的应用场景

Fig. 2 Application scenarios of iris recognition and iris presentation attack detection

鉴于虹膜呈现攻击检测的重要应用价值, 国内外主要的虹膜识别厂商都对此进行了广泛的研究和布局, 并将开发的虹膜呈现攻击检测功能集成到各类虹膜识别产品中, 如图3所示. 表1汇总了国内外主要的几家虹膜识别厂商部署的虹膜呈现攻击检测技术, 从中可以看到各种基于硬件和基于软件的方法分别被提出, 以支持检测美瞳(纹理隐形眼镜)、打印、义眼、屏显、重放攻击等各种攻击类型. 进一步地, 国内外厂商如中科虹霸、松下电器、IrisGuard等在近些年都申请了与虹膜呈现攻击检测相关的国内外专利. 我们通过企知道公司(https://www.qizhidao.com/)开发的专利数据库检索了含有虹膜活体检测、伪造虹膜、美瞳检测等关键词的中国专利, 统计了虹膜呈现攻击检测历年的中国专利数量, 如图4所示. 此外, 我们还对专利所属的公司名称根据出现次数进行了词云可视化, 如图5所示. 可以看到近些年虹膜呈现攻击检测相关的专利数量正在日益增加, 国内外厂商均在中国布局了相关的专利, 且值得注意的是, 除一些专业的虹膜识别厂商外, 一些互联网公司如腾讯、京东、OPPO等和工商银行都在该领域有所涉猎, 反映了虹膜识别广阔的应用前景, 更加凸显了虹膜呈现攻击检测在工业上的重要性.

图 3 具有虹膜呈现攻击检测功能的虹膜识别产品

Fig. 3 Iris recognition products with IPAD function

表 1 国内外虹膜识别主要厂商部署虹膜呈现攻击检测技术概览

Table 1 Overview of IPAD technology deployed by major iris recognition manufacturers at home and abroad

图 4 虹膜呈现攻击检测的中国专利数量

Fig. 4 The number of Chinese patents related to IPAD

图 5 申请虹膜呈现攻击检测中国专利的公司名称词云

Fig. 5 Word cloud of companies applying for Chinese patents related to IPAD

在学术上, 虹膜呈现攻击检测也具有重要的研究意义. 首先, 它可以简单地看作是一个单分类或二分类问题, 因此从训练样本使用、虹膜特征表达、分类器选取等方面涉及到了计算机视觉、机器学习、模式识别等领域的共性科学问题; 其次, 虹膜呈现攻击检测算法本身应该对未知的领域有较好的泛化能力, 因此这涉及到域适应、域泛化等问题; 此外, 虹膜呈现攻击工具也在与时俱进, 例如近些年出现的生成对抗网络可以用于合成虹膜等, 严重威胁了现有的检测算法. 因此, 虹膜呈现攻击检测为这些科学领域提供了新的研究课题, 有利于启发新的理论创新, 促进这些领域的成熟和发展, 并吸引了一大批研究人员投入到相关问题的研究中去. 国内外研究机构如中国科学院自动化研究所、吉林大学、圣母大学、密歇根州立大学、华沙工业大学、弗劳恩霍夫计算机图形研究所等都有团队从事虹膜呈现攻击检测的研究. 生物特征识别领域重要国际期刊会议如IEEE Transactions on Biometrics, Behavior, and Identity Science; IEEE Transactions on Information Forensics and Security; IET Biometrics; IJCB (IEEE International Joint Conference on Biometrics); ICASSP (IEEE International Conference on Acoustics, Speech and Signal Processing)也陆续发表了相关论文[6-10]. 另外, 一系列虹膜呈现攻击检测的比赛也在国际上公开举办[11-15].

针对日益丰富的虹膜呈现攻击检测方法, 相关研究者陆续进行了综述. 美国圣母大学Bowyer教授团队首先通过两个维度——虹膜被视为静态还是动态对象和传感器对虹膜是否有刺激, 建立了一个分类框架来总结2018年之前的不同研究成果[16]; 在此基础上, 他们在2020年进行了延伸, 主要介绍了从2018年到2020年提出的检测方法, 并将方法分类为基于传统计算机视觉、基于深度学习以及将两者结合的方法进行分析[17]; Galbally等[18]和Morales等[19]认为现有方法分为两种, 一种是基于硬件的, 也称为基于传感器的方法, 通过传感器捕获眼睛的生物特征和物理特征检测攻击; 另一种是基于软件的, 也称为基于特征的方法, 根据获得的样本提取纹理信息进行决策. 近几年虹膜呈现攻击检测的文献增多, 其不仅仅关注检测性能, 且开始关注如可解释性[20-22]、公平性[23]等问题. 此外, Husseis等[24]调研了多种生物特征的活体检测方法, 孙哲南等[5]报告了生物特征识别近些年的发展现状. 由于涵盖的内容较多, 他们对虹膜呈现攻击检测只进行了较短的大体介绍.

总的来说, 本文一方面吸收了许多现有综述的优秀成果, 另一方面也做了多方面的改进与创新: 1) 为方便读者从零开始全面地了解虹膜呈现攻击检测问题, 本文受Bowyer教授团队综述[16-17]的启发, 更加全面完整地总结了术语、攻击目的、攻击类型、方法(特别是基于深度学习的方法)、数据集、比赛等; 2) 本文吸纳了多个综述的分类方法, 新增了自2020年以来的工作(包括方法、比赛等), 在此基础上提出新的分类方法, 并按照时间线总结了发展进程, 从而更加完整、条理清晰地展示了虹膜呈现攻击检测问题的发展现状; 3) 本文新增了虹膜呈现攻击检测技术在工业界实际应用的归纳总结, 包括国内外相关公司及其技术、产品和应用场景等; 4) 本文新增了虹膜呈现攻击检测与虹膜识别的集成方法, 从而有利于读者站在整个应用系统的角度研究和发展实用的虹膜呈现攻击检测技术; 5) 本文新增了评估协议, 并重点剖析了开集虹膜呈现攻击检测的问题, 指明了未来的发展方向; 6) 与先前综述主要关注检测性能不同, 本文还特别关注了虹膜呈现攻击检测的可解释性、公平性、隐私性等问题; 7) 本文新增了中文文献的相关工作, 完善了现有的技术体系; 8) 本文在吸纳多个综述的未来展望基础上, 进一步地阐明了虹膜呈现攻击检测未来亟需解决的五大公开问题, 并提出了可能的解决思路.

本文系统地综述了虹膜呈现攻击检测相关研究进展, 并对未来发展趋势进行了展望. 本文首先从虹膜识别的安全漏洞出发, 说明了虹膜呈现攻击检测的必要性, 阐述呈现攻击的两种目的及攻击类型. 其次根据是否使用额外硬件设备将主流算法分为基于硬件和基于软件的方法两大类进行梳理和总结, 详述了部分方法的原理. 之后, 对虹膜呈现攻击检测领域的开源方法、可申请的公开数据集以及现有比赛进行了整理. 除上述以外, 本文还重点分析了虹膜呈现攻击检测的可解释性问题, 这是当前人工智能关注的焦点. 最后, 对虹膜呈现攻击检测算法未来可能的发展方向进行了思考与讨论.

正文框架

1. 虹膜呈现攻击检测的难点

1.1 虹膜识别及其安全漏洞

1.2 呈现攻击的目的

1.3 虹膜呈现攻击检测和虹膜识别的集成

2. 术语和攻击类型

2.1 评价指标

2.2 呈现攻击类型

2.3 评估协议

3. 虹膜呈现攻击检测方法

3.1 基于硬件的方法

3.2 基于传统计算机视觉的方法

3.3 基于深度学习的方法

3.4 多源特征融合

3.5 基于软件的方法总结

3.6 开源方法

4. 开放数据集

5. 虹膜呈现攻击检测比赛

6. 虹膜呈现攻击检测的可解释性

7. 总结与展望

部分文献

[1] Daugman J G. High confidence visual recognition of persons by a test of statistical independence. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993, 15(11): 1148-1161 doi: 10.1109/34.244676

[2] Daugman J G. How Iris recognition works. IEEE Transactions on Circuits and Systems for Video Technology, 2004, 14(1): 21-30 doi: 10.1109/TCSVT.2003.818350

[3] Wildes R P. Iris recognition: An emerging biometric technology. Proceedings of the IEEE, 1997, 85(9): 1348-1363 doi: 10.1109/5.628669

[4] International Organization for Standardization. Information Technology-biometric Presentation Attack Detection——Part 1: Framework, ISO/IEC 30107-1: 2016, 2016.

[5] 孙哲南, 赫然, 王亮, 阚美娜, 冯建江, 郑方, 等. 生物特征识别学科发展报告. 中国图象图形学报, 2021, 26(6): 1254-1329 doi: 10.11834/jig.210078

Sun Zhe-Nan, He Ran, Wang Liang, Kan Mei-Na, Feng Jian-Jiang, Zheng Fang, et al. Overview of biometrics research. Journal of Image and Graphics, 2021, 26(6): 1254-1329 doi: 10.11834/jig.210078

[6] Agarwal A, Noore A, Vatsa M, Singh R. Generalized contact lens iris presentation attack detection. IEEE Transactions on Biometrics, Behavior, and Identity Science, 2022, 4(3): 373-385 doi: 10.1109/TBIOM.2022.3177669

[7] Tapia J E, Gonzalez S, Busch C. Iris liveness detection using a cascade of dedicated deep learning networks. IEEE Transactions on Information Forensics and Security, 2022, 17: 42-52 doi: 10.1109/TIFS.2021.3132582

[8] Maureira J, Tapia J E, Arellano C, Busch C. Analysis of the synthetic periocular iris images for robust presentation attacks detection algorithms. IET Biometrics, 2022, 11(4): 343-354 doi: 10.1049/bme2.12084

[9] Fang M L, Damer N, Boutros F, Kirchbuchner F, Kuijper A. Iris presentation attack detection by attention-based and deep pixel-wise binary supervision network. In: Proceedings of the IEEE International Joint Conference on Biometrics (IJCB). Shenzhen, China: IEEE, 2021. 1−8

[10] Li Y C, Lian Y, Wang J J, Chen Y H, Wang C M, Pu S L. Few-shot one-class domain adaptation based on frequency for iris presentation attack detection. In: Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Singapore: IEEE, 2022. 2480−2484

[11] Yambay D, Doyle J S, Bowyer K W, Czajka A, Schuckers S. LivDet-iris 2013——Iris liveness detection competition 2013. In: Proceedings of the IEEE International Joint Conference on Biometrics (IJCB). Clearwater, USA: IEEE, 2014. 1−8

[12] Sequeira A F, Oliveira H P, Monteiro J C, Monteiro J P, Cardoso J S. MobiLive 2014——Mobile iris liveness detection competition. In: Proceedings of the IEEE International Joint Conference on Biometrics (IJCB). Clearwater, USA: IEEE, 2014. 1−6

[13] Yambay D, Walczak B, Schuckers S, Czajka A. LivDet-iris 2015——Iris liveness detection competition 2015. In: Proceedings of the IEEE International Conference on Identity, Security and Behavior Analysis (ISBA). New Delhi, India: IEEE, 2017. 1−6

[14] Yambay D, Becker B, Kohli N, Yadav D, Czajka A, Bowyer K W, et al. LivDet iris 2017——Iris liveness detection competition 2017. In: Proceedings of the IEEE International Joint Conference on Biometrics (IJCB). Denver, USA: IEEE, 2017. 733−741

[15] Das P, McFiratht J, Fang Z Y, Boyd A, Jang G, Mohammadi A, et al. Iris liveness detection competition (livDet-iris)——The 2020 edition. In: Proceedings of the IEEE International Joint Conference on Biometrics (IJCB). Houston, USA: IEEE, 2020. 1−9

[16] Czajka A, Bowyer K W. Presentation attack detection for iris recognition: An assessment of the state-of-the-art. ACM Computing Surveys, 2019, 51(4): Article No. 86

[17] Boyd A, Fang Z Y, Czajka A, Bowyer K W. Iris presentation attack detection: Where are we now? Pattern Recognition Letters, 2020, 138: 483-489 doi: 10.1016/j.patrec.2020.08.018

[18] Galbally J, Gomez-Barrero M. A review of iris anti-spoofing. In: Proceedings of the 4th International Conference on Biometrics and Forensics (IWBF). Limassol, Cyprus: IEEE, 2016. 1−6

[19] Morales A, Fierrez J, Galbally J, Gomez-Barrero M. Introduction to iris presentation attack detection. Handbook of Biometric Anti-Spoofing. Berlin: Springer, 2019. 135−150

[20] Sharma R, Ross A. D-NetPAD: An explainable and interpretable iris presentation attack detector. In: Proceedings of the IEEE International Joint Conference on Biometrics (IJCB). Houston, USA: IEEE, 2020. 1−10

[21] Chen C J, Ross A. An explainable attention-guided iris presentation attack detector. In: Proceedings of the IEEE Winter Conference on Applications of Computer Vision Workshops (WACVW). Waikola, USA: IEEE, 2021. 97−106

[22] Trokielewicz M, Czajka A, Maciejewicz P. Presentation attack detection for cadaver iris. In: Proceedings of the IEEE 9th International Conference on Biometrics Theory, Applications and Systems (BTAS). Redondo Beach, USA: IEEE, 2018. 1−10

[23] Fang M L, Damer N, Kirchbuchner F, Kuijper A. Demographic bias in presentation attack detection of iris recognition systems. In: Proceedings of the 28th European Signal Processing Conference (EUSIPCO). Amsterdam, Netherlands: IEEE, 2021. 835−839

[24] Husseis A, Liu-Jimenez J, Goicoechea-Telleria I, Sanchez-Reillo R. A survey in presentation attack and presentation attack detection. In: Proceedings of the International Carnahan Conference on Security Technology (ICCST). Chennai, India: IEEE, 2019. 1−13

作者简介

王财勇，北京建筑大学电气与信息工程学院讲师. 2020年获得中国科学院自动化研究所博士学位. 主要研究方向为生物特征识别, 计算机视觉与模式识别.

刘星雨，北京建筑大学电气与信息工程学院硕士研究生. 2020年获得浙江师范大学学士学位. 主要研究方向为生物特征识别.

房美玲，德国达姆施塔特弗劳恩霍夫计算机图形研究所研究员. 2023年获得德国达姆施塔特工业大学博士学位. 主要研究方向为机器学习, 计算机视觉, 生物特征识别.

赵光哲，北京建筑大学电气与信息工程学院教授. 2012年获得日本名古屋大学博士学位. 主要研究方向为计算机视觉与图像处理, 模式识别, 人工智能.

何召锋，北京邮电大学人工智能学院教授. 2010年获得中国科学院自动化研究所博士学位. 主要研究方向为生物特征识别, 视觉计算, 智能博弈决策, AI+IC协同优化.

孙哲南，中国科学院自动化研究所研究员, 中国科学院大学人工智能学院教授. 2006年获得中国科学院自动化研究所博士学位. 主要研究方向为生物特征识别, 模式识别, 计算机视觉. 本文通信作者.