中国科学院自动化研究所&澳门科技大学｜用于灵活模态人脸活体检测的CLIP（ACM MM 2024）

文摘 2024-09-20 08:30 上海

灵活模态人脸活体检测（FAS）旨在聚合所有可用训练模态的数据来训练模型，并对任何给定的模态样本进行灵活测试。在这项工作中，我们避免直接从视觉特征中去除模态特定的信号，而是基于视觉-语言多模态框架CLIP提出了一种用于灵活模态FAS的CLIP（FM-CLIP），它可以利用文本特征动态调整视觉特征，使其与模态无关。在视觉分支中，考虑到同一攻击在不同模态中的巨大视觉差异，这使得分类器难以灵活识别不同模态中的微妙伪造线索，我们提出了跨模态伪造增强器。它包括频率提取器（FE）和跨模态交互器（CMI），旨在在共享频率空间中映射不同的模态攻击，以减少特定模态信号的干扰，并通过利用共享频率空间的跨模态学习来增强伪造线索。在文本分支中，我们引入了一种基于提示学习的语言引导补丁对齐（LGPA），通过文本特征的动态加权，进一步引导图像编码器专注于补丁级的伪造表示。我们大量的实验表明FM-CLIP可以通过识别和增强模态无关的伪造线索来灵活地测试不同的模态样本。

图1 FM-CLIP框架的示意图

论文信息

论文由中国科学院自动化研究所和澳门科技大学合作完成，目前已被2024 ACM Multimedia (ACM MM 2024) 接收。作者为刘阿建（中国科学院自动化研究所，助理研究员），马辉（澳门科技大学，博士生），郑钧泽（澳门科技大学，博士生），原昊成（澳门科技大学，本科生），于晓渊（澳门科技大学，助理研究员），梁延研（澳门科技大学，副研究员，通信作者），Sergio Escalera （巴塞罗那大学，教授），万军（中国科学院自动化研究所，研究员），雷震（中国科学院自动化研究所，研究员）

Ajian Liu, Hui Ma, Junze Zheng, et al. FM-CLIP: Flexible Modal CLIP for Face Anti-Spoofing. ACM Multimedia, 2024.（点击下方阅读原文查看论文全文）

供稿：刘阿建

http://mp.weixin.qq.com/s?__biz=Mzg4MjU4OTU0MA==&mid=2247511386&idx=1&sn=6e8ffe366cff8a565dd5aa7ffe8ccaa5

隐者联盟

本公众号主要推介多媒体、人工智能、信息安全等方面的最新研究进展，愿与同行携手，共同推动科学研究向前发展。

最新文章

上海大学 | 去高频伪影的无盒模型水印(ACM IH&MMSec 2024)

上海大学 | 可迁移的图编码器水印(IEEE WIFS 2024)

上海大学 | 全自动抗相机录制视频水印 (IEEE TCSVT 2024)

上海大学 | 语义可控的大容量文本隐写(IEEE TDSC 2024)

上海大学 | 频域可解释的黑盒模型水印(IEEE TDSC 2024)

华北电力大学&新南威尔士大学｜大语言模型下游任务对齐的版权保护技术研究（TASLP 2024）

香港浸会大学&英伟达 | Geometry Cloak：保护版权图像被 3D 重建（NeurIPS 2024）

宁波大学｜通过事件触发的隐蔽后门攻击（ICME 2024）

海南大学&中国科学院大学 | 基于翘曲的可溯源可逆对抗样本（IJIS 2024）

中国农业大学｜对抗重构框架下的少样本领域自适应隐写文本检测（ECAI 2024 Poster+Spotlight Talk）

合肥工业大学｜基于联盟区块链的车联网去中心化信任管理方案（IEEE TITS 2024）

中山大学｜基于多视角不一致衡量的视频人脸伪造检测与定位（TDSC 2024）

香港大学&齐鲁工业大学|基于可靠性视角的深度伪造检测综述（ACM Computing Surveys 2024）

华东师范大学｜通过对基于 LLM 的具身模型的对抗性攻击探索决策鲁棒性（ACM MM 2024）

中山大学｜基于模板增强提取网络的鲁棒图像同步水印方法（TCSVT 2024）

长沙理工大学&台湾云林科技大学｜基于双分支卷积抑制纹理网络的人脸伪造检测（TCSS 2024）

清华大学&广州大学| 基于HEVC视频流选择加密的安全性研究（TOMM2024)

深圳大学｜基于深度块匹配和成对排序学习的图像复制-移动篡改检测（TIP 2024）

中国海洋大学｜基于频率知识融合的人脸鉴伪（NeurIPS 2024）

暨南大学｜一种用于语义通信的隐写框架（TCSVT 2024）

北京大学｜基于多模态大语言模型的可解释图像篡改检测定位（arXiv 2024）

福州大学｜基于边界特征引导的图像篡改定位（TCSVT 2024)

香港城市大学｜TELLER：可信任的虚假新闻检测框架（ACL 2024）

华中科技大学｜重新思考针对人脸识别系统的目标攻击与无目标攻击（ACM MM 2024）

齐鲁工业大学&大湾区大学&深圳大学 | GenFace: 大规模细粒度人脸深度伪造基准（TIFS 2024）

南京航空航天大学｜抗合谋攻击的隐私保护数据库指纹机制（IEEE TIFS 2024）

南京信息工程大学｜高效且安全的量子安全两方标量积协议及其在保密矩阵乘法上的应用（TCSI 2023）

河南师范大学&南京航空航天大学&江西财经大学｜通过可追溯对抗样本实现图像隐私和版权的双重保护（TCSVT 2024）

复旦大学｜通过深度生成模型实现载体可分离的固定神经网络隐写术（ACM MM 2024）

中国农业大学｜基于大语言模型的生成式文本隐写方法（ACM MM 2024）

重庆邮电大学&南京航空航天大学｜高效且自适应的安全跨领域推荐（ESWA 2024）

合肥工业大学｜基于扩散模型的生成式鲁棒图像隐写 (ACM MM 2024)

北京航空航天大学&新加坡国立大学｜LanEvil: 基于环境幻觉的车道检测模型鲁棒性研究（ACM MM 2024）

长沙理工大学&湖南大学｜基于细粒度特征和噪声不一致性的人脸伪造检测算法（TAI 2024）

四川大学｜可抵抗基于CNN和传统隐写分析的免疫隐写通用框架 (TIFS 2024)

【极简综述第二期30】多模态人脸反欺诈

合肥工业大学｜安全且灵活的通配符询问 (IEEE TIFS 2024)

专题征文 | 面向数字图像的人工智能安全《中国图象图形学报》

深圳大学｜通过学习相邻特征关系和自对抗构建本质的鲁棒隐写分析器（TIFS 2024）

复旦大学｜通过Stable Diffusion建立隐蔽传输信道（TIFS 2024）

哈尔滨工业大学 | 一种即插即用地缓解梯度逆向攻击的方法（TPAMI 2024）

中国电信研究院&南方科技大学| 应对联合攻击检测的 La-SoftMoE CLIP

【极简综述第二期29】生成式图像水印

复旦大学｜基于预训练模型和可学习prompt的图像篡改定位方法 (ACM MM 2024)

【极简综述第二期28】扩散模型水印

复旦大学｜基于手工设计滤波器的AI生成图像溯源（ACM MM 2024）

南洋理工大学&齐鲁工业大学｜基于人脸关键点感知水印的主动深度伪造检测技术（ACM MM 2024）

【极简综述第二期27】大模型生成内容溯源技术

中科院信工所｜基于真实人脸视频自然一致性表征学习的深度伪造检测（ECCV 2024）

【极简综述第二期26】深度感知哈希

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉