三大模态全面落地!蚂蚁天鉴安全实验室通过信通院AIGC多模态检测服务系统评测

企业   2024-12-23 11:27   浙江  


近日,中国信息通信研究院公布首批AIGC多模态(含图像/视频/音频)检测服务系统评测的评估结果,蚂蚁集团AIGC安全检测系统通过评测全部内容,获最高评级(优秀级)


左右滑动,查看更多


随着生成式人工智能技术的快速发展,以Stable Diffusion、Sora、ChatGPT为代表的AI生成内容工具得到广泛应用。然而,这些工具在高效生成大量高质量内容的同时,也同时存在被滥用的风险,如制作传播虚假信息、经济诈骗等。


据了解,此次测评依据中国信通院《AIGC图像/AIGC视频/深度合成音频检测服务系统指标要求和评估方法》标准,涵盖功能特性、性能效率、服务稳定性和隐私保护等多个关键领域,共评估了六十余项核心技术指标,旨在评估被测系统在识别图像/视频/音频多模态的不同生成方式内容的多样性能。


测评结果显示,蚂蚁AIGC安全检测系统支持对不同风格、分辨率和光照条件的图像,不同时长、分辨率、长宽比、复杂度和风格的视频,以及不同场景、语种、情感、噪声、时长和编码格式的音频内容进行检测。经严格测试,蚂蚁AIGC安全检测系统在音频、视频图像三大模态场景全面符合评测标准,已以0.99的F1高分,在三大模态场景的评测中荣获中国信通院颁发的最高服务评级(优秀级)认证。


蚂蚁天鉴安全实验室内容算法总监祝慧佳介绍,蚂蚁AIGC安全检测系统由多模态生成模块多模态理解模块两大能力模块组成,具备图像、视频、语音三大模态的生成内容检测能力。


其中,多模态生成模块现已覆盖图像、视频、语音近百种生成算法,实现了大批量模态内容的高效生成进而促进多模态理解模块的训练,同时也可利用生成样本来评测当前多模态理解模块的性能,达成以攻促防的安全防护;此外,多模态理解模块可通过图像、视频、音频的多种输入模态内容,基于时序不一致、空间不一致、语义不完善等维度开展算法分析,实现输入内容是否是生成内容的真实性鉴别。


当前,蚂蚁集团AIGC安全检测解决方案已在蚂蚁内部短视频、直播、社区等场景全面应用,日均调用量超千万,能够有效检测声音/形象造假、识别AI生成谣言及恶搞视频,打击流量滥用与平台激励欺诈,维护网络健康环境,保障用户财产安全。


此外,为推动AIGC生成内容的监管与治理,蚂蚁集团秉承开放共赢的理念,开源了业内首个百万级AIGC视频检测数据集GenVideo[1],目前下载量已突破千次;提出了百万级AIGC图像检测数据集WildFake[2],该项目已被AAAI 2025接收,并将在不久后开源;同时在语音领域也提出了百万级AIGC语音检测数据集SpeechFake,将在不久后开源。


[1] Haoxing Chen, et al. "DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark." arXiv preprint arXiv: 2405.19707. https://modelscope.cn/datasets/cccnju/Gen-Video

[2] Yan Hong, et al. "WildFake: A Large-scale Challenging Dataset for AI-Generated Images Detection." AAAI Conference on Artificial Intelligence (AAAI), 2025.

蚂蚁技术AntTech
科技是蚂蚁创造未来的核心动力
 最新文章