聚焦乌镇 | 全球AI大模型攻防挑战赛乌镇收官：十强选手现场用AI对抗AI 保护大模型安全

科技 2024-11-22 18:25 北京

扫码订阅《中国信息安全》

邮发代号 2-786

征订热线：010-82341063

11月20日，国内首个AI大模型攻防赛在世界互联网大会乌镇峰会收官。现场，全球十强选手面对“眼见不为实、耳听不为实”的场景，通过大模型技术辨别AI造假的音频、证照及视频，用AI对抗AI。

大赛自9月启动以来，来自全球18个国家和地区的2700多个赛队、3200余名技术精英参与，选手来自清华大学、北京大学、交通大学、南洋理工大学、约翰霍普金斯大学、香港科技大学、悉尼大学等290多个国内外高校，以及字节跳动、理想汽车、腾讯、智谱AI、Shopee、网易等280多个互联网、金融、汽车、大模型科技等行业企业。

通过攻、防双向赛道竞技，大赛最终角逐出全球十强，由来自字节跳动、合合信息科技、济南大学、浙江工业大学、安徽大学、上海交通大学等企业和高校的赛队获得。

据悉，赛事由中国图象图形学学会、蚂蚁集团、云安全联盟（CSA）大中华区联合主办，联合清华大学、上海交通大学、浙江大学、北京科技大学、湖南大学、华中科技大学、北京理工大学等高校及多家产学研组织共同发起，直面并解决大模型应用中潜藏风险，助力全球AI产业健康可持续发展。

国内首个AI大模型攻防赛全球十强乌镇亮相

国内首个攻防赛：

聚焦AI反诈等大模型安全真实场景

近年来，人工智能技术特别是大模型及AIGC领域飞速发展，给我们生活带来了前所未有的便利与可能性，也带来了安全方面的挑战。

只需10秒，大模型就能克隆声音、复刻照片，甚至能生成“你”的视频，从而引发deepfake欺诈、色情影像伪造、假新闻等社会事件；大模型“越狱”问题频发，诱骗AI听从不怀好意的指令，生成血腥、暴力、歧视、仇恨的图片、视频，危害网络空间安全。

中国工程院院士、中国图象图形学学会理事长王耀南指出：“加强大模型安全保护，构建完善的安全防护体系，是确保人工智能技术持续、稳定、健康发展的关键所在，也是我们在这个充满机遇与挑战的时代必须肩负起的重要使命。”

据了解，在此背景下，全球AI大模型攻防挑战赛聚焦大模型自身安全和大模型生成内容的防伪检测两个赛道，赛题涉及信用成长、凭证审核、商家入驻、智能助理等多个业务场景，覆盖机器学习、图像处理与计算机视觉、数据处理等多个算法领域，通过创新的技术解决方案，进一步保障大模型应用安全和产业安全。

“通过攻防实战演练，直面大模型应用中的安全问题，促使大模型安全技术不断进步，从而携手行业迈向更高的安全水平。”蚂蚁集团安全实验室首席科学家、全球AI大模型攻防挑战赛评审委员会委员王维强表示。

全球AI大模型攻防挑战赛十强选手现场对抗AI诈骗

AI反诈是当前保护大模型安全最典型、真实的场景之一。“现在AI诈骗越来越隐秘，手法越来越多样，可以模拟亲人的声音、朋友的视频，甚至伪造各种文件，让人们防不胜防。今天的比赛，作为一名人民警察，我感觉非常欣慰，这意味着我们在对抗AI诈骗的道路上，有了更多的力量和智慧。”收官现场，来自桐乡的反诈民警李湘臣向记者说道。

育人才、建标准：

推动大模型安全可持续发展

“大赛的举行，汇聚了全球范围内数千位技术精英，为大家提供了技术交流与竞技平台；在这个舞台上，许多优秀的人才脱颖而出，发现和培养一批优秀的安全人才，为行业的未来发展储备智力资源，也是大赛的初衷之一。”中国图象图形学学会副理事长兼秘书长、北京科技大学教授马惠敏表示说。

全球AI大模型攻防挑战赛优秀选手获蚂蚁集团直通offer

据悉，除了十强选手之外，为了鼓励比赛方案的算法创新性和资源绿色性，大赛还特别评选出“杰出方案奖”，分别由西安交通大学、上海交通大学及理想汽车赛队获得。此外，蚂蚁集团在现场为优秀选手颁发直通offer，优秀技术人才秒入职。

中国科学院计算技术研究所副研究员敖翔在现场表示：“人工智能技术的飞速发展为人才提供了广阔的发展空间和创新平台，而AI领域的快速变化也对人才的知识结构、技能水平和创新能力提出了更高的要求，AI时代人才的成长离不开产学研的密切合作。”

此外，活动现场，中国信通院启动“护证计划”，呼吁共建行业标准，守护用户的身份安全。蚂蚁集团积极响应加入该计划，宣布其推出的凭证可信认证平台蚂蚁光鉴将逐步升级，未来打造成为集合智能证照核身处理系统、智能声音核身处理系统、智能视频核身处理系统于一体的新一代AI核身系统。

中国信通院启动“护证计划”，呼吁共建数字身份行业标准

IIFAA互联网可信认证联盟也正式对外发布《IIFAA基于移动智能终端的凭证文件验证服务检测规范》，该规范对凭证文件验证服务的功能、性能要求以及评估方法做了详细说明，以提升凭证文件验证的效率和安全性，推动行业的标准化进程。

“只有当技术、规范和意识三者协同发力，加上持续的人才储备，我们才能真正守护好大模型的安全，为其持续健康发展创造良好的条件。”王维强表示说。

分享网络安全知识强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号

《中国信息安全》杂志倾力推荐

“企业成长计划”

点击下图了解详情

http://mp.weixin.qq.com/s?__biz=MzA5MzE5MDAzOA==&mid=2664230367&idx=2&sn=f14fa2c1ac194e706e0efb9d0f2ae800

中国信息安全

《中国信息安全》杂志，介绍国内外最新网络安全动态，深度解读网络安全事件。

最新文章

全球视野 | 国际网安快讯（第38期）

行业 | 360发布全球首份《大模型安全漏洞报告》，曝光近40个大模型相关安全漏洞

关注 | 四部门开展“清朗·网络平台算法典型问题治理”专项行动

关注 | 建设100个以上可信数据空间，这份文件以可信安全促要素流通

前沿 | 推动构建网络空间命运共同体迈向新阶段

专家观点 | 法律监管+技术人工审核：提升AI内容输出可控性

国际 | 印度惊现“数字逮捕”电诈骗局

关注 | 多名网络主播被约谈！

发布 | 国家数据局印发《可信数据空间发展行动计划（2024—2028年）》（附全文）

专家解读 | 什么是可信数据空间？国家针对这一新型数据基础设施进行布局

一图读懂 | 可信数据空间发展行动计划（2024—2028年）

《中国信息安全》2024年第9期目录

聚焦乌镇 | 全球AI大模型攻防挑战赛乌镇收官：十强选手现场用AI对抗AI 保护大模型安全

警惕 | 针对我国用户的“银狐”木马病毒出现新变种！

通知 | 国家数据局就《国家数据基础设施建设指引（征求意见稿）》向社会公开征求意见（附全文）

重点防范！又公布一批境外恶意网址和恶意IP

关注 | 《2024中国数字银行调查报告》发布

关注 | 缅北规模化电诈园区全部被铲除

前沿 | 《密码法》颁布五周年：法治成效、实施难点与未来走向

聚焦乌镇 | 《中国互联网发展报告2024》和《世界互联网发展报告2024》蓝皮书发布

聚焦乌镇 | 2024年世界互联网大会乌镇峰会主论坛举行

外交部：中方愿与各方深化数据跨境流动领域交流合作

聚焦乌镇 | 世界互联网大会人工智能专业委员会成立

通知 | 网安标委发布《网络安全标准实践指南——粤港澳大湾区（内地、香港）个人信息跨境处理保护要求》（附全文）

聚焦乌镇 | 打造大模型安全标杆！360安全大模型在世界互联网大会连获两项殊荣

聚焦乌镇 | 《2024年全球发展倡议数字合作论坛主席声明》发布（附全文）

习近平向2024年世界互联网大会乌镇峰会开幕视频致贺

发布 | 全球数据跨境流动合作倡议

聚焦乌镇 | 共同推动构建网络空间命运共同体迈向新阶段——写在2024年世界互联网大会乌镇峰会开幕之际

CNNVD | 关于Palo Alto Networks PAN-OS安全漏洞的通报

CNNVD | 关于Apache OFBiz安全漏洞的通报

图解｜我国数据出境合规指引

评论 | 让未成年人模式真正成为“保护盾”

杂志征订 | 2025年《中国信息安全》杂志征订开始！

聚焦乌镇 | 2024年世界互联网大会“互联网之光”博览会在浙江乌镇开幕

聚焦乌镇 | 共赴美好数字未来——我国积极推动全球互联网发展治理迈向更高水平

发布 | 17家单位联合发布《工业和信息化领域数据安全合规指引》（附下载）

专家解读 | 构建国家数据标准体系推动数据要素高水平应用

专家观点 | 法治化防控人工智能风险

关注 | 起底网络水军：“这必然是一场持久的较量”

评论 | 为“吃谷”未成年人构建防诈安全网

全球视野 | 国际网安快讯（第37期）

王崧：共同推动构建网络空间命运共同体迈向新阶段

通知 | 住建部印发《城市数字公共基础设施标准体系》（附全文）

专家解读 | 构建国家数据标准体系，助力数据要素可信流通发展

专家解读 | 《个人信息保护法》实施三周年：十大亮点赢群众叫好

国际 | 美国科技巨头各出奇招争相“押宝”人工智能赛道相关监管政策和立法监管迟缓

评论 | “未成年人模式”防沉迷，握好“钥匙”是前提

2024年网络安全漏洞研究人才培养交流活动成功举办

发布 | 国家网信办发布《移动互联网未成年人模式建设指南》（附全文）

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉