2024年11月15日至17日，由共青团中央、中国科协、教育部、中国社会科学院、全国学联共同主办的第十九届“挑战杯”全国大学生课外学术科技作品竞赛“揭榜挂帅”专项赛在中国计量大学、浙江理工大学完美收官。其中，VLRLab学生组成的“七十二辨”团队(来自华中科技大学人工智能与自动化学院、未来技术学院），在中国联合网络通信有限公司发布的赛题“基于大模型多模态风险内容识别技术研究”上荣获特等奖，并且以总分第一名的成绩荣获唯一“擂主”称号。
2024年度“揭榜挂帅”专项赛设置高校学生赛道和青年科技人才赛道，共吸引2.7万余人参加，共有6500余件参赛作品，最终来自全国410余所高校和企业的1950余件作品入围终审决赛，终审决出各选题“擂主”、特等奖等奖次最终获奖团队。
随着网络诈骗手段的不断翻新，提升反诈态势、增强反诈意识、精准识破诈骗套路成为当务之急。中国联通发布的赛题“基于大模型的多模态风险内容识别技术研究”，聚焦于基于大模型的风险内容识别系统，旨在应对日益复杂的诈骗场景，与行业内外优秀人才共同研发更加高效、精准的风险识别系统，实时为用户提供防护，构建全方位、多层次的信息安全防护体系。
实验室团队的项目《声画留痕、智御万象——基于大模型的风险内容识别系统》针对新型诈骗手段，构建一套基于大模型的风险内容识别系统。团队针对风险内容检测任务构建MM-RID数据集；对于音视频伪造，团队提出细粒度特征感知方法，对图像进行多维度分析，以及使用真假帧对比学习的方法，实现伪造区域精准定位；同时使用自研大模型Monkey，利用高分辨率分块理解策略，统一实现文本，语音，视频等风险信息的理解分析。未来团队将继续深耕风险内容识别领域，为构建更加安全的网络防线贡献青年力量！
在接到题目后，团队成员围绕数据集构建和方法调研进行深入讨论。2024年7月4日，项目负责人万金鹏赴中国联通北京总部进行项目调研，与发榜单位沟通项目技术难关，同时围绕赛题的背景调研与技术细节与企业进行了深入研讨。
交流结束后，实验室成员万金鹏、张凯乐、管海粟、王鹏杰、李长、匡嚞玢、郑汉东、肖文清等在五楼集中攻克技术难关，最终完成初赛系统构建，项目PPT展示，技术报告撰写。
实验室本科生万金鹏、张凯乐赴浙江杭州进行挑战杯揭榜挂帅专项赛终审答辩。
经过不懈的努力和攻坚克难，实验室作品《声画留痕、智御万象——基于大模型的多模态风险内容识别系统》荣获了“擂主”称号。在刘禹良、朱盈盈和白翔老师的悉心指导下，大四学生万金鹏、张凯乐以及团队其他成员深入研究，共同攻克了风险内容识别领域中的难题。
值得一提的是，系统完成构建后，测试发现针对国庆期间在抖音爆火的AI伪造雷军声音，七十二辨模型也能有效检测，字节抖音安全部门也与团队取得了联系，邀请实验室团队开展技术分享会，并取得热烈反响，共计100余人参加，其部门负责人也对我们的模型架构和项目成果表示高度认可，向项目团队发出了合作邀约，希望与实验室继续开展相关合作。
这次竞赛分为初赛和终审决赛两个阶段。整个暑假，团队成员都在实验室会议室里日以夜继地讨论项目进展，成功攻克了三大技术难题，并前后迭代了20余版整体方案，以小组第一的卓越表现完成初赛任务。初赛成绩公布后，团队并未停歇，而是继续集中深耕细作。无数个日夜的共同努力，完成了代码整理、PPT设计、专利撰写、论文撰写、讲稿打磨以及问辩题库的准备工作。
11月15日，答辩团队成员万金鹏和张凯乐抵达中国计量大学后，他们依然在正式答辩前的最后一刻全力以赴，不断练习，最终在答辩中发挥出色，一举夺魁！
文字｜万金鹏，张凯乐
编辑｜罗琪頔
