AIGC内容乱象：检测与溯源能否主宰乾坤？｜CNCC

随着人工智能和大数据技术的蓬勃发展，生成式人工智能内容（AIGC）技术取得了突破性进展，正在深刻重塑数字媒体生态。从艺术创作到文本写作，AIGC为创作者提供了前所未有的便捷工具，极大地提升了内容生产的效率和多样性，推动着数字创意产业的革新。然而，这一技术在带来创新机遇的同时，也衍生出诸多社会问题，特别是利用AIGC技术进行内容伪造和诈骗的事件层出不穷，网络媒体的匿名性和难以追溯性带来的风险日益凸显。在此背景下，2024年10月25日下午中国计算机学会青年计算机科技论坛深圳分论坛（CCF YOCSEF深圳）在横店圆明新园夏苑海晏堂举办了主题为“AIGC内容乱象：检测与溯源能否主宰乾坤？”的论坛。本次论坛由CCF YOCSEF深圳学术秘书、哈尔滨工业大学（深圳）副教授漆舒汉，CCF YOCSEF哈尔滨老主席、哈尔滨工业大学教授冯骁聘担任执行主席，CCF YOCSEF深圳委员、哈尔滨工业大学（深圳）吴宇琳助理教授担任线上主席。

论坛全体嘉宾合影

论坛开场由漆舒汉主持并介绍了本次论坛的背景，他指出，AIGC技术已经走入人们生活，在多个行业中展现出卓越的性能，如文艺创造、视频编辑、智能问答等领域，已然成为一种新质生产力，为各行各业带来了前所未有的创新活力和生产效率的提升。然而，AIGC内容的快速普及也带来了一系列新的问题。从内容泛滥到不当应用，这些乱象不仅威胁着个人的形象和财产安全，更可能对社会稳定带来深远影响。检测与溯源技术能否成为应对AIGC内容乱象的"定海神针"，如何通过技术手段建立起有效的治理机制，已成为亟需学术界和产业界共同探讨的重要课题。

哈尔滨工业大学（深圳） 漆舒汉

哈尔滨工业大学  冯骁骋

引导发言环节，邀请了北京大学教授彭宇新，中国科技大学教授张卫明，天津大学教授刘安安，绿盟科技安全能力中心技术总监李文瑾，传播内容认知全国重点实验室科技发展部副主任汪大伟五位嘉宾，分别围绕细粒度多模态场景理解与生成、大模型生成内容的监测与检测技术、视觉大模型内生风险解析与治理、LLM的安全防御新范式、AIGC内容安全管理探索与实践五个话题进行分享。

彭宇新教授作了题为“细粒度多模态场景理解与生成”的引导发言，系统阐述了该领域的前沿进展与重要价值。彭宇新教授深入剖析了多模态和细粒度场景理解和生成的研究难点，重点介绍了在视觉提示学习、在线增量学习、噪声终身行人重识别、开放词汇目标检测、视觉定位、基于文本的3D场景生成等六个方面的研究进展。针对未来发展趋势，他特别强调了大模型在垂直领域的高效适配等方向的研究价值。他指出，准确的场景理解与生成能力是推动大模型技术落地应用的关键环节，特别是在开放域环境下，如何有效应对持续涌现的细粒度类别对象，精准把握其属性特征与关系网络，实现高质量的场景生成，这些核心科学问题仍需要学术界持续深入探索。

北京大学 彭宇新

张卫明教授作了题为“大模型生成内容的监测与检测技术”的引导发言，展示了大模型生成内容存在的问题及现有的应对方法。他指出，大模型的监测与检测可以分为内部监测和外部检测：内部监测关注机器认知安全，涉及对齐、幻觉和偏见等问题；外部检测则关注人类认知安全，包括虚假信息认知干扰和人类信息生态污染等。他强调，随着大模型生成式人工智能的快速发展，尽管为人们的学习、工作与生活带来了便利，但也带来了新的网络空间安全挑战，如个人数据的非法滥用和机器认知安全问题。面对未来可能出现的智能爆炸现象，亟需进一步研究大模型安全监管技术，尤其是对齐等方面的研究，响应时间显得尤为紧迫。

中国科技大学 张卫明

刘安安教授作了题为“黑盒视觉大模型内生风险解析和治理”的引导发言，探讨了生成式视觉大模型在媒体行业变革中的重要作用及其潜在的意识形态风险。视觉生成大模型（如Stable Diffusion和Midjourney系列模型）极大的推动了媒体行业变革，但其创作内容具有舆论属性，存在内生风险，用户可以利用无显性风险的提示攻击模型，从而生成风险图像。刘安安从Token组合式的隐性有害提示构建和风险模式引导的隐性风险提示构建两个方面解析了视觉大模型的内生风险，并介绍了相应的防御方法，从文本提示和特征空间挖掘出诱发模型生成风险内容的模式，最终提出增强模型生成内容安全性的防御框架。

天津大学 刘安安

李文瑾总监作了题为“智御未然，LLM应用的安全防御新范式”的引导发言，她指出在大模型时代，安全挑战可分为大模型自身的安全风险和应用安全风险，后者包括对抗手段的内容安全风险、模型后门攻击风险及基于对抗手段的业务利用和应用组件攻击风险。李文瑾从AI Red Team的视角，介绍当前大模型主流应用架构下存在的多种安全风险及攻击手段，并提出一套基于LLM Guard守卫机制、守卫模型与内生防御机制的检测防御思路，以应对这些安全挑战，并对未来大模型安全防御形态进行了展望。

绿盟科技安全能力中心 李文瑾

汪大伟副主任作了题为“AIGC内容安全管理探索与实践”的引导发言，从人民网和传播内容传播内容认知全国重点实验室的角度，对新时代网络文明培育提出了新的要求。智能互联网时代的网络文明培育，不仅要关注人的文明行为，也要关注人工智能系统和算法的“教育引导”。“用AI治理AI”，训练具备良好道德判断与行为准则的AI系统，来引导、约束、提升人类在网络空间的文明素养，实现机器智能和人类智慧的深度交融与共同进化，推动网络文明向更加健康、和谐的方向发展。

引导发言结束后，进入思辨环节，由漆舒汉和冯骁骋主持。与会嘉宾围绕三个思辨议题展开研讨，分别为：(1)“随着 AIGC 技术的快速进步，新的生成算法不断涌现，AIGC 内容治理如何适应这种快速变化？”，(2)“如何实现准确、高效的 AIGC 生成内容检测和追踪溯源，降低 AIGC 内容的安全风险？”，(3)“在 AIGC 内容检测与溯源过程中，如何有效保护用户隐私与数据安全？”

针对思辨议题一，西安理工大学石争浩教授作了思辨引导。他指出，训练完成的神经网络中大概有90%的神经元它实际上是处于饱和状态，无法再学习，可采取一种随机策略，激活部分饱和的神经元，去学习新内容。而对于大模型，或许可以优化其模块组成，特定模块完成特定任务，从而可以调整某个特定模块适应外部环境的快速变化。此外，还可以利用在线学习技术，让检测模型在原有功能的基础上持续学习，而不发生灾难性遗忘。

西安理工大学 石争浩

围绕第一个议题，与会嘉宾展开了热烈的讨论，产生了精彩的思想碰撞。有专家提出，如果国家要求AIGC生成内容打上显式标签，以便于公安机关进行监管，这种做法可能会影响生成内容的质量，并且容易受到去除攻击。更理想的方案是“用魔法打败魔法”。鉴于大模型是数据驱动的，面对迅速迭代的AIGC技术，首先应考虑更新训练，以获得性能更高的检测大模型，从技术层面与政策相结合，以实现对AIGC的有效监管。此外，借鉴互联网的发展历程，新技术在起步阶段往往伴随诸多问题，因此应尽早将安全问题融入技术发展目标，实现齐头发展，而非事后补救。

中国科技大学  张卫明

YOCSEF福州   吴志华

公安部第三研究所  盛小宝

北京大学  彭宇新

针对思辨议题二，广东省智能科学与技术研究院冯圣中研究员作了引导发言。他指出，准确且高效地检测生成式人工智能内容是一个复杂而具有挑战性的问题，需要多管齐下，从多个层面进行协调和推进。在法律法规方面，有必要明确AIGC的监管制度，以建立清晰的法律框架来指导行业发展。然而，仅有法律规定是不够的，其严格执行必须依赖于先进的技术手段来提供支持和保障。技术和法律的结合将有助于有效应对AIGC带来的安全和伦理挑战。

广东省智能科学与技术研究院 冯圣中

围绕第二个议题，与会嘉宾进行了深入探讨。大家普遍认为，准确且高效地实现AIGC的溯源和检测是一个具有挑战性的目标，这两个目标在工程上往往相互矛盾，但根据现有的研究和实践，仍有可能找到解决方案。借鉴传统安全领域的经验，面对层出不穷的漏洞，核心思想在于识别关键点进行针对性解决，以缓解效率问题。因此，在AIGC的监管上，并不需要对所有生成的内容实施严格的监管，主要针对违反法律或产生恶劣影响的内容进行检测溯源。这种方法不仅提高了检测和溯源的效率，也避免了对AIGC技术发展的过度限制。此外，虽然AIGC的生成内容可能在人眼看来难以区分，但人的感知能力是有限的，仍然存在一些特征可以区分生成内容与自然内容。我们需要深入挖掘这些特征，从而实现高效、准确的检测和溯源。

首都师范大学  唐晓岚

中国科学院自动化研究所 赵恺

针对思辨议题三，哈尔滨工业大学（深圳）陈斌副教授作了思辨引导发言，他表示，当前的多点开花的AIGC技术可能导致信任危机和版权问题，但是检测和溯源过程面临用户隐私和数据安全问题，甚至与法律相冲突。在检测是否为AIGC内容时，需要处理大量的用户生成内容，在溯源AIGC内容的来源和传播路径时，需要处理大量元数据和历史记录，这两个环节都需要进行隐私安全保护。此外，AIGC内容篡改、版权保护以及多模态大模型的隐私泄露等问题也对用户隐私和数据安全构成威胁，因此亟需进一步研究来解决这些相关问题。

哈尔滨工业大学（深圳） 陈斌

第三个议题成为现场讨论的焦点，与会嘉宾从两个方面展开讨论：“如何在溯源过程中避免对用户隐私的侵犯？”和“检测与溯源往往要直面版权保护作品，如何避免/定义版权侵犯？”。大家普遍认为，大模型确实会存在隐私泄露问题，保护用户隐私是有必要的并且存在着一定的难度，但目前还不足以放在首要位置。并且牺牲一些隐私数据的同时，也可能获得了另一方面的利益，如手机定位功能，还是要辩证的看待AIGC技术，充分发挥其积极的一面。此外，大家还探讨了溯源授权、端侧检测、私泄露定义等内容，进行了深入的思考和交流。

为思辨嘉宾颁发感谢牌

经过下半场两小时的激烈讨论，论坛逐渐进入尾声。CCF YOCSEF深圳主席、广东省智能院副研究员黄典对本次论坛进行了总结。她强调，此次活动旨在促进AIGC及其安全技术的发展，作为一项新兴技术，应当适度容忍AIGC发展过程中出现的问题，此外，结合技术和法律等多方面的努力，有助于有效治理AIGC带来的乱象，确保其在生产和生活中的安全应用。

广东省智能科学与技术研究院 黄典

本次论坛由中国计算机学会主办，由CCF YOCSEF深圳、CCF计算机视觉专委会、CCF多媒体专委会组织，得到CCF太原、深圳市计算机学会大模型专委会支持，并受到广州市恒联计算机科技有限公司赞助。论坛深入探讨了AIGC技术发展面临的机遇与挑战，就人工智能技术的安全发展与规范应用等议题展开了富有建设性的对话，为推动AIGC技术的健康发展贡献了智慧力量，充分彰显了YOCSEF在承担社会责任、提升成员能力方面的使命担当。论坛吸引了学术界、产业界及媒体的广泛关注，汇聚了来自全国各地的专家学者，除参会嘉宾外，出席并参与本次活动的包括YOCSEF总部AC唐晓岚、赵恺，YOCSEF南京主席吴天星，YOCSEF福州主席吴志华，YOCSEF郑州主席任建吉，YOCSEF济南主席杨晓晖，YOCSEF深圳老主席汤步洲，YOCSEF深圳副主席李蒙、AC郭利等150余位业内专家学者。