AI深度伪造的安全隐患

CSA SECtember.ai全球会议 将于 2024 年10 月 22 日至 24 日举行。会议将深度探讨如何引领AI和云安全的未来，随后，在十一月初，CSA大中华区将在北京举办第八届云安全联盟大中华区大会。这次大会将延续SECtember.ai大会的主题，并进一步扩展讨论范围，邀请国内外嘉宾，深入探讨云安全与生成式AI的交叉点。

本文CSA人工智能组织责任与控制工作组的联合主席Ken Huang分享对人工智能热点和趋势的见解，深入探讨了人工智能深度伪造这一关键议题，并强调了IT专业人员进一步深入学习相关内容的重要性。

我是在20 世纪 90 年代作，在洛桑大学做访问学者时与人工智能有了第一次接触。我的第一篇研究论文是 1995 年与 Pierre Bonzon 教授合作，在 Springer 出版的基于规则声明式的专家系统的智能辅导系统。后来，我在不同的研究或与工作相关的项目中使用了不同的人工智能/机器学习模型，如决策树、支持向量机和 BERT。这方面经验也促使我在 2022 年 11 月 ChatGPT 出现之前就研究了 GPT2，正因为我这方面相关的经验和对网络安全方面先进技术的关注，也让我能够为各种有关人工智能、量子和 Web3 安全方面的书籍尽微薄之力。

作为 SECtember.ai 项目委员会的成员，我们一起头脑风暴并自告奋勇的为我们的会议提供了初步的议题清单。围绕生成式人工智能安全的话题非常广泛。我一开始列出了超过 24 个主题。在与项目委员会讨论后，我们将清单缩减到了 10 个。在这 10 个主题中，我只想在本篇文章中重点讨论一个：深度伪造和身份管理。

以下是为什么从 CIA（保密性、完整性、可用性）角度、身份管理角度和人工智能安全角度来看，深度伪造是一个关键和紧迫的主题：

深度伪造技术的迅猛发展给信息安全和数字媒体的可信度带来了严重隐患。深度伪造是利用人工智能算法生成的合成媒体，它可以创建高度逼真但虚假的视频和音频内容，让人们说一些他们实际上从未说过或做过的事情，或做一些他们实际上从未做过的事情。这种技术越来越容易获得，也越来越令人信服，可以被广泛恶意使用，在我们日益数字化的世界中威胁着信息的保密性、完整性和可用性。让我们逐一详细探讨这些风险：

保密性： 深度伪造可使坏人假冒个人，在未经授权的情况下访问敏感信息或系统，从而对机密性构成严重威胁。

例如，可以创建一个深度伪造的视频，显示公司高管或政府官员说他们从未实际说过的话。然后，可以通过社会工程学形式来使用这个假视频，通过让被冒充的个人看起来已经得到了访问授权从而诱骗人们透露机密数据、密码等。深度伪造的音频甚至可能被用来绕过语音认证系统。生成虚假但令人信服的视频和音频的能力为破坏保密性创造了新的攻击载体。

完整性：深度伪造的使用可以通过轻松操纵或完全制造视听“证据”严重破坏数字内容的完整性。

例如，"深度伪造"可以用来制作虚假视频，显示某人实施了实际上并没有实施的犯罪，或者说了实际上从未说过的煽动性/有问题的话。如果任何人都能轻而易举地制作出大多数人都难以分辨真假的虚假内容，那么这将削弱人们对所有媒体的信任，并使视听证据的使用变得更加困难（如在新闻报道、刑事调查、法庭审判等方面）。我们可能会进入一个 "后真相 "世界，在这个世界里，即使是真实的镜头也会被当作深度伪造，从而严重破坏信息的完整性。

可用性： 随着生成虚假内容所需的成本和工作量被深度伪造技术大幅降低，我们可能会看到由深度伪造技术驱动的错误信息和虚假信息爆炸式增长。如果坏人可以轻而易举地制作出大量传播虚假宣传、阴谋论和其他误导性内容的虚假视频，那么信息生态系统就会充斥着噪音，淹没可靠的信息。

例如，在政治背景下，一个恶意团体可以生成数千个传播关于候选人谎言的深度伪造视频，以压倒事实核查人员并迷惑选民。这种合成错误信息的洪流可能会使人们越来越难以获取和识别真实、准确的信息，降低可靠信息的普遍可用性。

从安全身份管理的角度来看，深度伪造对身份赋权和身份验证流程，尤其是依赖生物识别信息的流程构成了重大挑战。以下是深度伪造在此背景下亟待解决的问题：

远程身份认证： 许多身份赋权系统依赖于远程身份证明，通常涉及到使用生物识别信息，如面部识别或语音验证。深度伪造可用于创建高度逼真的虚假生物识别数据，使这些系统难以区分真假身份。

传统代码漏洞： 用于身份赋权的传统代码在设计时可能没有考虑到深度伪造威胁。因此，这些系统可能容易受到使用深度伪造技术绕过安全措施并创建虚假身份的攻击。

入职流程： 深度伪造可用于篡改或伪造入职流程中经常需要的身份证件，如护照或驾照。这可能导致虚假账户的生成或现有账户被劫持。

生物识别身份验证： 许多身份验证系统都依赖生物识别信息，如面部识别、语音识别或指纹扫描。深度伪造可以用来创建虚假的生物识别数据，从而骗过这些系统，允许未经授权访问敏感信息或系统。

多因素身份验证（MFA）： 即使身份验证系统使用了 MFA，深度伪造仍然会构成威胁。例如，深度伪造的视频可以用来骗过面部识别过程中的活体检测检查，或者深度伪造的声音可以用来绕过基于语音的身份验证。

持续认证： 一些身份验证系统使用持续的生物识别监控来确保用户的访问权限在整个会话期间保持一致。深度伪造可用于创建能保持一致性的虚假生物识别特征，让攻击者持续保持未经授权的访问。

为降低深度伪造所带来的风险，身份管理系统需要：

实施稳健的深度伪造检测机制： 这可能需要使用基于人工智能的算法，以识别深度伪造中存在的细微伪造和不一致之处。

加强活体性检测： 活体性检测方法，例如要求用户执行特定动作或分析微表情，有助于区分真假生物识别数据

使用多模态生物识别技术： 将面部识别和语音识别等多种生物识别模式结合起来，可以增加深度伪造者欺骗系统的难度。

定期针对传统代码更新并打补丁： 应定期审查、更新和修补用于身份赋权和身份验证的传统代码，以应对新出现的深度伪造威胁。

实施安全的身份认证流程： 身份证明程序应包括额外的安全措施，如文件验证和与可信数据源交叉比对，以降低基于深度伪造的欺诈风险。

通过以上针对深度伪造所带来的威胁的应对措施，企业可以强化加固其身份管理系统，防止可能危及敏感信息和系统的欺诈活动。

从人工智能安全的角度来看，"深度伪造 "技术的出现引起了人们对其可能对个人、社会和民主机构造成伤害的严重担忧。随着人工智能系统变得越来越先进、越来越容易获取，这些强大工具被误用或滥用的风险也越来越大，这也凸显了对负责任的开发实践和强有力的安全措施的迫切需要。以下几点探讨了围绕深度伪造的一些关键人工智能安全问题：

选举干扰： 深度伪造最令人担忧的潜在应用场景之一是在选举干扰和政治操纵领域。恶意行为者可以利用深度伪造技术制作令人信服的假新闻文章、视频或音频片段，让候选人说或做有争议或破坏性的事情。这些合成媒体可以战略化的部署，以操纵公众舆论、左右选民偏好，甚至通过制造混乱和疑虑来压制投票率。利用 "深度伪造 "来干预民主进程，对选举的公正性和政治制度的稳定性构成了严重威胁。

伦理问题： 深度伪造内容的创建和传播引发了有关同意、隐私和潜在伤害的重大伦理问题。深度伪造可以用来制作未经同意的色情作品，侵犯个人隐私和自主权。它们还可能被用来骚扰、欺凌或恐吓他人，将他们的肖像置于羞辱或痛苦的境地。"深度伪造 "技术易于创建和传播，这也让人担心个人对自身形象和声誉的控制权会受到侵蚀。这种技术的伦理影响值得认真考虑。

削弱信任： 随着深度伪造变得越来越复杂和难以检测，它们有可能削弱人们对媒体、机构甚至人际关系的信任。如果无法区分真实的视听内容和合成内容，人们可能会对所有媒体的真实性失去信心。这种信任的削弱可能会破坏新闻业，阻碍在法律诉讼中使用视频证据，并造成广泛的怀疑和混乱。失去共同的真相和现实基础可能会对社会产生严重的不稳定影响。

滥用人工智能：深度伪造的发展表明，人工智能技术有可能被误用或滥用于有害目的。随着人工智能系统变得越来越强大和易于使用，恶意应用的风险也随之增加。深度伪造强调了针对人工智能研究人员和开发人员需要优先考虑安全和安保问题的需求，实施强有力的保障措施防止滥用，并增加前置性工作来减轻潜在危害。负责任地开发人工智能对于确保这些技术造福社会而不是造成危害至关重要。

身份盗窃和欺诈： 深度伪造可用于创建虚假身份或冒充真实个人，为各种形式的身份盗窃和欺诈提供便利。例如，合成媒体可用于创建虚假的社交媒体档案，生成虚假证据以支持诈骗或网络钓鱼企图，甚至绕过生物识别认证系统。高保真地假扮他人的能力可以促成一系列犯罪活动和安全漏洞。

心理和情感伤害：除了对机构和系统的风险之外，深度伪造还可能对个人造成严重的心理和情感伤害。在未经同意的情况下制作私密或色情的深度伪造产品是一种性暴力，会给受害者造成严重的心理创伤和痛苦。深度伪造骚扰活动还可能造成严重的精神痛苦、名誉损害和职业伤害。从人工智能安全和人权的角度来看，深度伪造被用来对付个人，即使是潜在可能性都会是一个令人严重担忧的问题。

虚假信息和宣传： 深度伪造可以成为以前所未有的规模传播虚假信息和宣传的有力工具。恶意行为者通过制造大量的合成媒体来推动特定的叙事，可以让虚假内容充斥信息生态系统，淹没真实信息。这可能会对公共话语产生严重的腐蚀作用，使人们更难辨别事实与虚构，更难形成基于证据的观点。大规模部署假新闻可能会压垮我们批判性思维和知情决策的集体能力。

IT 和安全从业人员应该深入了解深度伪造技术，因为这种新兴技术对数字系统和信息的安全性、完整性和可信度构成了重大风险。作为企业技术基础设施和数据的守护者，IT 和安全专业人员需要站在最前沿，了解并减轻深度伪造所带来的潜在威胁。以下是一些主要原因：

网络安全威胁：深度伪造可用作社会工程攻击、网络钓鱼诈骗和其他网络安全威胁的工具。例如，公司高管的深度伪造视频或音频片段可用于诱骗员工转移资金、泄露敏感信息或授权访问安全系统。IT 和安全专业人员需要了解这些新出现的攻击载体，以制定适当的防御和事件响应计划。

欺诈检测： 随着深度伪造变得越来越复杂，它们可能会被用于实施各种欺诈行为，如创建虚假身份、伪造文件或篡改财务记录。IT 和安全专业人员需要调整欺诈检测系统和流程，以应对基于深度伪造的欺诈的可能性

数据完整性： 深度伪造可用于篡改或伪造数据，破坏组织信息资产的完整性。IT 和安全专业人员需要了解深度伪造如何被用于破坏数据库、篡改日志或生成虚假数据，以便实施适当的防护措施，维护数据的可靠性。

声誉风险：针对组织、员工或客户的深度伪造可能会造成严重的声誉损害。IT 和安全专业人员需要做好准备，以快速检测和应对针对组织声誉的深度伪造攻击，例如假称能展示公司代表从事不道德或非法行为的虚假视频或录音。

真实性与信任： 随着 "深度伪造 "侵蚀人们对数字媒体的信任，IT 和安全从业人员将在开发和实施验证真实媒体和检测合成内容的技术和流程方面发挥至关重要的作用。这可能涉及部署深度伪造检测算法、基于区块链的认证系统或其他创新解决方案，以确保组织媒体资产的真实性。

知情决策： IT 和安全专业人员需要随时了解深度伪造技术的最新发展，以便就组织的技术投资、安全策略和风险管理方法做出正确决策。深入了解深度伪造技术的能力和局限性，对于应对该技术带来的复杂技术和道德挑战至关重要。

思想引领： 作为该领域的专家，IT 和安全从业人员有责任向组织内的其他利益相关者介绍深度伪造的风险和影响。通过采取积极主动的态度并分享他们的知识，IT 和安全从业人员可以帮助建立组织的韧性，并培养一种知情警惕的文化。

我不得不说，作为一名在生成式人工智能领域拥有深厚专业知识的网络安全专业人士，同时也是《生成式人工智能安全》的主编，生成式人工智能的一个潜在用途就是网络防御。

生成式人工智能可用于创建先进的用以实时识别和缓解网络威胁的威胁检测系统。通过分析大量数据，这些人工智能系统可以识别可能表明存在安全漏洞的模式和异常情况，从而做出更快、更有效的响应。

此外，生成式人工智能可用于模拟潜在的网络攻击，为网络安全团队提供有价值的洞察力，让他们了解这些攻击可能如何展开，以及如何最好地防御这些攻击。这种积极主动的方法可以帮助企业领先网络犯罪分子一步，根据最新的威胁情报不断改进其安全措施。

此外，生成式 AI 可以帮助自动执行日常常规安全任务，例如监控网络流量、分析日志和管理安全警报。这种自动化不仅可以提高效率，还可以让人类分析师腾出时间，专注于网络安全相关的更复杂和战略性方面的事。

此外，生成式人工智能可用于开发复杂的网络钓鱼检测系统。通过生成和分析潜在的网络钓鱼电子邮件，这些系统可以更好地了解网络犯罪分子使用的策略，并提高他们在此类威胁到达最终用户之前检测和阻止此类威胁的能力。

目前已有许多生成式人工智能网络安全工具可以帮助网络安全专业人员完成日常工作，我预计该领域的创新将在不久的将来加速。

人工智能安全认证专家(Certified Artificial Intelligence Security Professional，CAISP)认证培训项目由云安全联盟大中华区发布，旨在为从事AI及其安全的研究、管理、运营、开发以及网络安全等领域的专业人员提供一套全面覆盖AI安全领域的认证培训。其课程内容侧重于跨领域综合能力培养、实践导向与案例分析，并融合了全球视野与法规治理，从而提升学员在AI安全领域的综合技能。

CAISP学员对象：AI安全工程师、AI工程师与开发者、政策制定者和监管机构、网络安全从业者、安全研究员、合规与风险管理人员、AI行业从业人员、在校学生、AI应用终端用户及所有感兴趣的学员。