• 视频深度伪造（Video deepfake）

香港一家跨国公司的金融员工被一个利用AI深度伪造技术的视频会议骗局欺骗，误以为该公司首席财务官（CFO）在视频中授权了一笔交易，从而将2,500万美元转给了攻击者，会议上的所有人都是伪造的。

• 音频深度伪造（Audio deepfake）

黑客使用AI合成的音频冒充IT员工，成功绕过了Retool的多因素认证（MFA）流程，骗取了另一个员工的MFA安全令牌，从而获得了客户数据的访问权限。

• 音频深度伪造（Audio deepfake）

攻击者使用Wiz公司CEO兼联合创始人Assaf Rappaport在会议上的讲话录音，创建了一个假的语音信息，要求员工提供其凭据。

虽然操纵媒体并不新鲜（如Photoshop），但当今的生成式AI模型已将其复杂性提升到了新的高度，极大地降低了制作逼真深度伪造的门槛。而且，这种威胁不仅出现在经济社会的各国领域，利用AI生成和冒充名人、品牌和企业成为不法分子的新目标。

根据硅谷科技评论创投库（SVTR.ai），安全合规领域作为AI行业17大应用之一，以133起AI融资事件在AI应用排行榜排名第四，仅次于生命科学、企业服务和金融服务行业。

从投资机构来看，1961年成立，总部位于美国帕洛阿尔托的Norwest Venture Partners，是AI安全合规领域的重要投资机构之一。

根据AI创投库，Norwest最近AI领域的投资案例一共7家，其中安全合规领域就有3家，包括模仿人类安全分析师的行为的Intezer，利用人工智能和分布式混合云架构为组织提供视频安全解决方案的Lumana，利用人工智能和零代码来监测业务数据的可靠性和准确性的Anomalo。

一、深度伪造攻击风险不断扩大

从概念上讲，深度伪造是一种更为复杂的网络钓鱼攻击，旨在欺骗接收者或观众并促使其采取特定行动或做出反应。尽管许多公司已经制定了检测和防止基于电子邮件和短信的钓鱼攻击的协议，但在应对深度伪造攻击采取的防护措施远远不够。深度伪造检测面临的新挑战在于其内容往往引人注目且看似真实，远比带有可疑链接的电子邮件更有迷惑性。

然而，并非所有深度伪造攻击的目的都是为了商业或金钱利益。以泰勒·斯威夫特为例，她曾成为一场恶意深度伪造的文本到图像宣传活动的受害者，这场攻击在X（即Twitter）平台上迅速传播。

这些攻击突显了深度伪造对企业和个人可能带来的重大风险。Gartner列出了至少五种影响：

• 知识产权和品牌身份被盗

• 面向客户的内容中品牌声誉受损

• 虚假信息的传播

• 身份验证中的欺诈行为

• 财务损失

随着恶意深度伪造攻击引发广泛关注和担忧，企业和个人将寻求检测和消除这些威胁的方法。因此，立法环境和深度伪造安全商业市场正在迅速发展，以应对这一日益严峻的挑战。

二、政府和行业开始规范立法

在美国，科技行业和州政府正在积极采取措施应对深度伪造问题。行业联盟正致力于为数字内容的来源验证制定标准，而州立法者也在尝试对深度伪造活动进行立法。

多家知名科技公司合作成立了内容出处与真实性联盟（C2PA，Coalition for Context Provenance & Authenticity），该联盟旨在开发技术标准，以认证媒体内容的来源和历史。C2PA框架为此提供了一个有力的基础，但其有效性依赖于内容创作者、平台和消费者的广泛采用。

此外，一些州已通过法律，将特定类别的恶意深度伪造定为犯罪。虽然法律细节略有不同，但加利福尼亚州和德克萨斯州的法律允许涉及色情内容的深度伪造受害者起诉其创作者。这些州还允许在选举临近时发布深度伪造视频的政治候选人采取法律行动。尽管这一问题已经引起立法者的重视，官员们仍在探讨美国是否需要联邦法律来提供更一致和明确的深度伪造活动规范。

三、深度伪造安全市场快速发展

应对深度伪造，最终需要组织部署一系列安全措施。目前，虽然大多数公司尚未将深度伪造检测和缓解工具纳入其技术架构，但我们预计这种情况在不久可能会发生变化。

深度伪造安全市场，多数公司将专注于六个主要类别的解决方案：

1. 深度伪造检测：识别伪造内容的真实性工具。

2. 品牌安全：防止品牌在虚假和有害内容中被误用的措施。

3. 内容水印：通过数字标记来标识和验证内容来源。

4. 身份验证：确保通信和数据来源的真实性，以防止身份欺诈。

5. 内容认证：用于跟踪和核实媒体的真实性和来源的技术。

6. 危机管理：在遇到深度伪造攻击时，帮助公司采取行动以减少损失的解决方案。

   
   

此外，根据硅谷风投Norwest的最新研究，深度伪造安全市场中各个细分市场，包括在深度伪造检测、品牌安全、内容水印和身份验证方面逐步出现行业领先者。

这些类别的成熟度有所不同，显示出不同的商业潜力。某些领域的技术和市场需求已经相对成熟，而其他领域仍在发展的初期阶段。

根据硅谷科技评论创投库（svtr.ai），在深度伪造安全市场领域，值得关注的高潜力初创公司包括：

• IdentifAI，2020年成立于意大利米兰，帮助组织识别AI生成内容（如深度伪造或未经授权的合成媒体）以防止滥用或欺骗。完成240万美元融资，投资方为United Ventures。

  
  

• Clarity，2022年成立于以色列特拉维夫，开发技术来检测和对抗视频、图像和音频中的深度伪造。完成1600万美元的种子轮融资，投资方为Walden Catalyst Ventures、Bessemer Venture Partners、Secret Chord Ventures、Ascend Ventures、Fusion VC和Flying Fish Partners。

  
  

• Reality Defender，2021年成立于美国纽约，开发用于检测深度伪造和其他人工智能生成内容的工具，完成1500万美元A轮融资，公司累计融资1500万美元，DCVC、Comcast Ventures、Ex/ante、Parameter Ventures、AI Grant投资。

1、深度伪造照片、视频和音频检测

深度伪造图像、视频和音频检测工具在公共和私营部门具有广泛的应用前景。现有的使用案例包括呼叫中心、人力资源管理、品牌保护、账户恢复和防欺诈，表明这些工具在长期内具备可行性。

这些工具在网络安全领域也备受关注，今年Reality Defender在RSA Sandbox竞赛中获胜就是一个例证。然而，深度伪造检测是一个资本密集型领域，需要对研发进行大量投资以领先于欺诈者。这是一场典型的网络安全“猫捉老鼠”游戏：攻击者不断改进其深度伪造模型以进行更复杂的攻击，而检测工具则必须奋力跟上。

2、身份验证

身份验证是深度伪造检测所需的重要功能，尽管大多数企业已经结合多种工具来实现足够的保护。传统解决方案如Nuance（语音生物识别）和Pindrop（语音和行为分析）已得到广泛应用并形成了稳固的基础。

3、内容水印

对于商业化的AI模型来说，内容水印是一个直观的保护措施，但开源模型可能会被自由使用而不带有水印。其长期成功可能依赖于C2PA等标准的制定和内容创作者及AI创作工具开发者的认可。

4、品牌保护和内容许可

提供品牌保护和内容许可工具的公司得益于其客户（如名人和品牌）高度重视保护其形象和声誉。这类似于1998年数字千年版权法案（DMCA）下的保护措施。

自动删除功能迎合了客户的明确需求，销售周期相对较短。如果这些解决方案提供了许可功能，使名人或品牌可以通过独特内容获利，那么它们还拥有内在的增长机会。

5、叙事攻击保护

随着出于商业目的的虚假信息传播日益增多，叙事攻击保护变得愈发重要。这些AI驱动的工具可监控和分析大量数据，检测虚假叙事并提供如何应对的见解。银行、医疗公司，甚至广告代理商都已在该领域部署了解决方案。然而，对于供应商来说，一个关键挑战是证明足够的投资回报率（ROI）以促使客户持续采用这些工具。

四、深度伪造安全市场的未来

深度伪造技术在过去几年中迅速发展，而生成式AI工具的出现更是加速了合成内容的创建和传播。深度伪造攻击的潜在风险相当大。然而，我们观察到，目前市场上的公司通常在遭遇攻击后才开始寻找深度伪造安全解决方案，这时往往面临董事会或高管的压力，需要迅速实施保护措施。

随着深度伪造安全领域的不断演变，我们预计垂直领域脱颖而出的创新解决方案提供商将成为领导者，同时，随着攻击手法的日益复杂化，深度伪造安全工具有望成为企业安全体系的一部分。

五、附录：