2024年3月14日,美国防高级研究计划局(DARPA)启动两项新工作,旨在提高应对媒体操纵的防御能力,从而保护工业界、学术界等更广泛地社区免遭操纵媒体的威胁。
全文摘要与关键词
1. DARPA语义取证(SemaFor)项目:
①重点开发三个特定算法:语义检测算法,归因算法,表征算法→识别纂改内容+对手溯源+恶意性质判断
2. 评述:DARPA“语义取证”项目及取得的研究成果为应对受操纵媒体威胁提供了必要的技术条件和方法,其近期新行动将通过成果的商业转化,加强美国工业家、学术界等民间机构与社区应对媒体操纵的整体防御能力。
打击虚假信息活动因技术的快速发展屡遭失败。随着人工智能等技术不断进步,敌对国家越来越多地利用“深度伪造”媒体及其他虚假信息传播手段操控美国公众看法。恶意行为者获得相关技术也越来越容易,能更容易地对美国发起强有力的虚假信息攻击活动。行业及学术界提出了利用统计方法判断视频或图像是否遭到篡改的技术,但现有工具将可能会因篡改技术的快速发展而失效。
DARPA另辟新径:检测遭篡改媒体中的“语义错误”,只要计算机能识别出这样的错误,就可判断出其分析的媒体已遭篡改,并标记出需要人类分析师后续细致处理的内容。除了识别伪造媒体以外,DARPA还期望相关技术能通过伪造或篡改特征来识别媒体作者的真实身份,并确定这些伪造内容是否已被用于实施虚假信息攻击。为此,DARPA启动了“语义取证”项目。
1
“语义取证”(SemaFor)项目
2019年8月,DARPA发布“语义取证”(Semantic Forensics,SemaFor)项目公告。
1.1 研究目标
该项目旨在通过开发能够自动检测、归因和表征伪造媒体资产特征的技术,让分析人员在检测者和操纵者之间的斗争中取得优势。
1.2 主要内容
该项目有四个技术领域(TAs),如图1所示。
技术领域一(TA1):多模态媒体内容的检测、归因和表征,将签订多份合同;
技术领域二(TA2):解释和整合,将把结合TA1的研究成果整合起来,给出解释,以支持系统决策,并将相关内容按权重排列起来,供分析人员审查。该技术域还将开发SemaFor系统原型;
技术领域三(TA3):评估,将生成用于评估的多模态内容,设计评估方法,确立人类表现基线,形成指标体系;
技术领域四(TA4):组织相关挑战活动,即不断用最先进的挑战性问题检验TA1和TA2的研发成果,并开发具有前瞻性的威胁模型,预判将来的威胁,确保SemaFor项目研发的效果。
图1“语义取证”项目的四个技术领域
语义检测算法(semantic detection algorithms)用于确定多模式媒体内容是否被生成或篡改; 归因算法(attribution algorithms)将推断多模态媒体是否来自特定组织或个人; 表征算法(characterization algorithms)将推断多模态媒体是否出于恶意目的而生成或操纵。
1.3 支撑团队
洛克希德·马丁公司先进技术实验室:负责审查,为媒体分析人员提供一个可以被理解的解释,开发相应的技术来自动组合和管理由检测、归因和表征算法提供的证据,并开发“语义取证”系统样机; 埃森哲联邦服务公司、谷歌/卡拉软件、纽约大学、英伟达和系统与技术研究公司组成的团队:将确保能力紧跟媒体内容篡改的潜在威胁和应用,确定威胁的特征,并根据对手可能的行为设计挑战问题; 谷歌/卡拉软件:提供对大规模互联网平台的虚假信息威胁的观点; 英伟达:提供媒体生成算法和对即将到来的硬件加速技术的潜在影响的见解; 纽约大学:提供与纽约市媒体实验室和广泛的媒体生态的联系。这个生态将提供关于媒体版图演化,以及它如何被恶意操纵者利用的洞见; 埃森哲联邦服务公司:对将“语义取证”在打击海外虚假信息方面处于领先地位的美国国务院全球接触中心进行应用提供评估、联系和操作可行性鉴定; 帕泰政府系统公司:为了确保开发中的工具和算法拥有充足的相关培训数据,该公司负责数据策划和评估工作,负责进行定期的大规模评估,以衡量该项目所开发能力的性能。
1.4 项目进展
2
评述
应对受操纵媒体威胁,需要媒体组织、研究和开发人员、政策制定者以及商业部门共同努力开发和部署解决方案。
DARPA开发的“语义取证”项目及取得的研究成果为应对受操纵媒体威胁提供了必要的技术条件和方法。
DARPA新启动的两项工作能力将推动“语义取证”项目研究成果的商业转化,为积极参与构建“支持捍卫数字世界真实性”生态系统持续发力,有利于保护工业界、学术界等更广泛的社区不受操纵媒体威胁。
同时,也体现出DARPA履行其“通过研发和验证突破性技术,揭示新的可能性并实现开天辟地的能力”的重要使命。
参考文献:
https://executivegov.com/2024/03/darpa-launches-2-new-efforts-to-boost-defenses-against-manipulated-media/
https://sam.gov/api/prod/opps/v3/opportunities/resources/files/5969fe9e5175606ff64d0b7858f6f9ca/download?&status=archived&token=
(全文完)
Build a community
Share the future in cyberspace