Nature:搞科研要小心了,谷歌推出AI “防伪” 标记

文摘   2024-11-05 20:08   美国  

谷歌DeepMind最新推出了一种名为SynthID-Text的创新技术,旨在为AI生成的文本添加隐形水印,以应对日益增长的虚假信息、学术作弊以及模型训练数据污染等问题。这项技术已被部署到谷歌的Gemini大型语言模型中,并在超过两千万次的聊天机器人用户交互中进行了大规模的真实世界测试,结果显示,加水印的文本并未影响用户体验,其质量与未加水印的文本被认为相当。

The watermark was applied to 20 million text responses generated by Google’s Gemini large language model.Credit: Jaap Arriens/NurPhoto via Getty
SynthID-Text的核心机制在于其独特的“锦标赛”算法。在文本生成过程中,模型通常会根据概率分布选择下一个词语。SynthID-Text则引入了一个基于加密密钥的随机评分系统,为每个候选词元(token)分配分数。这些候选词元如同参加锦标赛的选手,通过多轮两两比拼,最终得分最高的词元胜出,被添加到生成的文本中。这种巧妙的设计使得水印的嵌入更加隐蔽,同时也有助于提高水印的鲁棒性,使其更难以被恶意移除或篡改。
与其他水印方案相比,SynthID-Text具有几项显著优势。首先,它在保持文本质量的前提下,不会降低文本生成速度。其次,其检测过程相对简单,只需使用相应的加密密钥即可识别水印。此外,DeepMind已将该工具开源,鼓励其他AI模型开发者采用并集成到自己的系统中,共同构建一个更加透明和可信的AI生态。然而,谷歌自身使用的密钥仍然保密,以防止用户滥用检测工具。
尽管SynthID-Text展现了水印技术在解决AI生成文本问题上的潜力,但挑战依然存在。研究人员尚未充分评估该水印抵抗恶意攻击(例如“擦除”或“伪造”)的能力。此外,如何推动水印技术的广泛应用,以及如何协调不同开发者之间的水印方案,也是未来需要解决的重要问题。总而言之,SynthID-Text的推出标志着AI文本水印技术迈出了重要一步,但要真正实现其预期目标,仍需持续的研究和改进。

Nature 634, 1027-1028 (2024)

doi: https://doi.org/10.1038/d41586-024-03462-7


本文由"地刊速览"翻译,转载请在文章开头醒目位置标注"本文来源:地刊速览"。

END

地刊速览
地刊速览专注科普,尝试用最通俗的语言,对地球科学前沿进行科普式的介绍,一方面希望对地球科学研究人员有所帮助,另一方面向非地学背景人员展示地学之美。
 最新文章