▲ 欢迎订阅2024年《科学焦点》，阅读更多精彩内容
▲ 每月一本，共12本
优惠价：264（原价：480）
文 | 梅林
视觉设计 | 李梅
一篇发表于2024年7月24日的《自然》（Nature）杂志上的文章指出，用由AI生成的数据训练AI，随着AI的迭代，可能会让AI濒临“崩溃”。
来自牛津大学、剑桥大学、英国帝国理工学院、多伦多大学等高校的研究人员，用先前几个版本的大语言模型（LLM，比如GPT、OPT）生成的数据占多数的网络数据训练了某个版本的LLM-n。他们发现，随着n的增加，LLM将会出现“模型崩溃”（model collapse）现象。
以Meta的大语言模型OPT为例。研究人员对OPT-125m做了测试。他们最早输入的训练数据是“根据英国作家波因茨·赖特（Poyntz Wright）的说法，一些在1360年之前开始建造的中世纪建筑，通常是由经验丰富的石匠和石匠临时工完成建造的，当地教区的劳工也会参与进来。但是，其他作者不这么认为，他们认为是建设团队的负责人根据早期垂直式建筑的例子设计了这些建筑。”
起初的几个版本的OPT还能根据训练数据，给出一些垂直式建筑准确的建筑时期。由于后期的版本是由之前版本生成的数据训练的，随着迭代，后期的版本给出的答案就变得越来越离谱——甚至到了第9代，OPT给出了一群兔子的名字。
那么，AI变傻了，或者说它崩溃了，会带来怎样的后果？研究团队指出，这种对训练数据长期的“污染”早已经发生了。例如，研究人员观察了“巨魔农场”（troll farms，专门在网络中散播不实言论或煽动性言论的组织，可以理解为“水军”“网络喷子”）的形成过程。巨魔农场给搜索引擎带来的“污染”就是，导致搜索结果的改变。而更令人担忧的是，随着AI大语言模型更多地走进网络世界，这样的“污染”的规模将变得更大，传播速度也会越来越快。
为此，谷歌降低了巨魔农场内容的搜索权重，而主打保护用户隐私的搜索引擎DuckDuckGo干脆删除了这些内容。但这些做法都不能从根本上解决AI变傻的问题。为了让AI能进行长期的“正规学习”而不是受到“污染”，必须保证网络中人工创造的原始数据始终都能访问。研究人员认为，要实现这一点，关键在于如何将AI生成的数据与人工创造的数据区分开来。
这就涉及到了AI生成数据溯源的问题，但是科学家目前还不知道如何大规模地追踪AI生成内容的源头。
在文章中，研究人员给出了一个可能的解决方案。建立社区层面上的合作，确保AI生成内容涉及的方方面面，都能共享解决内容溯源问题的信息。
参考文献：
