设置星标 关注，从此你的世界多点科学~
ChatGPT等聊天机器人背后的算法能从各种各样的网络文本中抓取万亿字节的素材，文本来源可以是网络文章，也可以是社媒平台的帖子，还可以是视频里的字幕或评论。
随着生成式AI的应用不断扩张，上述问题只会越发严重。而最终结局可能是模型崩溃，AI自学自产的数据被噪声淹没，输出的内容语无伦次、胡诌乱扯。
产学 自循环
幻觉？ 崩溃？
我们知道，生成式人工智能经常“产生幻觉”。在收到提示后，它可能说出不准确的事实或“幻想”出绝对不真实的答案。幻觉或可造成严重后果，例如AI在医疗保健话题上错误却又权威地将结痂判作肿瘤。
当AI不断用自身生成的数据来训练自己，它就会在几代内退化。这就是模型崩溃，一种独立存在的现象，有点像近亲繁殖——后代更容易遭遇遗传疾病。
计算机科学家早就意识到了这个问题，但一直不清楚大型人工智能模型如何以及为何发生崩溃。
在《自然》报道的新研究中，作者团队构建了一个自定义大型语言模型，并用维基百科条目训练它；接着，他们使用模型自身输出的数据集对模型进行了9九次微调，并用所谓“困惑度分数”来衡量AI输出的质量——得分越高意味着生成的文本越令人困惑。
团队发现，人工智能模型的退化只需短短几个训练周期。
这里引用一个案例。团队先抛给AI一个关于教堂建造历史的长提示(长到会令大多数人类看得迷糊)，后面是模型的自产自学循环了。经过前两次迭代，AI给出了一个相对连贯的关于复兴建筑的回复，文本中偶有“@”插入。但到了第五代，话题已经变成了语言翻译……到了第九代，也就是最后一代，输出内容是令人发笑的胡言乱语。
英文原文
“architecture. In addition to being home to some of the world’s largest populations of black @-@ tailed jackrabbits, white @-@ tailed jackrabbits, blue @-@ tailed jackrabbits, red @-@ tailed jackrabbits, yellow @-.”
翻译成中文就是
“建筑。除了栖息着一些世界上最大的黑@-@尾长耳大野兔、白@-@尾长耳大野兔、蓝@-@尾长耳大野兔、红@-@尾长耳大野兔、黄@-种群。”
AI作品 加水印
AI训练 靠人文
人工智能崩溃，部分原因是它逐渐“忘记”了一代又一代的训练数据。
人脑也会抹去旧的记忆，但与此同时它体验新的内容、收取新的输入。对于只能从互联网上学习的AI来说，“遗忘”是个大问题。
假设AI从原始训练数据中“看到”了金毛寻回犬、法国斗牛犬和小型格里芬巴塞特犬，而当它被要求描绘出一条狗时，由于网上有更多关于金毛寻回犬的图片，AI就很可能选定金毛为创作对象。如果后续模型又拿此AI生成的金毛浓度过高的数据集训练自己，经过若干代后，AI可能“忘记”那些不太热门的犬种。
由人工智能生成的文本本就偏向众所周知的概念、措辞和风格，基于这些数据训练的新算法只会加剧偏向，最终可能导致模型崩溃。
这方面的问题也对全球人工智能的公平性提出了挑战。由于AI在用自己生成的数据训练自己时会忽略“不常见”(uncommon)的事物，它也就难以斟酌人类世界的复杂性和细微差别。
以西方社会的少数族裔话题为例：AI可能无法充分展现少数族裔(尤其是少数族裔语言使用者)的思想和信仰。
温格指出：“确保大型语言模型(LLM)能对少数派内容进行建模是获得公平预测的关键。随着生成式AI模型在日常生活中越发普及，这一点也会越发重要。”
那么，应当怎样解决问题呢？
一种方法是使用水印，即嵌入于AI生成数据内的数字签名，以此帮助人们从训练数据集中检测到特定数据以便确定是否需要删除这些数据。谷歌、Meta和OpenAI都已提出了此理念，不过他们是否能就单一协议达成一致还有待观察。当然，水印并非万能的，因为企业或个人可能选择不给AI的输出加水印。
另一个可能的解决方案是调整我们训练人工智能模型的方式。新研究的作者发现，如果给自产自学的AI提供更多人类提供的训练素材，新生成的内容可以更加连贯。
前文所述种种并不意味着模型崩溃的问题迫在眉睫。新研究只关注了基于自身输出的文本进行训练的AI。如果使用其他AI模型生成的数据进行训练，会不会出现类似崩溃还有待观察。此外，AI正越来越多地利用图像、声音和视频，而我们也不清楚能否从这些类型的内容中看到AI模型崩溃。
不可否认，生成式人工智能改变着世界，也展现着取代人类工作的潜力。但事实证明，如果缺少人类思维的原创输出，目前的模型难以在自我迭代中发展甚至做不到维持稳定。
现在既然发现了问题，我们就需要协调全社会，去标记AI创建的数据，并公开分享信息。“否则，如果没有人类提供大规模数据，也没法访问非AI生成的互联网数据，那么训练更新版本的大型语言模型可能会变得越发困难。”
This Is What Could Happen if AI Content Is Allowed to Take Over the Internet
《世界科学》杂志版在售中 欢迎订阅
点击图片或以下方订阅方式选购
月刊定价15元/期
全年订阅价180元
“杂志铺”订阅有折扣～
订阅方式二：
全国各地邮局订阅。邮发代号：4-263
订阅方式三：
机构订阅，请拨打
021-53300839；
021-53300838
