图片来源：Unsplash
根据TechCrunch报道，在 OpenAI 发布其首个“推理”AI模型 o1 后不久，人们注意到一种奇怪的现象。该模型有时会在回答问题时“用中文、波斯语或其他语言思考”——即便问题是用英文提出的。
当被要求解决某个问题时，比如“strawberry 这个单词里有几个 R？”o1 会启动其“思考”过程，通过一系列推理步骤得出答案。如果问题是用英文写的，o1 的最终答案也会是英文，但在得出结论之前，它可能会在某些步骤中切换到另一种语言。
“[o1] 在中途随机开始用中文思考了，”一位 Reddit 用户说道。
另一位用户在 X 上发帖问道：“为什么 [o1] 会随机开始用中文思考？整个对话（超过五条信息）都没有出现过中文。”
OpenAI 尚未对 o1 的这一奇怪行为作出解释，甚至没有正式承认这一现象。那么这可能是为什么呢？
AI 专家对此也没有定论，但他们提出了一些理论。
X 上的一些人，包括 Hugging Face 的首席执行官 Clément Delangue，提到了像 o1 这样的推理模型会在包含大量中文字符的数据集上进行训练。谷歌 DeepMind 的研究员 Ted Xiao 声称，包括 OpenAI 在内的公司会使用第三方中文数据标注服务，而 o1 切换到中文正是“中文语言对推理的影响”的一个例子。
“[像] OpenAI 和 Anthropic 这样的实验室会利用[第三方]数据标注服务来处理科学、数学和编程的博士级推理数据，”Xiao 在 X 上发帖写道，“由于专家劳动力的可用性和成本原因，这些数据提供商中有许多位于中国。”
标注（也称为标签或注释）帮助模型在训练过程中理解和解释数据。例如，用于训练图像识别模型的标注可能是围绕对象的标记或指向每个人、地点或物体的标题。
研究表明，带有偏见的标注可能会产生带有偏见的模型。例如，普通标注员更可能将非洲裔美国人英语（AAVE，即一些美国黑人使用的非正式语法）中的短语标记为具有攻击性，这导致基于这些标注训练的 AI 检测器会过度判断 AAVE 为有攻击性。
然而，也有一些专家并不认同 o1 的中文数据标注假说。他们指出，o1 在推导解决方案时同样可能切换到印地语、泰语或其他语言，而不仅仅是中文。
这些专家认为，o1 和其他推理模型可能只是选择了它们认为最有效实现目标的语言（或者出现了“幻觉”）。
“模型不知道语言是什么，也不知道语言之间有何不同，”阿尔伯塔大学的 AI 研究员兼助理教授 Matthew Guzdial 在接受 TechCrunch 采访时表示。“对它来说，这些都只是文本。”
确实，模型并不是直接处理单词，而是处理“标记”（token）。标记可以是单词，例如“fantastic”；也可以是音节，比如“fan”“tas”和“tic”；甚至可以是单个字符，例如“f”“a”“n”“t”“a”“s”“t”“i”“c”。
与标注类似，标记也可能引入偏见。例如，许多单词到标记的转换器会假定句子中的空格表示一个新单词，但并非所有语言都使用空格来分隔单词。
AI 初创公司 Hugging Face 的软件工程师 Tiezhen Wang 认同 Guzdial 的观点，认为推理模型的语言不一致可能与模型在训练期间建立的关联有关。
“通过拥抱每一种语言的细微差别，我们扩展了模型的视野，使其能够从人类知识的全谱中学习，”Wang 在 X 上发帖写道。“例如，我喜欢用中文做数学运算，因为每个数字都只有一个音节，计算起来简洁高效。但当涉及无意识偏见等主题时，我会自动切换到英语，主要是因为我最初就是用英语学习并吸收这些概念的。”
Wang 的理论是有可能的。毕竟，模型是概率机器。在大量实例的训练下，它们学会了预测模式，例如邮件中的“to whom”通常会接着“it may concern”。
但非营利组织艾伦人工智能研究所的研究科学家 Luca Soldaini 警告称，我们无法确定模型的实际运作机制。他在接受 TechCrunch 采访时表示：“对于一个已部署的 AI 系统，这种观察是不可能得到证实的，因为这些模型本质上是不透明的。这也说明了为何 AI 系统的构建透明性至关重要。”
在 OpenAI 给出答案之前，我们只能猜测为什么 o1 会用法语“思考”歌曲，却用中文“思考”合成生物学。
参考资料：
[1] OpenAI’s AI reasoning model ‘thinks’ in Chinese sometimes and no one really knows why, https://techcrunch.com/2025/01/14/openais-ai-reasoning-model-thinks-in-chinese-sometimes-and-no-one-really-knows-why/
稿件经采用可获邀进入Z Finance内部社群，优秀者将成为签约作者，00后更有机会成为Z Finance的早期共创成员。
