AI终于有了「说谎」检测器！
OpenAI最新发布了一个名为SimpleQA的基准测试，专门用来衡量AI模型的「幻觉」问题。
这个测试不仅揭示了一些令人意外的发现，更为我们提供了一个可靠的AI诚实度量尺。
大模型更诚实
OpenAI 给出了三个重要发现：
规模即正义：模型越大，产生幻觉的概率就越低。这打破了「大模型更容易胡说八道」的传统认知。
自信往往有理：当模型表示对答案很有把握时，通常也确实更准确。这说明AI已经具备了基本的「自知之明」。
摇摆不定要当心：如果模型对同一个问题反复给出不同答案，那准确率通常很低。这为我们使用AI提供了一个重要参考。
深入解析：AI的「自知之明」
研究人员发现了一个有趣的现象：可以直接让AI评估自己的答案可信度。
当要求模型用百分比表示信心水平时，研究发现：
信心与准确度正相关：模型表示越有把握，答案正确的可能性就越大
普遍自信过头：模型们往往高估自己的准确率
大模型更靠谱：o1-preview比o1-mini的自我评估更准确，GPT-4也比GPT-4-mini更懂得「自知之明」
这些发现为我们提供了一个实用技巧：当AI表示高度自信时，其答案更值得信赖。
SimpleQA：不只是个测试
这个基准测试的设计可谓精心：
规模可观：包含4326个精选问题
领域广泛：从科技到娱乐，涵盖各个方面
严格筛选：每个问题都必须：
有唯一确定的答案
答案不随时间变化
容易诱发模型产生幻觉
为确保数据质量，OpenAI采用了三重验证机制：
第一位AI训练师创建问题和答案
第二位训练师独立验证
第三位训练师随机抽查1000个问题
最终的错误率仅为3%，这个数字令人印象深刻。
意外发现：重复提问也有讲究
研究团队还做了一个有趣的实验：对同一个问题重复询问100次。结果发现：
模型给出相同答案的频率越高，答案正确的可能性就越大
o1-preview模型在这方面表现最好，其重复率与准确率几乎相当
这为我们提供了另一个验证答案可靠性的方法
这个发现特别实用：如果你对AI的答案有疑虑，不妨多问几次，看看答案是否一致。
SimpleQA的发布不仅给了我们一个测量AI「说谎」的工具，更揭示了大语言模型的一些深层特性。
它告诉我们：AI正在变得越来越「懂得」自己的能力边界。
虽然目前就连GPT-4这样的顶级模型在SimpleQA上的得分也不到40%，但这恰恰说明了这个基准测试的价值——
它为AI的进步提供了一个清晰的目标。
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
