AI评估也要带上统计学的眼镜！
最近，Anthropic发布了一项引人注目的研究，提出在AI模型评估中加入误差条的概念。这一全新思路旨在让我们更清晰地理解模型表现的可靠性与不确定性：“没有数据的评估就像没有指南的航行。”
在这项研究中，Anthropic的团队提出了一个关键假设：评估问题是从潜在问题分布中随机抽取的。
这一假设为我们打开了通往更丰富理论框架的大门，从而得出了五项核心建议。
使用中心极限定理
AI评估通常由大量问题的平均得分组成，这正是中心极限定理的完美应用。Anthropic建议，报告基于CLT的标准误差和平均得分，以提高结果的科学性。通过这种方式，我们可以更准确地量化不同模型间的理论平均差异。
聚类标准误差
许多评估（尤其是阅读理解评估）包含了相互关联的问题，这会违反中心极限定理的独立性假设。
因此，对于这些评估，Anthropic推荐使用聚类标准误差。
研究表明，错误估计这些标准误差可能导致研究者得出错误的结论，进而影响对模型的评估。
减少问题内的方差
在第二种误差的讨论中，Anthropic强调了测量误差的重要性，并提出通过对每个问题的答案进行多次重采样来减少这种误差。这种方法可以显著提高评估的统计精度。
分析成对差异
为了更好地理解不同模型之间的比较，Anthropic建议对问题级别的差异进行分析。成对分析被视为一种“免费”的技术，能够有效缩小标准误差，进一步提高评估的可信度。
使用统计功效分析
最后，Anthropic强调了统计功效的重要性，定义为检测假设差异的能力。该研究开发了一系列公式，用于确定两个模型、两个提示或一组超参数之间的最小可检测效应，从而帮助研究者在评估中做出更好的决策。
通过这项研究，Anthropic不仅为AI模型评估提供了新的视角，也为整个AI研究社区提出了更为科学的评估方法。想了解更多细节，可以访问他们的研究博客 [1]。
通过将统计学引入AI评估，我们或许能更好地理解模型的真实实力，以及它们在不同条件下的表现。未来的AI评估，将不再是孤立的数据，而是一个充满科学分析与思考的过程。
相关链接
[1] 研究博客: https://www.anthropic.com/research/statistical-approach-to-model-evals
[2] 原文链接: https://twitter.com/AnthropicAI/status/1858976476793893040
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
