AI大模型们终于摊牌了！
lmarena.ai（原lmsys.org）最新发布的聊天机器人擂台赛（Chatbot Arena）分析报告，为我们揭开了各大AI模型的真实实力。
这次报告可不是简单的排名比拼，而是深入剖析了用户提问类型、模型优劣势，甚至还有不同类别之间的相关性。
一起来看看这场AI擂台赛的精彩内幕！
用户提问趋势：技术类问题大幅增加
lmarena.ai的研究团队对用户提问进行了长期跟踪和分类。结果显示，技术类问题正在成为新宠。其中：
困难问题（Hard prompts）占比达到了约25%
编程相关（Coding）问题也高达20%左右
这个趋势告诉表明，越来越多的用户开始将AI大模型当作解决复杂技术问题的得力助手。
模型实力大比拼：各有所长
研究团队没有止步于overall排名，而是深入分析了各个模型在不同类别下的表现。
这种细分让我们对每个模型的优缺点有了更清晰的认识。
o1-mini：数学小能手
OpenAI的o1-mini模型展现出了惊人的数学能力：
强项：数学和困难问题
弱项：创意写作
看来o1-mini是个理科生啊，逻辑推理能力一流，但文学创作还需要加强！
Gemini-1.5-pro-002：文艺青年
Google的Gemini-1.5-pro-002则走了完全相反的路线：
强项：创意写作
弱项：编程
这位Gemini小哥哥似乎更擅长文字创作，但在代码世界里还有些力不从心。
类别相关性：技术vs创意的较量
研究团队还进行了一项有趣的分析：不同类别之间排名的相关性。
结果发现：
技术类别（编程、困难问题、数学）之间的相关性较高
创意写作与技术类别的相关性明显较低
整体排名介于创意写作和技术类别之间
这说明，擅长技术的模型不一定在创意方面出色，反之亦然。
看来AI世界也有文理分科啊！
深入了解更多
想要深入一探究竟？lmarena.ai提供了两个渠道：
详细博客文章：https://blog.lmarena.ai/blog/2024/arena-category/
提示示例展示：https://huggingface.co/spaces/lmarena-ai/arena-example
这次聊天机器人擂台赛的分析报告，让我们对AI大模型的能力有了更全面的认识。
它们不再是简单的"全能选手"，而是各有所长的"专业人才"。
你更喜欢哪种类型的AI助手呢？
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
