GPT-4o迷你版 发布,比 3.5 更便宜,但有计费 Bug

科技   2024-07-19 02:08   广东  

在这篇公众号发出的时候

GPT-4o mini 发布了


性能上,比 GPT4-0125 更好

(基于 LMSYS 竞技场信息)

GPT-4o mini 优于 GPT4-0125


价格上,比 3.5 还便宜 60%

4o mini 输入:$0.15

4o mini 输出:$0.6


堪称不讲武德


目前,GPT-4o mini 以 API 的方式发布

支持图片和文字,最长 128k

后续也会支持支持视频和音频


训练截数据截止到 2023 年 10 月

并对非英文更加友好


标准化测试


推理任务:GPT-4o mini 在涉及文本和视觉的推理任务中优于其他小型模型,在 MMLU 上得分为 82.0%,而 Gemini Flash 为 77.9%,Claude Haiku 为 73.8%。 


数学和编码能力:GPT-4o mini 在数学推理和编码任务方面表现出色,超过了市场上先前的小型模型。在衡量数学推理的 MGSM 上,GPT-4o mini 得分为 87.0%,而 Gemini Flash 为 75.5%,Claude Haiku 为 71.7%。在衡量编码性能的 HumanEval 上,GPT-4o mini 得分为 87.2%,而 Gemini Flash 为 71.5%,Claude Haiku 为 75.9%。 


多模态推理:GPT-4o mini 在多模态推理评估 MMMU 上也表现出色,得分为 59.4%,而 Gemini Flash 得分为 56.1%,Claude Haiku 得分为 50.2%。


上手(对比4o)

结论:和4o差不多,但便宜很多!
只有 4o 3%的价格





以及:4o-mini 有个恶性 bug


仔细看我最后一张图
token 计算有误,凭空多了 2 万个 token

对此我调试了下代码,能看到 token 多了不少
确实,在多模态模式下
有严重的计费 BUG
不确定会不会真的计入账单
(已同步反馈给 OpenAI 的朋友了)

赛博禅心
拜AI古佛,修赛博禅心
 最新文章