仅仅一天，Gemini就夺回了GPT-4o拿走的头名

科技 2024-11-23 00:02 北京

来源 | 机器之心

一周前，谷歌的 Gemini-Exp-1114 模型取代 GPT-4o，坐上了 Arena 榜单的头把交椅。

对于苦苦追赶 OpenAI 几个月的谷歌来说，这次在基准测试上的胜利十分振奋人心。

可惜振奋的时间不长：昨天，GPT-4o 一个更新，把第一名的位置抢回来了。

奥特曼庆功的话音刚落，Gemini-Exp-1121 杀出来，又把第一名抢走了。

谷歌工程师还顺带嘲讽了一波：

位次的变化实在太快，让人有点恍惚了。难道接下来，大模型迭代要以「周」为单位了吗？

狂卷基准测试，真有意义吗？

有人猜测，莫非这就是谷歌逐渐过渡到 Gemini 2 的发布方式？但这种可能性不大，因为最近的两个模型版本都还达不到「次世代」的水准。再加上又有传言，各家在训练阶段的 Scaling Law 上都遇到了一些瓶颈，提升模型能力的希望更多转向了后训练阶段。我们最终看到的下一代大模型，或许和目前的技术路线大不相同。

目前，Gemini-Exp-1114 和 Gemini-Exp-1121 在 Google AI Studio 上均为可用状态：

从官方发布的介绍来看，Gemini-Exp-1114 的亮点主要在于质量改进，而最新的 Gemini-Exp-1121 重点改进了编码、推理和视觉能力。

这场争夺战的出现，却引出了另外一个角度的话题：当前的人工智能基准测试方法可能大大简化了模型评估。

就比如一周前，当研究人员控制了响应格式和长度等表面因素时，Gemini-Exp-1114 的表现下降到第四位，因为传统指标可能会夸大感知能力。

这种差异揭示了人工智能评估中的一个根本问题：模型可以通过优化表面特征而不是展示推理或可靠性的真正改进来获得高分。对定量基准的关注引发了一场争夺更高分数的竞赛，行业对排行榜的依赖也会催生一些不良激励方式，而这些都无关于人工智能的真正进步。

各个厂商针对特定测试场景优化模型，同时可能忽略安全性、可靠性和实用性等更广泛的问题。这种方法产生的 AI 系统擅长完成狭隘的预定任务，但在处理细微的现实世界互动时却举步维艰。

比如有人就发现在 LiveBench 上，一周后更新的 Gemini-Exp-1121 版本，在数学和推理能力上反而比不上 Gemini-Exp-1114，令人疑惑。

厂商之间为获得更高的基准分数而展开的竞争并不会停止，但真正的竞争可能在于如何开发全新的框架来评估和确保人工智能系统的安全性和可靠性。

OpenAI 考虑用浏览器挑战谷歌霸主地位

谷歌和 OpenAI 不仅在大模型领域有点针锋相对，在浏览器方面，OpenAI 正在加紧追赶。

当谷歌 Chrome 浏览器深陷反垄断之际，OpenAI 出手了。

据《Information》周四报道，OpenAI 最近考虑开发一款可与其 ChatGPT 聊天机器人集成的 web 浏览器，并推出了 NLWeb（Natural Language Web）搜索技术，以增强对旅游、食品、房地产和零售等行业的搜索。

报道还称，OpenAI 已与 Conde Nast、Redfin、Eventbrite 和 Priceline 等网站和应用程序开发商讨论过这款搜索产品。

据知情人士透漏，为了达到这一目标，OpenAI 聘请了谷歌 Chrome 团队创始成员 Ben Goodger 以及其他前 Chrome 关键开发人员进行研发，展现了 OpenAI 对开发浏览器浓厚的兴趣。

领英资料显示，此前 Ben Goodger 是 Chrome 团队的创始成员，今年 6 月加入 OpenAI

这一系列举措可能会让 OpenAI 与占据浏览器和搜索市场最大份额的谷歌展开竞争。此前，OpenAI 已经通过 SearchGPT 进入搜索市场。

报道还称，OpenAI 讨论了为三星制造的设备提供人工智能功能，而三星是谷歌的主要商业合作伙伴。

此前，OpenAI 已经与苹果建立了合作伙伴关系，Apple Intelligence 功能现已使用 OpenAI 的技术。

不过，目前尚不清楚 OpenAI 何时会推出浏览器，《Information》报道称，OpenAI 距离推出浏览器还差得很远。

如今看来，谷歌不仅面临来自 OpenAI 的压力，在美国司法部认为谷歌应该出售其 Chrome 浏览器以结束其在在线搜索领域的垄断地位后，谷歌在浏览器市场的主导地位变得岌岌可危。

如果 OpenAI 成功推出新的浏览器，它将成为谷歌最大的竞争对手。

吃瓜网友们也是纷纷看好 OpenAI，表示道「OpenAI 是非常有潜力开发出一款非常棒的浏览器的，因为他们现在已经有了搜索功能。」

不过也有网友并不看好：「就我个人而言，浏览器对我已经没什么用了，因为我现在只需向聊天机器人提问，就能立即得到答案，而且无需广告或尝试多个页面。」

还有人用一个故事表达了自己的观点：「Nicholas Negroponte 曾经讨论过超级计算机的应用，并讲述了一个关于他们展示科学计算器应用的故事。所有的投资者都非常生气 ——『我们花费了数百万美元，而你们所做的只是重新创建了计算器？我们已经有计算器了！』如果 OpenAI 开发一款浏览器，我认为可能会发生同样的事情。」

我们暂且不管 OpenAI 何时推出浏览器，单就最近几天这两家机构在模型更新速度上，就已经相当激烈了，OpenAI 正面刚谷歌还会继续。

参考链接：

https://www.theinformation.com/articles/openai-considers-taking-on-google-with-browser

https://x.com/btibor91/status/1859716045004734739

http://mp.weixin.qq.com/s?__biz=MzIxNDgzNDg3NQ==&mid=2247550948&idx=5&sn=aae9a1f2f98819075cdb43df2fa15c96

深度学习与NLP

专注深度学习、NLP相关技术、资讯，追求纯粹的技术，享受学习、分享的快乐。

最新文章

离谱！裁员裁出新高度了。。

斯坦福大学教授李飞飞团队：关于 2024 年人工智能发展报告总结

多模态大模型技术点总结

中科院院士：青年科学家 5 年内拿不出成果就面临淘汰，有的单位已现「马太」效应，重复给某一人奖励

[送5本]《科技论文写作指南》理工科学生福音

o1圈杀疯了，阿里又开源Marco-o1

吴恩达力荐，100%好评-《LangChain大型语言模型(LLM)应用开发》免费分享

这才是真・开源模型！公开「后训练」一切，性能超越Llama 3.1 Instruct

新一轮高校裁员潮，来了！

[送5本]《动手学自然语言处理》大模型改变了NLP的游戏规则了吗

LLM逻辑推演策略选择：推理时计算 vs 训练时计算

仅仅一天，Gemini就夺回了GPT-4o拿走的头名

教育部公布！25考研人数，再降50万！

大模型代肝，自动刷《崩铁》升级材料，Claude操纵计算机还能这么用！

一篇小型语言模型技术最新全面综述

M3DocRAG：文档问答用哪个多模态大模型效果最好？

已公示！“东方理工大学”，来了

聊一聊做角色扮演大模型的经验

绝对顶流！清华博导倾力编写的《图神经网络导论》pdf免费分享

最高9.0分！这16篇最高分ICLR2025论文必看！从生成模型到MOE等

ICLR 高分：深入研究多模态大模型的对齐策略

谷歌大佬编写，我唯一熬夜看完的机器学习神作pdf分享！

双非二战字节算法岗，拿下70k offer.....

猫猫运动方程，首次被物理学家破解！ |《美国物理学杂志》正经研究

o1的风又吹到多模态，直接吹翻了GPT-4o-mini

谷歌大佬编写，我唯一熬夜看完的机器学习神作pdf分享！

微调图像大模型的经验分享

昨夜， LLM 已经彻底凉凉了...

Karpathy后悔了：2015年就看到了语言模型的潜力，却搞了多年强化学习

微软开源角色Agents，直接模拟了整个世界~

2024最新神书-《大模型应用程序构建指南》免费pdf分享

2024最新,李宏毅深度学习教程pdf免费分享！绝对值得反复阅读的神书！

已注销！985新校区，不建了

RAG黑盒被打开了，可视化RAGViz闪亮全场

LLM性能优化中的一些概念扫盲

Nature:「人类亲吻难题」彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具

Cursor一不小心把自家的底牌也放出来了~

[送5本]《动手学机器学习》上海交大ACM班总教头团队重磅新作，带你动手学机器学习！

传说中Ilya Sutskever精选论文清单：AI领域40大论文完整版「破解」完成

神书《从零构建大模型》分享，尚未发布，GitHub标星22k！！

LLM性能优化中的一些概念扫盲

暴跌94%，裁员9600人。。。

[送5本]《大语言模型：原理、应用与优化》大模型未来发展方向大揭秘！

多个中国团队斩获EMNLP'24最佳论文！UCLA华人学者中三篇杰出论文，明年顶会落户苏州

DRL2022新书-《深度强化学习》免费pdf分享

陶哲轩：计算机通用方法，往往比深奥的纯数学更能解决问题

中央批准：中央候补委员、教育部副部长，任C9大学书记

谷歌2024博士奖学金公布，KAN作者刘子鸣等数十位年轻华人学者入选

上交2024最新-《动手学大模型》实战教程及ppt分享！

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉