OpenAI o1 模型推理模式的比较研究｜大模型论文日报

学术 2024-10-21 17:17 北京

今日值得关注的大模型前沿论文

JudgeBench：用于评估“LLM 法官”的评测基准
DeepSeek 推出统一多模态理解、生成自回归框架 Janus
OpenAI o1 模型推理模式的比较研究
首个“任意对任意”的真实世界多模态评估基准
上交大团队推出 MobA：由多模态大语言模型驱动的新型移动智能体
‍

想要第一时间获取每日最新大模型热门论文？
点击阅读原文，查看“2024必读大模型论文”

ps：我们日常会分享日报、周报，后续每月也会出一期月报，敬请期待～

JudgeBench：用于评估“LLM 法官”的评测基准

基于 LLM 的法官已成为人类评估的一种可扩展的替代方法，并越来越多地被用于评估、比较和改进模型。然而，基于 LLM 的法官本身的可靠性却很少受到审查。随着 LLM 越来越先进，它们的回答也越来越复杂，需要更强的法官来评估它们。现有基准主要侧重于法官与人类偏好的一致性，往往无法解释更具挑战性的任务，因为在这些任务中，众包的人类偏好并不能很好地反映事实和逻辑的正确性。

为了解决这个问题，来自加州大学伯克利分校和圣路易斯华盛顿大学的研究团队提出了一个新颖的评估框架来客观地评估基于 LLM 的法官。在此框架基础上，他们提出了 JudgeBench，这是一个用于评估基于 LLM 的法官在知识、推理、数学和编码等方面的挑战性回答对的基准。

JudgeBench 利用新颖的管道将现有的困难数据集转换成具有挑战性的回答对，并使用反映客观正确性的偏好标签。他们对一系列提示法官、微调法官、多智能体法官和奖励模型进行了全面评估，结果表明 JudgeBench 比以前的基准测试提出了更大的挑战，许多强模型（如 GPT-4o）的表现仅略高于随机猜测。总体而言，JudgeBench 为评估日益先进的基于 LLM 的法官提供了一个可靠的平台。

论文链接：

https://arxiv.org/abs/2410.12784

GitHub 地址：

https://github.com/ScalerLab/JudgeBench

DeepSeek 推出统一多模态理解、生成自回归框架 Janus

来自 DeepSeek 和香港大学的研究团队提出了 Janus，一个统一多模态理解和生成的自回归框架。之前的研究通常依赖单一的视觉编码器来完成这两项任务，如 Chameleon。然而，由于多模态理解和生成所需的信息粒度不同，这种方法可能导致性能不理想，尤其是在多模态理解方面。

为了解决这个问题，他们将视觉编码解耦为不同的路径，同时仍然利用单一、统一的 Transformer 架构进行处理。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。例如，多模态理解和生成组件可以独立选择最合适的编码方法。

实验表明，Janus 超越了以往的统一模型，并达到或超过了特定任务模型的性能。Janus 的简单性、高度灵活性和有效性使其成为下一代统一多模态模型的有力候选者。

论文链接：

https://arxiv.org/abs/2410.13848

OpenAI o1 模型推理模式的比较研究

使大语言模型（LLM）能够处理更广泛的复杂任务（如编码、数学等）、编码、数学）引起了许多研究人员的极大关注。随着 LLM 的不断发展，仅仅增加模型参数的数量所带来的性能提升越来越小，计算成本也越来越高。最近，OpenAI 的 o1 模型表明，推理策略（即 Test-time 计算方法）也能显著增强 LLM 的推理能力。然而，这些方法背后的机制仍有待探索。

在这项工作中，来自 M-A-P 和中国科学院大学的团队及其合作者为研究 o1 的推理模式，以 OpenAI 的 GPT-4o 为骨干，在三个领域（即数学、编码、常识推理）的一般推理基准上比较了 o1 与现有的 Test-time 计算方法（BoN、Step-wise BoN、Agent Workflow 和 Self-Refine）。

具体来说，首先，他们的实验表明，o1 模型在大多数数据集上都取得了最佳性能。其次，对于搜索不同响应的方法（如 BoN），他们发现奖励模型的能力和搜索空间都限制了这些方法的上限。第三，对于将问题分解为多个子问题的方法，由于特定领域的系统提示可以规划出更好的推理过程，因此 Agent Workflow 比 Step-wise BoN 取得了更好的性能。第四，值得一提的是，他们总结了 o1 的六种推理模式，并对几个推理基准进行了详细分析。

论文链接：

https://arxiv.org/abs/2410.13639

首个“任意对任意”的真实世界多模态评估基准

感知和生成不同的模态对于人工智能模型有效地学习和接触真实世界的信号至关重要，因此需要可靠的评估来促进其发展。来自新加坡国立大学的研究团队及其合作者发现目前的评估存在两个主要问题：(1) 标准不一致，不同社区制定的协议和成熟度各不相同；(2) 存在严重的查询、分级和泛化偏差。

为了解决这些问题，他们提出了 MixEval-X，这是首个“任意对任意”的真实世界基准，旨在优化和标准化不同输入和输出模态的评估。他们提出了多模态基准混合和适应性校正管道，以重建真实世界的任务分布，确保评估有效地通用于真实世界的使用案例。

广泛的元评估表明，他们的方法能有效地将基准样本与真实世界的任务分布对齐。同时，MixEval-X 的模型排名与众包真实世界评估的排名密切相关（高达 0.98），而且效率更高。

论文链接：

https://arxiv.org/abs/2410.13754

上交大团队推出 MobA：由多模态大语言模型驱动的新型移动智能体

当前的移动助手受限于对系统 API 的依赖，或因理解和决策能力有限而难以应对复杂的用户指令和多样化的界面。为了应对这些挑战，上海交通大学团队提出了 MobA，一种由多模态大语言模型驱动的新型移动智能体，通过复杂的两级智能体架构增强理解和规划能力。

高级全局智能体（GA）负责理解用户指令、跟踪历史记忆和规划任务。低级局部智能体（LA）在子任务和来自 GA 的记忆的指导下，以函数调用的形式预测详细行动。集成反思模块可以高效地完成任务，并使系统能够处理以前从未见过的复杂任务。在实际评估中，MobA 在任务执行效率和完成率方面都有显著提高，这突出表明了由 MLLM 驱动的移动助手的潜力。

论文链接：

https://arxiv.org/abs/2410.13757

点击「阅读原文」，查看“2024必读大模型论文”

http://mp.weixin.qq.com/s?__biz=Mzg4MDE3OTA5NA==&mid=2247592513&idx=1&sn=fd259601e32d551dbc2ca9c50e7f2088

学术头条

致力于学术传播和科学普及，重点关注AI4Science/大模型等前沿科学进展。

深度访谈｜AI 如何改变预测科学？看看统计学家怎么说

AI斩获6枚金牌！华为Kaggle大师级智能体诞生，自主解决数据科学难题

OpenAI官方指南：12条实用建议，手把手教学生用ChatGPT写作

Stability AI出官方教程了，带你轻松玩转Stable Diffusion 3.5

哈佛、MIT提出「精度感知」Scaling Laws；首个金融LLM综合双语基准｜大模型日报

OpenAI首位投资者《时代》刊文：AI将重新定义「人类的意义」

华为科学智能体 Agent K v1.0已达 Kaggle 大师水平；Meta团队提出自一致性偏好优化ScPO｜大模型日报

终于，AlphaFold3 开源了！代码免费下载，可用于非商业用途

OpenAI大改下代大模型方向，scaling law撞墙？AI社区炸锅了

清华、国科大、智谱团队提出LongReward：利用AI反馈改进长文本大语言模型

创纪录！首幅人形机器人绘制作品拍出108万美元；王慧文回归美团，带队探索AI应用｜一周热门

智谱「新清影」是怎样炼成的？CogVideoX+CogSound 技术详解

AI 的「phone use」竟是这样练成的，清华、智谱团队发布 AutoGLM 技术报告

清华、北大团队推出「安卓智能体」训练评估新框架 AndroidLab

Nature重磅：AI化学家再升级！大幅提升实验效率，推动化学合成进入“智能化”新阶段

研究实锤：别让大模型「想」太多，OpenAI o1准确率竟下降36.3%

清华、北大团队推出「安卓智能体」训练评估框架AndroidLab；Meta提出视频生成加速方法AdaCache｜大模型日报

科研人神器！接入5000万篇正版文献，知乎直答「专业搜索」太能打了

Meta 推出全新视频扩散模型 MarDini；周靖人团队：扩散 Transformer 的上下文 LoRA｜大模型日报

NeurIPS 2024｜清华、加州理工重磅研究：强化自训练方法 ReST-MCTS*，让大模型持续“升级”

港大打造 LightRAG：让大模型 RAG 高效又便宜

深夜重磅！ChatGPT可以“AI搜索”了，但并不完美

OpenAI最新研究：「打假高手」大模型事实性基准SimpleQA来了，已开源

小语言模型SLM综述｜大模型论文日报

大模型已过时、小模型SLM才是未来？苹果正在研究这个

超出人类思维的「系统0」：AI正在创造一种新的思维方式吗？

中国AI大模型出海，如何应对美国管制？最新报告给出了5个建议｜附下载链接

Nature封面：“揭穿”一切！Google DeepMind为AI大模型添加了“隐形指纹”

困扰18亿人的“全球干旱”，被AI更准确预测了

OpenAI又有高管走了，还发了篇长文

前OpenAI研究员：我必须离开；a16z创始合伙人：当前AI发展就像“卖大米”｜一周热门

刚刚，智谱推出情感语音模型 GLM-4-Voice，懂你的情绪，人人可用

不止 computer use，AI 的「phone use」也来了

今天，把电脑交给大模型

清华、腾讯团队提出预训练语言模型知识蒸馏框架 MiniPLM｜大模型论文日报

来了！Stability AI 推出 Stable Diffusion 3.5

深夜重磅！Anthropic 推出 Claude 3.5 Sonnet 升级版和 Claude 3.5 Haiku

刚刚，OpenAI最强竞对官宣：大模型可以使用电脑了

DeepMind创始人最新访谈：今年的诺贝尔奖，就像是AI的分水岭

微软提出新型注意力机制SeerAttention；清华、智谱团队提出“预训练蒸馏”｜大模型日报

OpenAI o1 模型推理模式的比较研究｜大模型论文日报

哈佛重磅突破！AI确定17000多种疾病候选药物，罕见病“孤儿药”不再遥远？

132年未解开的李雅普诺夫函数谜题，被Symbolic Transformer攻克了

Meta被斥：他们污染了“开源”一词；李开复：零一万物绝不放弃预训练模型｜一周热门

“AI调解员”登上Science！Google DeepMind打造，“劝架”水平远超人类

Meta提出思维偏好优化TPO；谷歌推出可穿戴基础模型LSM｜大模型论文日报

美国FDA：警惕AI大模型带来的未知问题，亟需监管创新

3B 超越 7B，Mistral AI 推出端侧模型 Ministral 3B 和 8B

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉