阿里国际AI团队最新开源！探索面向开放性问题的推理模型 Marco-o1

2024-11-27 14:57 上海

Marco-o1：开启开放性问题推理的新篇章

在人工智能的领域，推理能力已成为衡量模型智能水平的重要指标。随着 阿里巴巴国际数字商业团队 的最新发布，Marco-o1 模型正式亮相。这款创新的推理模型不仅关注于具有标准答案的学科（如编程、数学等），而且致力于处理复杂的开放性问题，开启了AI推理的新纪元。

传统的大语言模型（LLM）通常擅长处理标准化问题，例如数学运算和编程题目，但对于那些没有标准答案或无法量化奖励的开放性问题，这些模型往往难以应对。Marco-o1 的目标就是打破这一局限，它希望能够扩展推理能力，解决更加复杂且具有挑战性的开放性问题。这一突破性的尝试使得 Marco-o1 不仅能应对简单任务，还能够逐步向更高阶的推理能力迈进。

Marco-o1 借鉴了多项创新技术，尤其是在 Chain-of-Thought（CoT） 微调、蒙特卡罗树搜索（MCTS） 以及 反思机制 等方面，力求为AI带来更深度的推理能力。

技术亮点：核心优势

1. 超长CoT数据微调

Marco-o1 模型使用了通过 self-play 和 MCTS（蒙特卡罗树搜索）技术构建的 超长CoT数据 进行微调。这些数据不仅包含了结构化的推理链条，还具备反思与纠错的能力，让模型在复杂问题处理时具备了“思考”与“自我改正”的能力。通过这种创新的训练方法，Marco-o1 在面对需要多步推理和自我验证的问题时，能够提供更加精确的答案。

2. MCTS扩展解空间

为了进一步提升推理能力，Marco-o1 将 蒙特卡罗树搜索（MCTS） 融入模型训练中。MCTS 通过根据模型输出的置信度引导搜索，帮助模型探索多条推理路径，最终达到最优解。通过这种方式，Marco-o1 不仅能提升推理准确性，还能够应对更加复杂的推理场景，探索那些传统方法无法覆盖的解空间。

3. 细粒度解空间扩展：mini-Step

虽然传统的 Step 级别的搜索能够有效推动模型推理，但由于其粒度较大，常常会导致解空间不够细化。Marco-o1 进一步引入了 mini-Step 的细粒度搜索，将推理过程拆解为 32-token 或 64-token 的小单元，从而扩展了解空间。这一优化让模型在处理复杂推理时，可以更细致地探索每个推理步骤，提高了模型的灵活性和准确性。

4. 创新应用于机器翻译

Marco-o1 的另一个创新点是首次将大型推理模型（LRM）应用于机器翻译任务，特别是针对一些长难句的翻译。传统翻译系统常常无法准确翻译一些带有地域特色的表达，如中文中的“踩屎感”和“光腿神器”。Marco-o1 在这方面展现了其强大的推理能力，通过引入 推理链，不仅成功翻译了这些难点，还有效避免了漏翻现象。

实验结果：推理能力的飞跃

在实际测试中，Marco-o1 的表现令人惊叹。基于 Qwen2-7B-Instruct 模型，经过精心设计的数据集微调，Marco-o1 在多个标准数据集上取得了显著的提升：

在 MGSM 英文数据集 上，准确率提升了 6.17%；

在 MGSM 中文数据集 上，准确率提升了 5.60%。

特别是在 机器翻译任务 中，Marco-o1 不仅能够应对复杂句式的翻译，还能精准捕捉语言中的文化细节与语境，处理如“踩屎感”这类俚语翻译时尤为出色。

模型下载

OpenCSG社区：https://opencsg.com/models/AIDC-AI/Marco-o1

欢迎加入OpenCSG社区

•贡献代码，与我们一同共建更好的OpenCSG

•Github主页

欢迎🌟：https://github.com/OpenCSGs

•Huggingface主页

欢迎下载:https://huggingface.co/opencsg

•加入我们的用户交流群，分享经验

扫描上方二维码添加传神小助手

“ 关于OpenCSG

开放传神（OpenCSG）成立于2023年，是一家致力于大模型生态社区建设，汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。

关注OpenCSG

加入传神社区

OpenCSG社区

该账号是开放传神（OpenCSG）分享大模型的技术、见解、传神开放社区等方面的内容！

最新文章

CSGHub开源版本v1.2.0更新

DeepSeek V2.5正式发布：支持联网搜索，表现全面提升

论文中心｜第33期人工智能领域论文推荐

Meetup回顾 | AI赋能下的开发流程蜕变

Qwen2-VL-72B重磅开源：跨越视觉与语言的新时代 AI 里程碑

Meta重磅开源Llama 3.3-70B：性能大幅提升，成本大幅降低

倒计时2天！ OpenCSG&JetBrains 上海站 Meetup：AI赋能下的开发流程蜕变圆桌议题公布

Hunyuan-Video：腾讯开源高质量中文通用视频生成模型

论文中心｜第32期人工智能领域论文推荐

OpenCSG&JetBrains 上海站 Meetup | AI赋能下的开发流程蜕变

OpenCSG月度更新2024.11

Qwen开源QwQ-32B-Preview：从自省到突破，解锁AI推理的无限可能

阿里国际AI团队最新开源！探索面向开放性问题的推理模型 Marco-o1

强推理模型书生InternThinker开放体验：自主生成高智力密度数据、具备元动作思考能力｜通专融合探索新进展

最快的视频生成模型来了！LTX-Video 重磅发布，开源+RTX 4090 即可跑

Meetup回顾 | 大模型全生命周期管理与AI应用的全栈可观测性

司南 OpenCompass 11月大语言模型评测即将启动，欢迎新合作厂商申请评测！

论文中心｜第31期人工智能领域论文推荐

超越GPT-4o的开源巅峰！Pixtral Large多模态模型重磅登场

RMBG 2.0 ：让图片抠图更简单，史上最强开源背景移除模型

OpenCoder：开源代码大模型，推动编程AI的未来

CodeSouler v1.11.0 版本更新

倒计时2天！大模型全生命周期管理与AI应用的全栈可观测性圆桌议题公布

CSGHub All-in-One Docker 快速部署

重磅揭秘！Auto CSGHub内测视频曝光 | 国产版 HuggingFace+ 引领智能化升级

算力补贴累计超亿元！模速空间“浓缩”上海大模型产业链

报名开始｜《大模型全生命周期管理与AI应用的全栈可观测性》上海站

微软OmniParser：一切皆文档，OCR驱动智能操作

从文本到动态视频：Allegro模型让创意更轻松

传神论文中心｜第30期人工智能领域论文推荐

超快速，高性能！Meta发布移动端MobileLLM

DataFlow v202410 版本更新一站式数据处理平台

OpenCSG与传神社区的创新瞬间

OpenCSG传神社区月度功能更新

突破语言壁垒：Cohere 发布多语言大模型 Aya Expanse

Stable Diffusion 3.5震撼发布：三大版本满足多层次AI图像生成需求

OpenCSG携手书生·浦语：InternLM2.5-20B-Chat 正式上线，共建AI未来新生态

课程升级、资源加码！万人共学的书生大模型实战营第4期正式起航！

无需依赖闭源模型！司南CompassJudger为AI评测带来新选择

CSGHub SaaS快速入门指南

Mochi 1视频生成模型亮相：动作流畅，开放源代码

课程升级、资源加码！万人共学的书生大模型实战营第4期正式起航！

传神论文中心｜第29期人工智能领域论文推荐

重磅升级 | OpenCSG开源中文版fineweb edu v2数据集

英伟达推出Nemotron-70B：强大开源语言模型，基准测试中全面领先！

直播预告｜未来视界：多模态AI的创新与挑战

苹果开源Depth Pro：0.3秒实现从2D图像到3D深度图的革命性突破

传神论文中心｜第28期人工智能领域论文推荐

2B参数搞定高质量视频！北大&快手携手打造Pyramid Flow

直播预告｜当A股疯涨挑战经典金额理论，大模型能否作为一个“理性投资人”？

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉