首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

Mistral AI两连发：7B数学推理专用、Mamba2架构代码大模型

文化 2024-07-19 08:14 中国

机器之心报道

机器之心编辑部

网友很好奇，Mathstral能不能搞定「9.11和9.9谁大」这一问题。

昨天，AI圈竟然被「9.11和9.9谁大」这样简单的问题攻陷了，包括OpenAI GPT-4o、Google Gemini等在内的大语言模型都翻了车。

这让我们看到，大语言模型在处理一些数字问题时并不能像人类那样理解并给出正确的答案。

对于数字以及复杂的数学问题，专用模型更术业有专攻。

今天，法国大模型独角兽 Mistral AI 发布了一个专注于数学推理和科学发现的7B大模型「Mathstral」，来解决需要复杂、多步骤逻辑推理的高级数学问题。

该模型基于 Mistral 7B 构建，支持的上下文窗口长度为32k，遵循的开源协议为Apache 2.0 license。

Mathstral在构建时追求出色的性能与速度权衡，这是 Mistral AI积极推广的一种开发理念，尤其是微调功能。

同时，Mathstral是一个指令型模型，可以使用它或者对它进行微调。模型权重已经放在了HuggingFace上。

模型权重：https://huggingface.co/mistralai/mathstral-7B-v0.1

下图为 Mathstral 7B和Mistral 7B之间的MMLU性能差异（按学科划分）。

Mathstral在各种行业标准基准上都达到其规模范围内的 SOTA 推理性能。尤其是在MATH数据集上，它取得了 56.6%的通过率，在MMLU上取得了63.47%的通过率。

同时，Mathstral在MATH上的通过率（56.6%）比 Minerva 540B 高出 20% 以上。此外，Mathstral 在MATH 上以多数投票@64的成绩得分为68.4%，使用奖励模型的成绩为 74.6%。

这一成绩也让网友好奇，Mathstral能不能搞定「9.11和9.9谁大」这一问题。

代码大模型：Codestral Mamba

模型权重：https://huggingface.co/mistralai/mamba-codestral-7B-v0.1

与Mathstral 7B一同发布的，还有一款专门用于代码生成的Codestral Mamba模型，使用的是Mamba2架构，同样遵循Apache 2.0 license开源协议。这是一个指导模型，有70多亿参数，研究者可以免费使用、修改和分发。

值得一提的是，Codestral Mamba是在Mamba作者Albert Gu、Tri Dao帮助下设计完成的。

一直以来，Transformer 架构撑起了AI领域的半壁江山，然而，与 Transformer 不同的是，Mamba 模型具有线性时间推理优势，并且理论上能够对无限长度的序列进行建模。该架构允许用户广泛地与模型互动，并且响应迅速，而不受输入长度的限制。这种效率对于代码生成尤其重要。

在基准测试中，Codestral Mamba 在 HumanEval 测试中的表现优于竞争对手开源模型 CodeLlama 7B、CodeGemma-1.17B 和 DeepSeek。

Mistral 测试了该模型，该模型可以在 Mistral 的 la Plateforme API 上免费使用，可处理多达 256,000 个token的输入——是 OpenAI 的 GPT-4o 的两倍。

随着Codestral Mamba发布，就有网友在 VSCode中用起来了，很是丝滑。

参考链接：

https://mistral.ai/news/mathstral/

https://mistral.ai/news/codestral-mamba/

干货直达👇

数学建模之路

分享数学建模相关的学习教程、软件资源、视频课程、经验分享、通知文件等。涵盖大数据、Python、数据挖掘、人工智能、互联网前沿、计算机相关知识。期待与大家共同学习，共同进步！

最新文章

送给各学科老师的新春对联，快贴起来！

CS本科就业寒冬来袭！名校24届就业率被曝不足50%，企业宁用AI不招应届生

人类最后一次考试，AI惨败正确率＜10%！数百顶级专家联手出题，DeepSeek竟是王者

1964年，一个知青在看钱学森的论文时，发现方程推导错了

关于举办第五届全国数学建模微课程（案例）教学竞赛的通知

斯坦福打脸大模型数学水平：题干一改就集体降智，强如o1也失准，能力涌现怕不是检索题库

史上最全建模国赛论文集(1992-2024)

一法破万法，未出版就被周鸿祎等多位大佬推荐的爆款书新鲜出炉了....

清华大学刘知远团队新作，未出版就爆火，28位AI天才们的热血传奇，比番剧更燃！

AI风暴席卷达摩院青橙奖，六成获奖者用AI搞科研，平均年龄34岁

GPT-4o数学能力跑分直掉50%，上海AI Lab开始给大模型重新出题了

悼念！清华大学计算机教授、《数据结构》编著者严蔚敏去世，享年 86 岁

数字比你想得更复杂——一文带你了解大模型数字处理能力的方方面面

o1 pro挑战美国本科生最难数学竞赛，30分钟交卷却被「大佬」现场打脸！

困扰数学家近60年的搬沙发难题疑似被解决！119页论文证明最优解，百万网友围观

陶哲轩对谈OpenAI高管：AI也能做数据稀疏推理，“也许很快OpenAI就能证明陶哲轩是错的”

《我的世界》搞数学研究，估算欧拉数误差仅0.00766%！数学博士的跨界花活儿火了

微软：两个AI相互纠错，数学再涨5分

AI做数学学会「动脑子」！ UCL等发现LLM「程序性知识」，推理绝不是背答案

“华为杯”第二十一届中国研究生数学建模竞赛获奖名单公布

陶哲轩联手60多位数学家出题，世界顶尖模型通过率仅2%！专家级数学基准，让AI再苦战数年

【终稿】2024高教社杯全国大学生数学建模竞赛获奖名单

美国高中女生因数学竞赛，发现勾股定理新证明！论文已发《美国数学月刊》

UCLA、MIT数学家推翻39年经典数学猜想！AI证明卡在99.99%，人类最终证伪

2024全国大学生数学建模竞赛评阅要点无水印版，ABCDE集齐了，附成绩公布时间

“华为杯”第二十一届中国研究生数学建模竞赛开赛公告

“华为杯”第二十一届中国研究生数学建模竞赛开启倒计时！

全国大学生数学建模竞赛赛题评阅要点及成绩公布时间

全国大学生数学建模竞赛全国奖项评阅工作规范

2024年数学建模国赛十大热点问题全解答，忽视这几点，好多学生成绩被降级！

100个红绿球，让2万人集体翻车！数学家「罐中难题」引爆全网讨论

豆瓣9.6，多语言版本全球发行，这本书为啥这么受欢迎？

2024年高教社杯全国大学生数学建模竞赛使用手册发布！！！

全国大学生数学建模竞赛论文格式规范（2023年修订稿）

全国大学生数学建模竞赛章程(2023年修订稿)

10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了，主要作者全靠自学成才

百万在线，大圣归来！《黑神话：悟空》石破天惊，RTX 4090D飞越花果山

豆瓣9.5，陶哲轩最经典专业数学著作，徒手搭建起数学大厦！读者盛赞“连附录A都写得这么精彩”

史上最全研究生数学建模竞赛论文集(2004-2023)

浅议AI时代的数学建模

Mistral AI两连发：7B数学推理专用、Mamba2架构代码大模型

一枚「弃子」打破80年黎曼猜想纪录！菲尔兹奖得主MIT大拿联手，陶哲轩转赞

陶哲轩点破「天机」：不懂数学别想靠ChatGPT飞升！

2024阿贝尔奖得主致年轻数学家：你们选择了绝对正确且完美的领域

北大千问团队推出数学专用版CriticGPT，“找茬”让大模型进步更快

当地回应涉姜萍问题：月考成绩截图属实，预赛借的电脑

2024阿里巴巴全球数学竞赛决赛通知

AI将是数学家的得力助手，陶哲轩谈AI在证明过程中的潜力

2024阿里巴巴全球数学竞赛决赛入围名单

新架构Mamba更新二代！作者：别争了，数学上Transformer和SSM是一回事

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉