今日凌晨，Mistral AI 推出了他们最新一代端侧模型 les Ministraux：Ministral 3B 和 Ministral 8B，这是两款用于端侧计算和边缘用例的 SOTA 模型。
据介绍，les Ministraux 在知识、常识、推理、函数调用和效率方面达到了 10B 以下同类模型的新高度，可直接用于或微调为各种用途，从协调智能体工作流到创建专业任务工作者。
两种模型都支持高达 128k 的上下文长度（vLLM 目前为 32k），Ministral 8B 具有一种特殊的交错滑动窗口注意力机制（SWA），可加快推理速度并提高内存效率。
使用案例
目前，为端侧翻译、无互联网智能助手、本地分析和自主机器人等关键应用提供本地、隐私优先推理的需求越发强烈。
Mistral AI 方面表示，Les Ministraux 就是为这些应用场景提供计算效率高、延迟低的解决方案而设计的。从独立业余爱好者到全球制造团队，Les Ministraux 可满足各种使用情况。与 Mistral Large 等大语言模型（LLM）结合使用时，Les Ministraux 还是多步骤智能体工作流中函数调用的高效中介。可以对它们进行微调，以处理输入解析、任务路由和根据用户意图在多种上下文中以极低的延迟和成本调用 API。
Benchmark
Mistral AI 在多个任务中展示了 les Ministraux 的性能，其表现始终优于同类产品。他们利用内部框架重新评估了所有模型，以便进行公平比较。
1.预训练模型
图｜Ministral 3B 和 8B 模型与 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 和 Mistral 7B 在多个类别上的比较
图 | Ministral 3B 和 8B base 模型与 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 和 Mistral 7B 的比较
2.Instruct 模型
图｜Ministral 3B 和 8B Instruct 模型与 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B、Gemma 2 9B 和 Mistral 7B 在不同评估类别上进行了比较
图｜3B 系列 Instruct 模型的比较 - Gemma 2 2B、Llama 3.2 3B 和 Ministral 3B。图中展示了 Ministral 3B 与更大的 Mistral 7B 相比的改进之处。
图｜8B 系列 Instruct 模型对比 - Gemma 2 9B、Llama 3.1 8B、Mistral 7B 和 Ministral 8B
此次 les Ministraux 的推迟，恰好为 Mistral 7B 发布一周年之际。Mistral AI 表示，“我们目前最小的模型（Ministral 3B）已经在大多数基准测试中超越了 Mistral 7B”，“更多模型，敬请期待。”
