要点如下
刚刚, Mistral AI 发布了两款很强的小模型 Ministral 3B/8B,用于端侧。
官方表示,它最强(如果忽略比它强的):“Introducing the world’s best edge models”
3B:$0.04/1M,上下文等价8B:$0.1/1M,上下文等价
提供私有部署和无损量化支持
相关阅读:
来自官方的数据
对于 Pretrained Models,如下
小模型的比较,用表来说↑
小模型,用图来比较↑
对于 Instruct Models,如下
小模型的比较,用表来说↑
对于 3B 级别的小模型,用图来比较↑
对于 8B 级别的小模型,用图来比较↑
调用方法
可通过以下平台进行调用:
Azure AI
AWS Bedrock
Google Cloud Vertex AI Model Garden
Snowflake Cortex
IBM watsonx
并支持私有化部署,和无损量化(lossless quantization)
最后
Mistral 在发布信息页放了个图...
官方玩梗,最为致命...
以及
官方漏了 面壁小钢炮,以及 emma 9B,我帮着给补充下🐶