今天被这个国产大模型 DeepSeek-V3
刷屏了,这个全新自研的 DeepSeek-V3
在推理速度上相较历史模型有了大幅提升。在所有的开源大模型中位列榜首,与当今最先进的闭源模型 Claude-3.5-Sonnet、GPT-4o 相比也不分伯仲
全新自研 MoE 模型 DeepSeek-V3(671B 参数,激活 37B)正式发布,支持对话功能及 API 服务,无需接口调整。 当前版本不支持多模态输入输出。
性能表现
在多项评测中超越 Qwen2.5-72B 和 Llama-3.1-405B,与 GPT-4o、Claude-3.5-Sonnet 等顶尖闭源模型性能相近。
具体领域表现:
百科知识:在知识任务中显著优于前代,接近最佳表现模型。 长文本:在 DROP、FRAMES 和 LongBench v2 上表现领先。 代码: 算法类代码场景远超现有模型。 工程类代码逼近 Claude-3.5-Sonnet。 数学: 在 美国数学竞赛(AIME 2024, MATH) 和 全国高中数学联赛(CNMO 2024) 中表现大幅领先。 中文能力: 在 C-Eval 等教育类测评中表现优异。 在 C-SimpleQA 测评中超越 Qwen2.5-72B。
生成速度提升
吐字速度由 20 TPS 提升至 60 TPS,为用户提供更流畅的体验。
API 服务价格与优惠
新价格:
每百万输入 tokens 0.5 元(缓存命中) / 2 元(缓存未命中)。 每百万输出 tokens 8 元。 优惠期:
输入 0.1 元(缓存命中) / 1 元(缓存未命中)。 输出 2 元。 至 2025 年 2 月 8 日,价格为:
5. 开源权重与本地部署支持
提供原生 FP8 权重及 FP8 至 BF16 的转换脚本。
工具支持:
SGLang 和 LMDeploy 支持原生 FP8 推理。 TensorRT-LLM 和 MindIE 支持 BF16 推理。
总结
DeepSeek-V3 以领先性能和开源特性吸引关注,同时优化生成速度、调整价格策略,为用户带来高效、灵活的使用体验。
参考
https://huggingface.co/deepseek-ai/DeepSeek-V3-Base https://www.deepseek.com/
期文章推荐
扫描以下二维码加小编微信,备注 “ai”,一起交流 AI 技术!