自 DeepSeek-V2.5 于9月6日正式发布,新一代模型 DeepSeek-V3 又于 12 月 26 日上线并同步开源,迭代速速杠杠的快。
DeepSeek-V3 是一个强大的 Mixture-of-Experts (MoE) 语言模型,拥有 671B 总参数,其中每个token激活 37B 参数,在 14.8万亿 token上进行了预训练。
相比 V2.5 版本,DeepSeek-V3 的生成速度提升至 3 倍,每秒吞吐量高达 60 token。
DeepSeek-V3 采用多头潜在注意力和 DeepSeekMoE 架构,经过多阶段的预训练和微调,展现出卓越的性能。
虽然当前版本暂不支持多模态输入输出,但在多语言处理方面表现出色,尤其在算法代码和数学方面。
DeepSeek-V3 在多种标准基准测试中表现优异,尤其在数学和代码任务上表现突出。
Hugging Face 模型库: https://huggingface.co/deepseek-ai/DeepSeek-V3
12 月 26 日,腾讯研究院最新推出了 DRT-o1 系列模型,包含两个版本:DRT-o1-7B 和 DRT-o1-14B,主要通过长思维链(long chain-of-thought,简称 CoT),更能理解比喻和隐喻等,从而提高文学作品的翻译质量。
DRT-o1 基于 Qwen2.5 进行构建,通过从现有文学书籍中挖掘带有明喻或隐喻的英文句子,设计了一个包含翻译者、顾问和评估者的多代理框架,以合成长链推理的机器翻译样本。
图:DRT-o1设计了一个包含翻译者、顾问和评估者的多代理框架
DRT-o1-7B 的 BLEU 得分提高了 8.26 分,COMET 得分提高了 3.36 分,优于其前身 Qwen2.5-7B-Instruct。
DRT-o1-14B 同样表现出色,BLEU 得分提升了 7.33 分,COMET 得分提升了 1.66 分。
阿里云通义千问开源多模态推理模型 QVQ-72B-Preview,在数学、物理等领域表现出色
12 月 25 日,阿里云通义千问Qwen团队推出了全新的视觉推理大模型——QVQ-72B-Preview。
作为业界首个开源多模态推理模型,QVQ-72B-Preview 的优势在视觉理解和推理能力,在解决数学、物理、科学等领域的复杂推理问题上表现尤为突出。目前,开发者可在魔搭社区和HuggingFace平台上直接体验。
QVQ-72B-Preview 在 MMMU 基准测试中取得了 70.3 的分数,显著超越了此前的视觉理解模型「开源王者」 Qwen2-VL-72B-Instruct。
此外,在剩下的三个专注于数学和科学问题的基准测试中,QVQ-72B-Preview 表现出色,有效缩小了与领先的最先进的 OpenAI o1 模型之间的差距,与 Claude3.5 Sonnet等推理模型相当。