最新开源:国产大模型DeepSeek-V3来了!阿里云开源首个多模态推理模型QVQ!腾讯推出新型翻译模型 DRT-o1

文摘   2024-12-27 20:32   广东  
1
DeepSeek-V3发布,数学代码任务突出,中文性能匹敌GPT-4o 

自 DeepSeek-V2.5 于9月6日正式发布,新一代模型 DeepSeek-V3 又于 12 月 26 日上线并同步开源,迭代速速杠杠的快。

DeepSeek-V3 是一个强大的 Mixture-of-Experts (MoE) 语言模型,拥有 671B 总参数,其中每个token激活 37B 参数,在 14.8万亿 token上进行了预训练。

相比 V2.5 版本,DeepSeek-V3 的生成速度提升至 3 倍,每秒吞吐量高达 60 token。

DeepSeek-V3 采用多头潜在注意力和 DeepSeekMoE 架构,经过多阶段的预训练和微调,展现出卓越的性能。

虽然当前版本暂不支持多模态输入输出,但在多语言处理方面表现出色,尤其在算法代码和数学方面

DeepSeek-V3 在多种标准基准测试中表现优异,尤其在数学和代码任务上表现突出。

DeepSeek-V3 的成绩超越了 Qwen2.5-72B 和 Llama-3.1-405B 等其他开源模型,并在性能上和世界顶尖的闭源模型 GPT-4o 以及 Claude-3.5-Sonnet 不分伯仲

  • Hugging Face 模型库: https://huggingface.co/deepseek-ai/DeepSeek-V3

2
腾讯推出新型翻译模型 DRT-o1,实现文学翻译“信达雅”

12 月 26 日,腾讯研究院最新推出了 DRT-o1 系列模型,包含两个版本:DRT-o1-7B DRT-o1-14B,主要通过长思维链(long chain-of-thought,简称 CoT),更能理解比喻和隐喻等,从而提高文学作品的翻译质量。

DRT-o1 基于 Qwen2.5 进行构建,通过从现有文学书籍中挖掘带有明喻或隐喻的英文句子,设计了一个包含翻译者、顾问和评估者多代理框架,以合成长链推理的机器翻译样本。

图:DRT-o1设计了一个包含翻译者、顾问和评估者的多代理框架

实验结果显示:
  • DRT-o1-7B 的 BLEU 得分提高了 8.26 分,COMET 得分提高了 3.36 分,优于其前身 Qwen2.5-7B-Instruct。

  • DRT-o1-14B 同样表现出色,BLEU 得分提升了 7.33 分,COMET 得分提升了 1.66 分。
这些结果表明,DRT-o1 在文学翻译中的表现超越了现有模型,尤其是其 7B 版本甚至超越了更大的 QwQ-32B 模型

3


阿里云通义千问开源多模态推理模型 QVQ-72B-Preview,在数学、物理等领域表现出色 

12 月 25 日,阿里云通义千问Qwen团队推出了全新的视觉推理大模型——QVQ-72B-Preview

作为业界首个开源多模态推理模型,QVQ-72B-Preview 的优势在视觉理解和推理能力,在解决数学、物理、科学等领域的复杂推理问题上表现尤为突出。目前,开发者可在魔搭社区和HuggingFace平台上直接体验。

通义千问团队在 4 个数据集上评估 QVQ-72B-Preview,测试结果显示:
  • QVQ-72B-Preview 在 MMMU 基准测试中取得了 70.3 的分数,显著超越了此前的视觉理解模型「开源王者」 Qwen2-VL-72B-Instruct。

  • 此外,在剩下的三个专注于数学和科学问题的基准测试中,QVQ-72B-Preview 表现出色,有效缩小了与领先的最先进的 OpenAI o1 模型之间的差距,与 Claude3.5 Sonnet等推理模型相当。

HsuDan
拥抱AI技术,分享人工智能、机器学习、数据分析等多个领域的优质资讯、学习资源、实践案例、开源项目及开发工具。
 最新文章