今日开源(2024-09-19):阿里云发布Qwen2.5:全面升级的大型语言模型系列,支持多语言与长文本生成

文摘   2024-09-19 18:01   北京  


🏆 基座模型

①项目:阿里云Qwen2.5

★Qwen2.5是由阿里云Qwen团队开发的大型语言模型系列。训练数据从Qwen2的7T tokens 扩展到了Qwen2.5的18T tokens该系列模型包括多种尺寸,从0.5B到72B不等,支持29种语言;上下文最大长度128K,其中超过32K的部分利用YARN来进行外推处理,并且最大生成长度8K。Qwen2.5在指令跟随、生成结构化输出和多语言支持方面有显著改进,适用于各种自然语言处理任务。同时还开源了Qwen2.5-Coder模型和Qwen2.5-Math模型。

☆一键收藏:

https://sota.jiqizhixin.com/project/qwen2-5


②项目:Moshi

Moshi是一个语音文本基础模型和全双工语音对话框架它使用最先进的流式神经音频编解码器Mimi能够以1.1 kbps的带宽处理24 kHz的音频,延迟仅为80ms。Moshi通过两个音频流进行工作,一个对应于Moshi,另一个对应于用户。Moshi预测其自身语音的文本标记,从而显著提高生成质量。该项目在L4 GPU上实现了低至200ms的实际总体延迟。

☆一键收藏:

https://sota.jiqizhixin.com/project/moshi


🤖 Agent开发

①项目:Windows Agent Arena

Windows Agent Arena (WAA) 是一个可扩展的Windows操作系统平台,用于测试和基准评估多模态AI智能体WAA为研究人员和开发人员提供了一个可重复和现实的Windows操作系统环境,在这里可以测试agentAI工作流,涵盖各种任务。WAA支持使用Azure ML云基础设施进行大规模agent部署,允许并行运行多个agent,并在几分钟内为数百个任务提供快速基准结果。

☆一键收藏:

https://sota.jiqizhixin.com/project/windows-agent-arena


🛠️必备工具

①项目:ReflectionAnyLLM

ReflectionAnyLLM 是一个轻量级的概念验证项目,旨在展示如何与任何支持 OpenAI 兼容 API 的大语言模型(LLM)进行基本的链式推理交互。该项目可以与本地或远程的 LLM 进行接口,允许用户在不同的提供商之间进行最小设置的切换。

☆一键收藏:

https://sota.jiqizhixin.com/project/reflectionanyllm


②项目:LLM-Engines

LLM-Engines 是一个统一的大语言模型(LLM)推理引擎,支持包括开源模型(如 VLLM、SGLang、Together)和商业模型(如 OpenAI、Mistral、Claude)通过比较不同引擎在相同参数下的输出,验证了推理的正确性。用户可以通过简单的API调用不同的模型进行推理。

☆一键收藏:

https://sota.jiqizhixin.com/project/llm-engines


③项目:Subspace-Tuning

Subspace-Tuning 是一个通用框架,旨在通过子空间调优方法实现参数高效的微调该项目的目标是通过最小化对原始参数的更改,适应大型预训练模型以执行特定任务。它通过识别最优权重在子空间上的最大投影来实现这一目标该项目为研究人员和从业者提供了丰富的资源,便于集成到各自的项目中。

☆一键收藏:

https://sota.jiqizhixin.com/project/Subspace-Tuning

👋网页端访问:https://sota.jiqizhixin.com

欢迎扫码加入社群
交流LLM推理与微调、Agent/RAG应用构建开发经验


机器之心SOTA模型
追踪 AI 开源进展,探索先进开发实践。
 最新文章