今日开源(2024-11-01):Meta发布MobileLLM模型代码,1B参数级高质量语言模型,零样本常识推理任务表现优异

文摘   2024-11-01 18:40   北京  


🏆基座模型

①项目:MobileLLM

MobileLLM是Meta推出的一个针对在设备上使用场景优化的十亿参数级语言模型。该项目通过整合SwiGLU激活函数、深薄架构、嵌入共享和分组查询注意力机制等多种设计因素,实现了在少于十亿参数的情况下获得高质量的语言模型。MobileLLM-125M/350M在零样本常识推理任务上相比先前的同规模最佳模型取得了显著的准确率提升,在聊天和API 调用任务中,效能大幅超越同参数量的小型LLM。

☆一键收藏:

https://sota.jiqizhixin.com/project/mobilellm


②项目:SmolLm2

SmolLM2是一款紧凑型语言模型,具有1.7B、360M、135M三个参数级。该模型在指令跟随、知识推理和数学能力上表现出显著进步。通过监督微调和超反馈优化,该模型支持文本重写、摘要生成和函数调用等任务。

☆一键收藏:

https://sota.jiqizhixin.com/project/smollm2

③项目:Genmoai-smol

Genmoai-smol是一个开源的视频生成模型,优化后可以在单个GPU节点上运行,适用于VRAM较小的环境。该项目旨在提供高保真度的运动和强大的提示遵循能力,缩小了开放和封闭视频生成系统之间的差距。用户可以通过Gradio UI或命令行界面直接生成视频。

☆一键收藏:

https://sota.jiqizhixin.com/project/genmoai-smol


🛠️框架平台、必备工具

①项目:SandboxFusion 

SandboxFusion 是一个用于运行和评估由大型语言模型(LLMs)生成的代码的安全沙箱。该项目支持多种编程语言,并提供在线评测功能,适用于需要代码执行的评估和强化学习数据集。项目旨在为开发者提供一个安全、可靠的环境来测试和验证代码。

☆一键收藏:

https://sota.jiqizhixin.com/project/sandboxfusion


②项目:ComfyUI EcomID

ComfyUI EcomID 是一个用于增强人像表现的项目,旨在提供更真实和美观的外观,同时确保语义一致性和更高的内部ID相似性。该项目原生支持SDXL-EcomID,并与ComfyUI完全集成,主要应用于人脸识别和图像处理领域。

☆一键收藏:

https://sota.jiqizhixin.com/project/sdxl-ecomid-comfyui


🤖 Agent开发

①项目:TrustGraph Engine

TrustGraph Engine 是一个知识智能体开发平台,提供了部署可靠、可扩展和准确的 AI 智能体所需的所有工具、服务、图存储和向量数据库。其功能包括批量文档摄取、自动化知识图谱构建、自动化向量化、模型无关的 LLM 集成,以及结合知识图谱和向量数据库的 RAG。平台支持企业级的可靠性、可扩展性和模块化,并通过 Ollama 和 Llamafile 实现数据隐私。

☆一键收藏:

https://sota.jiqizhixin.com/project/trustgraph



机器之心SOTA模型
追踪 AI 开源进展,探索先进开发实践。
 最新文章