超快速，高性能！Meta发布移动端MobileLLM

2024-11-04 17:43 上海

前沿科技速递🚀

随着人工智能的快速发展，语言模型的应用日益普及，尤其是在移动设备和资源受限的环境中。最近，Meta推出了针对移动设备优化的小型语言模型，分别是MobileLLM，这为小型语言模型的发展注入了新的活力。

来源：传神社区

01 MobileLLM：为移动设备量身定制的语言模型

Meta最近发布的MobileLLM是一款专为移动设备设计的语言模型，其参数量在十亿以下，提供125M、350M、600M和1B等多个规模选项。这款模型的推出不仅标志着小型语言模型领域的重大进展，更是为了应对云计算成本上升和延迟问题，使得在资源受限的设备上也能高效运行AI模型。

02 核心创新

MobileLLM的设计包含多项核心创新，使其能够在资源有限的移动设备上高效运行，并保持卓越的语言处理能力。以下是其主要的创新点：

1. 深薄架构设计

MobileLLM采用了深薄架构，这一设计理念打破了传统的模型扩展法则，证明在小型语言模型中，增加层数（深度）比增加参数宽度更有效。通过增加模型层数，MobileLLM能够更好地捕捉复杂的抽象概念和上下文信息，这使得其在语言理解和生成任务中的表现显著优于其他同规模模型。

2. 嵌入共享技术

嵌入共享是MobileLLM的一个重要创新。在大多数语言模型中，输入和输出嵌入通常是分开的，这会导致参数的冗余。MobileLLM通过共享嵌入层的权重，减少了模型的参数量，同时保留了模型的表达能力。特别是在小型模型中，嵌入占据了较大的比例，嵌入共享显著提高了参数的利用效率。

3. 实时块级权重共享

实时块级权重共享的设计使得MobileLLM能够在多个层之间有效共享参数。这种方式减少了内存占用和计算延迟，同时提升了模型的计算效率。这种策略确保了模型在保持复杂性的同时，不会因资源受限而显著影响性能，特别是在移动设备上。

4. 量化兼容性

MobileLLM支持多种量化技术，例如W8A8量化，使其能够在不同硬件平台上高效运行。这一兼容性意味着，无论是在高性能的设备上，还是在资源受限的智能手机上，MobileLLM都能够实现优异的推理性能。这种灵活性确保了模型在广泛应用场景中的可用性。

03 卓越性能

MobileLLM模型在常识推理任务中的表现尤为突出，其125M与350M规模的模型与市场上同类模型相比具有明显的优势。

MobileLLM-125M在多项指标上超越了其他同规模模型。在ARC-e任务中，MobileLLM-125M的表现达到了43.9%，高于GPT-neo-125M的41.3%。在更复杂的WinoGrande任务中，其性能更是达到了53.1%，显著高于RWKV-169M的50.9%。这一系列的表现突显了MobileLLM-125M在处理具有挑战性的推理任务上的能力。

MobileLLM-350M同样表现出色。在PIQA测试中，它以69.8%的高分领先市场，远超过BLOOM-560M的62.8%。在WinoGrande的评测中，其以57.2%的成绩优于大多数竞争对手，证明了其在更大规模任务处理上的有效性。

04 模型下载

传神社区：

https://opencsg.com/models/facebook/MobileLLM-1B

huggingface：

https://huggingface.co/facebook/MobileLLM-1B

欢迎加入传神社区

•贡献代码，与我们一同共建更好的OpenCSG

•Github主页

欢迎🌟：https://github.com/OpenCSGs

•Huggingface主页

欢迎下载:https://huggingface.co/opencsg

•加入我们的用户交流群，分享经验

扫描上方二维码添加传神小助手

“ 关于OpenCSG

开放传神（OpenCSG）成立于2023年，是一家致力于大模型生态社区建设，汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。

关注OpenCSG

加入传神社区

http://mp.weixin.qq.com/s?__biz=MzkxNTYxMjU1Mw==&mid=2247487206&idx=1&sn=1cd57c6ab0b929be5a15e200795bcc10

传神社区

该账号是开放传神（OpenCSG）分享大模型的技术、见解、传神开放社区等方面的内容！

最新文章

OpenCoder：开源代码大模型，推动编程AI的未来

CodeSouler v1.11.0 版本更新

倒计时2天！大模型全生命周期管理与AI应用的全栈可观测性圆桌议题公布

CSGHub All-in-One Docker 快速部署

重磅揭秘！Auto CSGHub内测视频曝光 | 国产版 HuggingFace+ 引领智能化升级

算力补贴累计超亿元！模速空间“浓缩”上海大模型产业链

报名开始｜《大模型全生命周期管理与AI应用的全栈可观测性》上海站

微软OmniParser：一切皆文档，OCR驱动智能操作

从文本到动态视频：Allegro模型让创意更轻松

传神论文中心｜第30期人工智能领域论文推荐

超快速，高性能！Meta发布移动端MobileLLM

DataFlow v202410 版本更新一站式数据处理平台

OpenCSG与传神社区的创新瞬间

OpenCSG传神社区月度功能更新

突破语言壁垒：Cohere 发布多语言大模型 Aya Expanse

Stable Diffusion 3.5震撼发布：三大版本满足多层次AI图像生成需求

OpenCSG携手书生·浦语：InternLM2.5-20B-Chat 正式上线，共建AI未来新生态

课程升级、资源加码！万人共学的书生大模型实战营第4期正式起航！

无需依赖闭源模型！司南CompassJudger为AI评测带来新选择

CSGHub SaaS快速入门指南

Mochi 1视频生成模型亮相：动作流畅，开放源代码

课程升级、资源加码！万人共学的书生大模型实战营第4期正式起航！

传神论文中心｜第29期人工智能领域论文推荐

重磅升级 | OpenCSG开源中文版fineweb edu v2数据集

英伟达推出Nemotron-70B：强大开源语言模型，基准测试中全面领先！

直播预告｜未来视界：多模态AI的创新与挑战

苹果开源Depth Pro：0.3秒实现从2D图像到3D深度图的革命性突破

传神论文中心｜第28期人工智能领域论文推荐

2B参数搞定高质量视频！北大&快手携手打造Pyramid Flow

直播预告｜当A股疯涨挑战经典金额理论，大模型能否作为一个“理性投资人”？

CodeSouler v1.0.8 版本更新

传神论文中心｜第27期人工智能领域论文推荐

OpenCSG传神社区月度功能更新

OpenCSG开源数据集再次登顶HF数据榜

OpenCSG DataFlow：锻造大模型智慧的炼金术，开启数据集Agentic新范式

微软推出GRIN-MoE：开创专家路由新范式

Llama 3.2：轻量级设计与多模态能力

英伟达发布NVLM 1.0：屠榜多模态任务，纯文本性能逆势提升

高效、精准、智能：GOT-OCR2.0引领OCR 2.0时代

传神论文中心｜第26期人工智能领域论文推荐

超越极限！Qwen2.5 助力多领域智能应用

年度巨献 | OpenCSG开源最大中文合成数据集Chinese Cosmopedia

CSGHub开源版本v0.9.0更新

传神论文中心｜第25期人工智能领域论文推荐

Mistral AI再创新高，Pixtral 12B多模态模型强势来袭

CodeSouler v1.0.7 版本更新

重磅发布！DeepSeek-V2.5：融合通用与代码能力的全新开源模型

小而强大！零一万物 Yi-Coder 模型震撼发布！

国产“小钢炮”MiniCPM3-4B：小参数，大能量！

国内独家首发 | OpenCSG开源中文版fineweb edu数据集

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉