OpenAI再添猛将，小型语言模型或成AGI关键一环！
OpenAI最近可谓动作频频。不仅推出了实时网络搜索功能的SearchGPT，还成功挖来了微软的AI大牛Sébastien Bubeck。这位以「Sparks of AGI」论文和Phi系列小型语言模型闻名的研究员，为何选择在此时加盟OpenAI？
这又将为AI领域带来怎样的变革？
Bubeck：从「Sparks of AGI」到Phi系列
Bubeck可不是一般的AI研究员。
他在2023年4月发表的155页论文「Sparks of Artificial General Intelligence: Early Experiments with GPT-4」，可谓是AI领域的里程碑之作。
这篇论文深入探讨了GPT-4的能力，为我们揭示了大型语言模型潜在的通用人工智能火花。
但Bubeck的贡献远不止于此，他还是微软Phi系列小型语言模型的主要开发者之一。
Phi模型以其高效、轻量的特点，在边缘设备上的AI应用中表现出色。
这一系列工作始于「Textbooks Are All You Need」这篇论文，该论文提出了一种创新的方法：通过精选高质量的教科书数据，以较少的计算资源训练出性能优异的小型语言模型。
OpenAI的硬件野心
OpenAI最近的动作显示出他们对硬件领域的浓厚兴趣。
公司与著名设计师Jony Ive合作，致力于开发一款AI驱动的硬件设备，目标是创造一种比现有智能手机更自然、更不具侵入性的计算体验。
这个项目与Bubeck的专长完美契合。
他在小型语言模型方面的expertise，正是OpenAI在这一领域所急需的。Bubeck曾表示：「我迫不及待想看到像Phi-3这样的小型语言模型被嵌入到各种设备中。」
“小”或将成为AGI的新方向
Bubeck的加入，加上OpenAI最近的硬件动向，似乎在暗示着一个新的趋势：小型语言模型可能成为通向AGI的重要途径。
为什么这么说？
边缘计算的重要性：随着AI应用越来越普及，将AI能力下放到终端设备变得至关重要。小型语言模型能在资源受限的环境中高效运行，为实现这一目标提供了可能。
隐私和实时性：小型模型可以直接在设备上运行，减少了数据传输，提高了隐私保护和响应速度。
定制化和个性化：小型模型更容易针对特定任务或用户进行优化，有助于实现更精准的AI服务。
能耗和成本效益：相比大型模型，小型模型在训练和推理过程中能耗更低，更符合可持续发展理念。
小模型正趋向火热
OpenAI并非唯一看好小型语言模型的公司，整个AI行业都在这个方向上发力：
Meta AI开源了MobileLLM，专为移动设备优化。
Hugging Face推出了SmolLM v2，在2B参数以下的模型中达到了领先性能。
Infosys发布了针对银行和IT运营的小型语言模型。
Moondream平台获得450万美元新融资，专注于小型语言模型开发。
这些动向无不表明，小型语言模型正在成为AI领域的新热点。
未来展望
Bubeck的加入或将为OpenAI带来新的活力和方向，我们可以期待看到：
更高效的边缘AI解决方案
OpenAI硬件项目的加速发展
小型语言模型与大型模型的协同创新
但同时，我们也要保持清醒。
如Bubeck 所说：「这是一个新范式。像所有新生事物一样，会有漏洞、bug和需要修复的问题。不要指望一切立即完美！」
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
