![]()
这是宇婷最近关注到外媒报道的趋势。与开发超智能AI技术相比，一些公司和开发者更专注于创建更便宜、更实用的小型AI模型。小模型的优势在于：
小型模型足够轻量，可以在手机上运行，而不需要依赖云端计算。
这些模型的参数数量通常少于30亿，远低于OpenAI的GPT-4模型的1万亿参数。
小模型的主要参与者：
谷歌、微软和苹果等大型科技公司都在开发小型语言模型，以在AI研究的这一新兴领域中占据一席之地。
Meta Platforms（Facebook的母公司）也加入了这一竞争，发布了MobileLLM模型的代码，这是最近发布的最小的SLM之一。
一些AI领域的投资和初创公司，例如Helsing、Fireworks AI、HerculesAI、Buildots、Soda和Alma，它们在不同领域获得了资金支持。
尽管小型模型在资源使用和速度上有优势，但它们在处理复杂任务（如科学相关测试）时可能不如大型模型表现出色。
以下为原文，由Kimi翻译。
如果您觉得有翻译不准确的地方，可以点击原文阅读：
https://www.theinformation.com/articles/why-smaller-could-be-better?rc=c7njzd
![]()
在过去的六个月里，包括谷歌和微软在内的几家大型科技公司已经发布了小型语言模型，试图在人工智能研究的新兴领域中占据一席之地。
当一些开发者正朝着超智能AI技术发展时，其他人则专注于构建更便宜、更实用的模型。
这些模型轻量到足以在手机上运行，而不是在云端。它们通常拥有不到30亿个参数，这只是支持OpenAI的GPT-4超过1万亿参数的一小部分。（提醒一下，参数是决定模型如何响应查询的“设置”。）
谷歌已经发布了其SLM（小型语言模型）Gemma的两代。微软发布了Phi的第三代。苹果表示，它将使用SLM在iPhone上运行一些即将推出的AI功能。
上周，Meta Platforms通过发布一个名为MobileLLM的模型代码加入了竞争，这是最近发布的最小的SLM之一。MobileLLM的最小版本只有1.25亿参数，甚至比大多数其他小型语言模型更轻。MobileLLM有五个版本，最大的版本有15亿参数。为了追踪和比较这些模型，我们在最新的图表中汇编了主要模型制造商的SLM。
![]()
图表由Shane Burke制作
我的同事Stephanie之前已经写过为什么模型制造商，无论是大公司还是独立开发者，对设备上的AI感兴趣：人们认为它更便宜、更快且更私密。但是一旦模型真的适合在设备上，仍然有关于它耗尽电池和占用内存的问题。
毫不奇怪，模型越小，它使用的电池和内存就越少。在他们关于MobileLLM的论文中，Meta的研究人员估计，一部充满电的iPhone可以运行一个有70亿参数的模型不到两个小时。然而，他们估计，iPhone可以运行一个有3.5亿参数的模型一整天。
他们说，更小的模型也更快。为了消除一些内存问题，研究人员提出了使用相同参数响应查询的不同部分的技术。
Meta的研究人员表示，MobileLLM在包括公司自身旧模型在内的少于10亿参数的其他模型中，在常见性能评估上表现更好。与更大的SLM相比，MobileLLM在一些测试上表现不佳，特别是与科学相关的测试。
Meta在制造小型模型方面并不新鲜，过去发布了类似小型但性能不如MobileLLM的模型，名为OPT和Galactica。该公司在2022年11月发布了Galactica，在OpenAI发布ChatGPT的前两周，但由于其倾向于产生幻觉或回答错误答案而受到反弹，在三天后撤下了演示。
研究人员设想MobileLLM在手机上处理简单任务，例如给某人发短信、设置闹钟以及检查某个场所是否开放。
Meta不生产手机，像苹果和谷歌那样，但它确实生产虚拟现实头显和智能眼镜——后者现在拥有公司的Meta AI助手。这可能就是为什么Meta对设备上的AI感兴趣！
与此同时，在另一个主题上，值得承认我们上周了解到的关于OpenAI的新基准，旨在跟踪其在发展人工通用智能（即能够像人类一样推理的AI）方面的进展。
这个五级基准从能够与人交谈的AI软件到能够完成整个组织工作的AI。OpenAI的高管最近在全体员工大会上告诉员工，今天，公司的技术正接近第二级，指的是能够完成基本问题解决任务的AI。如果我们必须猜测，我们会说第二级——“推理者”——可能与去年公司取得的推理突破Q*有很大关系。
许多AI爱好者似乎对我们甚至还没有达到AGI之旅的第二级感到惊讶。这是一个迹象，表明OpenAI正试图将期望降低到更合理的水平，特别是随着它面临日益增长的AI怀疑。
还有更多正在进行中的事情…
德国国防AI初创公司Helsing在由General Catalyst领投的C轮融资中筹集了4.5亿欧元。
Fireworks AI，一家推理提供商，在红杉资本领投的B轮融资中以55.2亿美元的估值筹集了5200万美元，Nvidia、Advanced Micro Devices和MongoDB Ventures参与了投资。
HerculesAI，一家自动化专业服务的公司，在Streamlined Ventures领投的B轮融资中筹集了2600万美元，Proof VC、Thomson Reuters Ventures、Alumni Ventures和天使投资者参与了投资。
Buildots，一家AI建筑软件公司，在英特尔资本领投的融资中筹集了1500万美元，OG Tech Partners等也参与了投资。
Soda，一家总部位于纽约市的数据质量公司，从Singular和Point Nine获得了1400万美元的资金。
Alma，一家旨在简化技术专家、创始人和研究人员签证流程的法律AI初创公司，从Bling Capital、Forerunner、Village Global、NFX、Conviction、MVP、New Enterprise Associates和Silkroad Innovation Hub获得了510万美元的种子和前种子资金。
![]()
加读者群：备注，真实企业、title及名字。
