在科技发展的浪潮中,谷歌等行业巨头以及OpenAI等新兴力量,多年来始终坚定不移地借助海量在线数据,全力打造规模更大、成本更高的人工智能(AI)模型。这些大型语言模型(LLM)已广泛融入ChatGPT等聊天机器人,助力用户处理各类繁杂事务,从编写程序代码、规划出行线路,到创作优美诗歌等,无所不包。
自ChatGPT惊艳亮相后,AI模型便踏上了不断扩张、持续强化的高速发展之路。然而,当热潮逐渐退去,科技企业开始将目光更多地投向那些更为小巧、精简的小型语言模型(SLM)。在他们看来,这些精致的模型不仅在特定领域展现出专业优势,而且在部署成本上更为低廉,能耗方面也更加节约。
展望未来,不同规模的AI模型将相互配合、协同运作,成为人类不可或缺的得力助手。
小型模型的独特魅力
伴随AI技术的迅猛发展,AI模型的体量也在持续膨胀。ChatGPT的缔造者OpenAI曾在去年自豪地宣称,其GPT-4模型的参数数量高达约2万亿个。参数作为衡量AI模型规模的关键指标,通常情况下,参数越多意味着模型的能力越强。凭借庞大的参数量,GPT-4荣膺迄今最为强大的AI模型之一的殊荣,能够从容应对从天体物理到动物学等众多领域纷繁复杂的各类问题。
但倘若某家企业仅仅期望借助AI模型解决特定领域(如医学领域)的特定问题,或者一家广告公司只是需要一款AI模型来精准剖析消费者行为,以便实现广告的精准推送,那么像GPT-4这样的大型模型就显得有些“大材小用”了,而此时小型语言模型(SLM)反而更能精准契合用户的实际需求。
美国《福布斯》双周刊网站在11月的报道中,将SLM誉为AI领域的“下一个重大突破”。
微软公司生成式AI副总裁塞巴斯蒂安・布贝克指出,尽管目前SLM的参数数量尚未形成统一标准,但大致处于3亿至40亿个的区间范围内,其小巧的体积足以安装在智能手机等移动设备上。
专家们表示,SLM在处理简单任务方面表现更为出色,诸如对文档进行归纳总结、建立索引,以及搜索内部数据库等工作。
法国初创公司LightOn的负责人劳伦特・都德认为,相较于大型语言模型(LLM),SLM具备诸多显著优势:其一,这些模型的响应速度更为快捷,能够同时处理更多的查询请求,为更多用户提供及时回复;其二,SLM的部署成本更低廉,能源消耗也更少。
都德进一步阐释道,当前许多大型语言模型(LLM)需要借助大量服务器进行训练,并处理各类查询任务。这些服务器由高端芯片构成,运行过程中不仅需要消耗大量电力,还需要配备专门的冷却系统。而训练SLM所需的芯片数量更少,运行时所耗费的能源也相应大幅降低,这使得SLM在成本和能耗方面更具优势,更加经济环保。
此外,SLM还能够直接安装在设备上独立运行,无需依赖数据中心,这一特性极大地提升了数据的安全性。《福布斯》杂志指出,SLM能够凭借最少的计算资源高效执行各类任务,因而成为移动设备、边缘设备等的理想之选。
AI模型的“极简主义”潮流
谷歌、微软、元宇宙平台公司以及OpenAI等科技巨头纷纷闻风而动,相继推出了各式各样的SLM。
去年12月底,微软公司正式发布了参数仅为27亿个的语言模型Phi-2。微软研究院在其X平台官方账号上发布消息称,Phi-2的性能表现优于现有的其他SLM,并且能够在笔记本电脑或移动设备上流畅运行。今年4月,微软乘胜追击,又推出了拥有38亿个参数的Phi-3系列模型。
今年8月,微软公司再度发力,推出了最新的Phi-3.5-mini-instruct。这款SLM专为高效、先进的自然语言处理任务精心打造。同年9月,英伟达公司开源了Nemotron-Mini-4B-Instruct。该公司表示,这款SLM尤其适合边缘计算和设备端的应用场景。据相关报道,这两款SLM在计算资源的利用效率和功能表现之间实现了出色的平衡,在某些特定方面,其性能表现甚至能够与大型语言模型(LLM)相媲美。
OpenAI同样不甘示弱。今年7月,OpenAI公司发布了GPT-4omini,宣称其是该公司推出的最为智能且性价比极高的SLM。
此外,亚马逊公司还允许用户在其云平台上灵活选用各种规模的AI模型。
其他众多公司也纷纷根据自身的实际需求,积极开发更具针对性的SLM。例如,美国制药巨头默克公司正与波士顿咨询集团(BCG)携手合作,共同开发一款SLM,旨在深入探究某些疾病对基因的影响。这款模型的参数数量预计将介于几亿到几十亿之间。
大小模型的协同共进
尽管小型语言模型(SLM)在效率等方面具有独特的优势,但大型语言模型(LLM)在解决复杂问题以及提供广泛的数据访问能力方面,仍然占据着无可替代的重要地位。
展望未来,大型语言模型(LLM)和小型语言模型(SLM)将不再是相互竞争的对手,而是相辅相成的合作伙伴,它们之间的协作交流将成为行业发展的主流趋势。
当面对用户提出的某个问题时,首先由一款小型语言模型(SLM)迅速介入,对问题进行初步理解和分析,然后依据问题的复杂程度,将相关信息精准地发送给几个不同规模的AI模型。这些模型将充分发挥各自的优势,“齐心协力”“协同作战”,共同为用户提供完善的问题解决方案。
当前市面上的AI模型存在着要么过于庞大、成本高昂,要么处理速度缓慢的问题。而大小模型相互协作的模式,或许将成为最为理想的解决方案。
... ...
扫码回复“8-人工智能”领取资料。