图片来源:Unsplash
根据Tech Crunch报道,微软宣布推出其Phi系列生成式AI模型的最新版本——Phi-4。据微软介绍,Phi-4在多个领域相较于其前代模型都有所改进,尤其是在数学问题解决方面。这一进步部分得益于更高质量的训练数据。
从周四晚间开始,Phi-4以非常有限的形式开放,仅在微软最近推出的Azure AI Foundry开发平台上可用,并且仅限于基于微软研究许可协议的研究用途。
这是微软最新的小型语言模型,参数规模为140亿,与其他小型模型如GPT-4o Mini、Gemini 2.0 Flash和Claude 3.5 Haiku竞争。这类小型语言模型运行速度更快,成本更低,但近年来小型语言模型的性能也在逐步提升。
微软表示,Phi-4性能的提升得益于使用了“高质量的合成数据集”,以及高质量的人类生成内容数据集和一些未公开的后期训练改进。
当前,许多AI实验室都在研究与合成数据和后期训练相关的创新。Scale AI首席执行官 Alexandr Wang 周四在推特上表示,“我们已经达到了预训练数据的瓶颈”,这一观点与过去几周关于该主题的多份报告相呼应。
值得注意的是,Phi-4是微软自塞巴斯蒂安·布贝克(Sébastien Bubeck)离职后发布的首个Phi系列模型。布贝克此前是微软AI部门副总裁,也是Phi模型开发的核心人物,他于今年10月离开微软加入OpenAI。