速递丨微软推出基于合成数据集的新一代Phi-4,小模型也可以擅长数学推理

文摘   2024-12-13 09:57   北京  

图片来源:Unsplash

根据Tech Crunch报道,微软宣布推出其Phi系列生成式AI模型的最新版本——Phi-4。据微软介绍,Phi-4在多个领域相较于其前代模型都有所改进,尤其是在数学问题解决方面。这一进步部分得益于更高质量的训练数据。

从周四晚间开始,Phi-4以非常有限的形式开放,仅在微软最近推出的Azure AI Foundry开发平台上可用,并且仅限于基于微软研究许可协议的研究用途。

这是微软最新的小型语言模型,参数规模为140亿,与其他小型模型如GPT-4o Mini、Gemini 2.0 Flash和Claude 3.5 Haiku竞争。这类小型语言模型运行速度更快,成本更低,但近年来小型语言模型的性能也在逐步提升。

微软表示,Phi-4性能的提升得益于使用了“高质量的合成数据集”,以及高质量的人类生成内容数据集和一些未公开的后期训练改进。

当前,许多AI实验室都在研究与合成数据和后期训练相关的创新。Scale AI首席执行官 Alexandr Wang 周四在推特上表示,“我们已经达到了预训练数据的瓶颈”,这一观点与过去几周关于该主题的多份报告相呼应。

值得注意的是,Phi-4是微软自塞巴斯蒂安·布贝克(Sébastien Bubeck)离职后发布的首个Phi系列模型。布贝克此前是微软AI部门副总裁,也是Phi模型开发的核心人物,他于今年10月离开微软加入OpenAI。


来源:

[1] Microsoft debuts Phi-4, a new generative AI model, in research preview, https://techcrunch.com/2024/12/12/microsoft-debuts-phi-4-a-new-generative-ai-model-in-research-preview/
欢迎扫码加群参与讨论

---------END--------

我们相信认知能够跨越阶层,
致力于为年轻人提供高质量的科技和财经内容。
投稿邮箱:zfinance2023@126.com
稿件经采用可获邀进入Z Finance内部社群,优秀者将成为签约作者,00后更有机会成为Z Finance的早期共创成员。
🚀 我们正在招募新一期的Z Explorer

Z Finance
我们相信认知能够跨越阶层,致力于为年轻人提供高质量的科技和财经内容。
 最新文章