开源后训练正在如火如荼地进行！
在过去的两周里，多个开源项目陆续发布了数据和配方，标志着开源后训练的强劲势头。
其中包括了OpenCoder、Hugging Face的SmolLM-2、微软研究院的Orca Agent Instruct，以及Allen AI的Tülu 3。
这一切都表明，开源后训练的热潮正在重现2023年初的繁荣景象！
OpenCoder：开源代码大模型的烹饪书
OpenCoder是一个开源且可复现的代码大模型家族，其性能媲美顶级代码模型。
它不仅提供最终模型，还包括可复现的训练数据、完整的数据处理流程、严谨的实验消融结果以及详细的训练协议，助力科学研究的开放。
详细信息可以查看：OpenCoder [1]
Tülu 3：开放后训练的新纪元
Tülu 3的发布是开源后训练技术的一次重大进步。
它不仅推出了最先进的后训练模型，还公开了训练数据、数据策划工具和评估工具。
这一系列举措旨在缩小开放方法与封闭配方之间的差距，为开源后训练研究的下一个篇章奠定基础。
想了解更多，访问：Tülu 3 [2]
SmolLM-2：轻量级模型的崛起
SmolLM-2是一系列紧凑型语言模型。
它具有135M、360M和1.7B参数的不同版本，能够解决多种任务，同时足够轻便以在设备上运行。
其最新推出的SmolTalk和合成数据管道为SmolLM-2的训练提供了强大的支持。
更多信息请查看：SmolLM-2 [3]
Orca Agent Instruct：高效的指令学习
微软研究院的Orca Agent Instruct则为我们提供了高效的指令学习数据集，助力AI模型在多种任务上提升性能。
其数据集的设计旨在优化模型的指令理解能力，进一步推动开源后训练的进展。
了解更多：Orca Agent Instruct [4]
开源共建
开源后训练不仅为AI模型的发展提供了新的动力，也为研究者们创造了更多的合作机会。
随着这些开源项目的不断推进，我们可以期待AI技术在各个领域的更广泛应用。开源后训练的时代已经来临，未来将更加精彩！
Philipp Schmid 说到：“让我们一起继续建设！”
相关链接
[1] OpenCoder: https://opencoder-llm.github.io/
[2] Tülu 3: https://allenai.org/blog/tulu-3-technical
[3] SmolLM-2: https://github.com/huggingface/smollm
[4] Orca Agent Instruct: https://huggingface.co/datasets/microsoft/orca-agentinstruct-1M-v1
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
