【第二弹】强化微调，用少量样本训练专家模型

文摘 2024-12-07 09:56 新加坡

转载自：机器之心

OpenAI 12连发第2弹：强化微调，少量样本就能训练自己的专家模型

强化微调可以轻松创建具备强大推理能力的专家模型。

现在，OpenAI 的 12 天计划进入了第 2 天。凌晨两点，我们迎来了一个开发者和研究者更感兴趣的产品：Reinforcement Fine-Tuning，即强化微调。

今天参与发布的四人组是 OpenAI 研究副总裁 Mark Chen、OpenAI 技术员 John Allard 和 Julie Wang、Berkeley Lab 的环境基因组学和系统生物学研究者 Justin Reese。

Mark Chen 首先表示，今天发布的强化微调「允许你将你的黄金数据集转化为独特的产品，这将能让你将我们具有的神奇能力提供给你自己的用户和客户。」但它实际上要到明年才会真正公开推出。

OpenAI 微调团队 Steven Heidel 也在 X 上给出了一句话总结：

什么是强化微调？

去年，OpenAI 就已经为自家产品推出了监督式微调 API。简单来说，监督式微调要做的是让模型模仿它在输入文本或图像中找到的特征。这种强大的技术可用于修改模型的语气、样式或响应格式等等。

强化微调（RFT）则是一种更进一步模型定制技术，可让开发者使用强化学习针对具体任务对模型进行进一步的微调，并根据提供的参考答案对模型的响应进行评分。

也就是说，强化微调不仅会教模型模仿其输入，更是会让其学会在特定领域以新的方式进行推理。

具体来说，当模型发现问题时，要为它提供思考问题的空间，然后再对模型给出的响应进行打分。之后，利用强化学习的力量，可以强化模型得到正确答案的思维方式并抑制导向错误答案的思维方式。John Allard 表示：「只需几十个例子，模型就能学会在自定义领域以新的有效方式进行推理。」看起来，这种技术既能提高其在该领域特定任务上的准确性，还能增强模型对类似问题的推理能力。

Allard 还指出，OpenAI 内部在训练 GPT-4o 和 o1 系列模型时也使用了同样的技术。

Julie Wang 表示：「开发者、研究人员和机器学习工程师将能够使用强化学习来创建能够在其领域内擅长其特定任务的专家模型。我们相信，任何需要在 AI 模型方面拥有深厚专业知识的领域都能受益，比如法律、金融、工程、保险。」她举了个例子，OpenAI 最近与汤森路透合作，使用强化微调来微调 o1-mini，从而得到了好用的 AI 法律助理，能帮助他们的法律专业人员完成一些「最具分析性的工作流程」。

伯克利实验室的 Justin Reese 也谈到了强化微调对自己在罕见疾病方面的研究的帮助。他表示，罕见疾病其实并不罕见 —— 全球患有不同罕见疾病的人总数可达到 3 亿人；而罕见疾病患者在确诊之前往往需要数月乃至数年的漫长诊断过程。因为为了诊断出这些疾病，既需要医学专业知识，还必须基于生物医学数据进行系统性推理。而 o1 加上强化微调就能满足这样的需求。

如何实现强化微调？

OpenAI 通过一个根据症状推理预测可能基因的示例展现了强化微调的巨大潜力 —— 这实际上也正是伯克利实验室与 OpenAI 的合作项目之一。结果发现，使用强化微调后，模型规模更小的 o1-mini 的表现可超过性能更加强劲的 o1。

下面将基于具体示例介绍如何实现强化微调。

首先来看训练数据集。具体来说，这里的数据集是一个 .jsonl 文件，其中每一行都是一个训练样本。在这个示例中，数据集中包含 11 个样本。

下面展示了一个具体数据样本。可以看到其中包含三项：病例报告（包含基本信息、症状以及没有的症状）、指令和正确答案。

在强化微调的训练过程中，模型并不能看到正确答案。在给模型提供病例报告和指令之后，模型会输出如上图底部所示的响应 —— 一个基因列表，其中排在第一位的基因是模型认为最可能的基因，以此类推。

接下来，还需要上传一个验证数据集。验证数据与训练数据的格式完全一样，但内容没有重叠。这样才能验证模型能否在该任务上进行泛化，而不仅仅是记住了训练数据。

在训练过程中，强化微调的「强化」部分就体现在评分器（Grader）的使用上。其设计思路很简单，评分器会比较模型输出与正确答案，然后返回一个 0 到 1 之间的分数。0 表示模型的输出中不包含正确答案，而 1 表示正确答案在输出的第一个位置。如下图所示，正确答案在第 2 个位置，评分器给出了 0.7 的分数。

当然，有些任务的输出结果并不是列表形式，因此 OpenAI 也提供了其它评分器，可以「相当有效地覆盖你可能拥有的意图的空间」。并且他们也在不断增加更多评分器，未来也会支持用户自己定制的评分器。

配置好评分器之后，用户还可以选择调整模型种子和一些超参数，包括批量大小、学习率乘数、epoch 数量。

接下来，点击 Create，再等待一段时间，用户就能得到经过强化微调的定制模型。Allard 表示，根据具体任务的不同，这个训练过程可能需要数小时到数天时间。

接下来，他演示了一个之前已经微调好的模型，以下截图展示了该模型的相关信息，可以看到基础模型是 o1-mini，经过强化微调后会得到一个输出模型。

同一个页面中还能看到模型在验证数据集上的分数变化情况。

那么，这个经过强化微调的 o1-mini 的表现究竟如何呢？评估结果表明，在 top@1（正确答案在列表第 1 个位置的概率）、top@5（正确答案在列表前 5 个位置的概率）和 top@max（输出中包含正确答案的概率）指标上，其表现都明显胜过性能更加强大的最新版 o1。

下面展示了一些运行过程示例：

当然，强化微调是一种通用技术。理论上，只要有合适的数据集和评估器，你就能将 o1 训练成你的专业 AI 助手。

目前，OpenAI 仅支持强化微调的 Alpha 测试申请，并且名额有限，「非常适合正在与专家团队一起处理非常复杂任务的组织」，个人用户至少得等到明年了。如果你有需求，可以在这里尝试申请：

https://openai.com/form/rft-research-program/

同样，今天的发布也在一个圣诞笑话中收尾：

圣诞老人正在努力制造一辆自动驾驶雪橇，但由于某种原因，他的模型一直无法识别树木，导致雪橇老是撞树。你猜原因是什么？

因为他没有 pine-tune 自己的模型。

你看懂这个🎄谐音梗笑话了吗？对强化微调又有何感想呢？

参考链接：

https://www.youtube.com/watch?v=fMJMhBFa_Gc

深度强化学习实验室

【开源开放、共享共进】强化学习社区\x26amp;实验室，分享推动DeepRL技术落地与社区发展，社区 deeprlhub.com

清华团队提出RL专用神经网络优化器，性能位居榜首

【第二弹】强化微调，用少量样本训练专家模型

【清华大学】当鲁棒控制遇到强化学习：零和博弈视角的非线性拓展

【重磅】阿尔伯塔大学提出“Stream-X”强化学习新范式，无需经验重放、目标网络或批量更新。

强化学习之父Sutton万字采访：炮轰深度学习只是瞬时学习，持续学习才是智能突破的关键

开放式物理RL环境空间，智能体零样本解决未见过人类设计环境！

控制系统可控性检验理论的变革：从模型驱动到数据驱动

【图灵奖得主Yoshua Bengio】提出强化学习新策略，解决策略KL正则化漏洞问题。

【NeurlPS2024分享】北航提出“结构信息原理指导的高效智能体探索”(末尾附开源代码)

【Nature重磅】AlphaChip，谷歌用强化学习设计多代TPU芯片速度超越人类，开源预训练代码

【清华北大腾讯等】联合综述OpenAI o1背后的自博弈(Self-Play)方法原理与技术细节

【重磅发布】OpenAI o1模型(草莓)问世，五级AGI再突破！使用「强化学习」再立大功。

【Nature重磅】RL教父Rich. S. Sutton提出持续反向传播算法，Mujoco中效果良好，深度学习还不如浅层网络？

【清华大学】李升波教授团队总结“强化学习和模型预测控制的区别与联系”

【顶会速递】RLC2024—128篇Accept论文汇总

【首届RL领域会议】Barto、Sutton、Sliver师徒3代，7篇杰出论文奖，独有论文评审机制公布。

【重磅头条】Agent Q智能体发布，利用自我对弈和强化学习, 实现自我纠正和自主改进！

【人物观点】RLHF 只是勉强 RL，前OpenAI大牛Andrej Karpathy全面解读与AlphaGo区别

【滴滴实习生招聘】强化学习项目落地(有转正机会)

【重磅快讯】强化学习大牛John Schulman离职OpenAI, 曾开发PPO|TRPO等, 领导OpenAI强化学习团队！

【重磅最新】OpenAI为RL设计出新的奖励机制

【字节招聘】强化学习智能体研究员

【顶会速递】清华大学提出“利用强化学习破解火箭回收过程的控制难题”

【粉丝福利】抽奖赠书《GPT图解：大模型是怎样构建的》

【腾讯招聘】游戏AI强化学习算法研究员

从文字模型到世界模型！Meta新研究让AI Agent理解物理世界

【重磅开源】LeCun新作Puppeteer=基于强化学习+数据驱动+视觉全身人形控制方法

【好书力荐】大规模语言模型与强化学习：从理论到实践(文末抽奖赠送5本)

【最新综述！】「大模型+强化学习」详解四条主流技术路线

【今日头条招聘】机器人强化学习研究员(2024届优先)

重磅 | 南栖仙策发布强化学习工业决策软件REVIVE 1.0

【开放源码】强化学习经典教材《RL for Sequential Decision and Optimal Control》

【腾讯招聘】强化学习岗位汇总

【吴恩达来信】AI智能体的黎明时刻

【LSTM之父Schmidhuber总结博客】利用循环世界模型和人工好奇心进行强化学习和规划

Richard Sutton ||智能决策器通用模型的探索

【Nature重磅】DeepMind数学模型AlphaGeometry，做对25道几何题，GPT-4惨败得0分

2023计算机科学7项重大突破！「P与NP」50年经典难题，大模型密集涌现上榜

论文分享| AAAI 2024 北航开源社交机器人行为对抗仿真计算平台SIASM，高效提升网络行为对抗能力

【真伪鉴别】OpenAI内幕文件惊人曝出，Q*疑能破解加密！是否具有元认知能力？

新书《面向工业控制的强化学习理论与方法》

【书籍推荐】清华大学李升波教授撰写《面向工业控制的强化学习理论与方法》

OpenAI神秘Q*项目解密！诞生30+年「Q学习」算法引全球网友终极猜想

【官方公布】2023中国科学院院士、中国工程院增选当选院士名单公布

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉