你好，我是郭震今日AI技术再迎来突破，OpenAI发现一种微调技术，能让大模型o1-mini超越地表最强大模型o1如下图所示，微调后的o1-mini竟然超越了o1:他们称这项微调技术为：强化微调（Reinforcement Fine-Tuning)，下文统一简称为RFT.更令人意想不到的是，强化微调RFT的技术思路，竟然全部来自字节。下面这篇Reasoing with REinforced Fine-Tuning： 就这样字节再送神助攻。OpenAI拿它来训练自家模型，再让大模型继续狂飙，o1-mini涨超o1.因此要想了解强化微调RTF，通过字节的这篇论文就能知道大概。先看看下面这幅图：此图来自字节的这篇论文此图讲解了RFT的主要步骤，首先经过监督微调（Supervised Fine-Tuning )，简称SFT，目的就是为了预热RFT，通过Chain of Thought (COT) ，也就是上图中的标记 e，得到很多推理路径样本。RFT预热后，进入第二阶段，使用在线强化学习算法训练，训练完成得到最终Policy. 使用的强化学习算法是OpenAI提出的PPO.
