OpenAI团队最近探讨了大型语言模型在执行复杂多步推理任务时的可靠性问题。研究表明，尽管最新的大型语言模型在多步推理方面取得了显著进展，但它们仍会犯逻辑错误。为了训练更可靠的模型，研究者们对比了两种监督方法：结果监督（outcome supervision）和过程监督（process supervision）。
结果监督和过程监督作为两种不同的监督学习方法，但在强化学习（Reinforcement Learning, RL）的背景下可以被视为两种不同的反馈机制，结果监督仅对最终结果提供反馈，而过程监督则对每一步推理提供反馈。研究发现，过程监督在训练模型解决MATH数据集中的问题时，显著优于结果监督。它们在实际应用中的具体差异主要体现在以下几个方面：
反馈的详细程度：
结果监督：仅在最终结果出现时提供反馈。如果最终答案正确，则整个推理过程被认为是好的；如果最终答案错误，则不会提供关于错误发生位置的具体信息。
过程监督：在每一步推理过程中都提供反馈，指出每一步的正确性。这允许模型在训练过程中精确地识别并修正错误。
错误分析和修正能力：
结果监督：由于缺乏中间步骤的反馈，模型难以识别和学习如何修正错误。模型可能无法理解为什么某个特定步骤是错误的，以及如何改进。
过程监督：通过在每一步提供反馈，模型可以学习在何处以及如何纠正错误。这有助于模型更好地理解任务，并在遇到类似情况时做出正确的推理。
训练数据的效率和质量：
结果监督：可能需要更多的数据来训练模型，因为模型需要通过试错来学习。此外，由于缺乏中间步骤的反馈，模型可能更容易记住特定输入输出对，而不是学习泛化的推理规则。
过程监督：可以更有效地利用训练数据，因为每一步的反馈都为模型提供了更多的学习机会。这有助于模型学习更泛化的推理策略，而不仅仅是特定的例子。
模型的可解释性和透明度：
结果监督：由于缺乏对中间步骤的监督，模型的决策过程可能更难以解释和理解。
过程监督：通过监督每一步的推理，可以提高模型决策过程的透明度，使得模型的推理更易于解释和验证。
对复杂任务的适应性：
结果监督：在面对需要复杂推理的任务时，可能不如过程监督有效，因为它无法提供足够的信息来指导模型进行正确的推理。
过程监督：特别适合于复杂任务，因为它提供了详细的反馈，帮助模型在每一步都做出正确的决策。
数据收集和标注的成本：
结果监督：通常需要较少的人工标注，因为只需要对最终结果进行评估。
过程监督：需要更多的人工标注工作，因为需要对每一步推理进行详细的评估。然而，如论文中所述，通过主动学习策略可以显著提高数据收集的效率。
总结来说，结果监督和过程监督是强化学习中的两种不同反馈机制，它们影响着模型的学习效率和最终策略的质量。在实际应用中，选择哪种监督方式取决于特定任务的需求、可用资源以及对学习过程的具体要求。
