经典的草莓（strawberry）问题，轻松拿下
在MGSM上Marco-o1准确性得到了提升
将蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）与大型语言模型（LLMs）集成，以增强Marco-o1模型的推理能力：
MCTS框架中的节点和动作：
在MCTS框架中，每个节点代表问题解决过程中的一个推理状态。
从节点可能的动作是由LLM生成的输出，这些输出代表推理链中的潜在步骤或微步骤。
展开和奖励计算：
在展开阶段，LLM继续推理过程直到达到一个终端状态。
通过计算每个状态的值来引导MCTS，这个值是通过计算信心分数得到的。
信心分数的计算：
对于在展开过程中生成的每个标记（token），通过将softmax函数应用于该标记的对数概率以及前5个替代标记的对数概率来计算其信心分数。
信心分数反映了所选标记相对于其他顶部选择的概率，有效地将分数标准化在0和1之间。
整体奖励分数：
在获得展开序列中所有标记的信心分数后，通过计算所有标记的平均信心分数来得出整体奖励分数。
这个平均值作为奖励信号，评估在展开期间采取的推理路径的质量。更高的整体奖励分数表示更有信心且可能更准确的推理路径。
解决方案空间的扩展：
通过这种方法，有效地扩展了解决方案空间，允许模型探索大量的推理路径，并根据计算出的信心分数选择最可能的路径。
实验结果表明，Marco-o1模型在不同语言和配置下提高了推理能力。
由于使用信心分数作为奖励，树搜索结果表现出显著的随机性，目前还无法确定哪种行动策略更优越。
随着奖励信号变得更加准确，MCTS提供的更大解决方案空间将展示出更大的潜力。
数学推理case分析
更细的粒度与微步增强了问题解决能力。在MGSM数据集上，Marco-o1-MCTS（步）（左）与Marco-o1-MCTS（32个标记的微步）（右）的比较。步级动作策略没有得出正确答案，但通过使用更细粒度的32个标记的微步，模型成功地导航了解决方案空间以找到正确答案，展示了增加动作粒度的有效性。
俚语表达“它如此美丽！而且它如此便宜，超级直且不卷曲。买它，买它！”的翻译比较。
https://arxiv.org/pdf/2411.14405Marco-o1: Towards Open Reasoning Models for Open-Ended Solutionshttps://huggingface.co/AIDC-AI/Marco-o1
来源 | PaperAgent
