深度强化学习与算法优化：通用的无模型强化学习，MR.Q，状态-动作嵌入学习
Towards General-Purpose Model-Free Reinforcement Learning
2025-01-27｜Meta , ｜ICLR 2025|🔺16
http://arxiv.org/abs/2501.16142v1
https://huggingface.co/papers/2501.16142
https://github.com/facebookresearch/MRQ
研究背景与意义
在强化学习（RL）领域，尽管其理论基础具有广泛的适用性，但实际应用中，现有的RL算法往往是针对特定基准任务进行优化的，依赖于精细调节的超参数和算法选择。这种现象限制了RL算法的通用性和灵活性。最近，基于模型的RL方法虽然在多个基准上表现出色，但其复杂性和较慢的运行速度限制了其广泛应用。本文提出了一种新的无模型深度RL算法MR.Q，旨在解决这一问题。通过利用基于模型的表示，MR.Q能够在不增加计算负担的情况下，提升样本效率和性能。研究的目标是找到一种统一的无模型深度RL算法，以应对多种领域和问题设置。
研究方法与创新
MR.Q的核心创新在于其通过模型基础的表示来学习状态-动作对的嵌入，使得价值函数的线性关系得以近似捕捉。具体而言，MR.Q的实现依赖于以下几个关键步骤：
状态-动作嵌入学习：通过将状态和动作映射到一个统一的嵌入空间，MR.Q能够消除环境特有的输入特征，使用标准化的超参数。
非线性价值函数：在学习过程中，MR.Q不仅关注线性关系，还允许使用非线性函数来近似价值函数，以应对近似误差。
动态目标的改进：MR.Q采用状态依赖的嵌入作为动态目标，避免了对当前策略的依赖，从而提升了算法的稳定性和收敛性。
独立的值函数和策略训练：算法的设计使得值函数和策略的训练可以独立进行，减少了优化过程中的非平稳性。
通过这些创新，MR.Q在多个基准上展现出与最先进的领域特定和通用基线相竞争的表现，且只需一组超参数即可适应不同的环境。
实验设计与结果分析
MR.Q在四个广泛使用的RL基准和118个环境中进行了评估，结果显示：
Gym-Locomotion：MR.Q在该基准中表现优异，超越了多个领域特定的基线。
DMC-Proprioceptive和DMC-Visual：在这两个基准中，MR.Q的表现也相对较好，尤其是在处理不同观察空间的任务时。
Atari：尽管MR.Q在Atari基准中略逊于DreamerV3，但其参数量仅为后者的1/40，且在其他基准中表现更为出色。
实验结果表明，MR.Q在多个基准测试中展现出良好的通用性和适应性，尤其是在样本效率和训练速度方面，证明了其作为通用模型无关深度RL算法的潜力。
结论与展望
MR.Q为构建通用的无模型深度RL算法提供了一种新的思路，通过结合模型基础的表示与无模型的框架，显著提升了算法在不同环境中的适用性。未来的研究可以进一步探讨MR.Q在更复杂的任务设置中的表现，包括处理困难探索任务和非马尔可夫环境的能力。此外，随着RL领域的不断发展，构建更简化的通用算法将有助于使这一技术更易于普及，最终使用户能够轻松训练智能体。
