本文介绍来自北京航空航天大学彭浩老师团队发表在NeurlPS 2024上的一篇文章“Effective Exploration Based on the Structural Information Principles”。为了解决当前基于传统信息论的探索方法由于忽略状态-动作空间内在结构而导致效率低下的问题，作者提出了一种基于结构信息原理的探索框架，即SI2E。
SI2E通过定义结构互信息，提出一种新的状态动作表征原则，捕捉状态-动作对之间的动态关系，构建最优编码树。通过分析状态-动作对之间的价值差异，定义策略条件结构熵，构造内在奖励机制，实现对于状态-动作空间更为有效的覆盖。在MiniGrid、MetaWorld和DeepMind Control Suite等测试环境中，SI2E在最终性能与采样效率等方面的表现遥遥领先，最大提升幅度分别达到了37.63%和60.25%。
论文名称：
Effective Exploration Based on the Structural Information Principles
论文链接：
https://penghao-bdsc.github.io/papers/Effective%20Exploration%20Based%20on%20the%20Structural%20Information%20Principles.pdf
代码链接：
https://github.com/SELGroup/SI2E
一、引言
在强化学习（RL）领域，智能体探索和利用行为之间平衡至关重要，尤其在高维度观测和稀疏奖励的场景中。最近，基于传统信息论的探索方法在自监督设置中最大化对于状态空间与动作空间的覆盖，以优化智能体策略并减轻次优结果的风险。然而，上述方法存在两个挑战，目前尚未解决：
挑战1：传统最大熵策略容易受到价值分布影响，导致偏向于低值状态的不平衡探索
为减轻这一问题，该团队引入了以策略值为条件的高维结构熵。基于对状态-动作对的价值估计解析层次化社区结构，并依据智能体探索行为定义内在奖励，构建奖励塑形机制，在最大化整个状态-动作空间的覆盖的基础上，避免对于低值社区的无效覆盖。
挑战2：当前的结构信息研究存在单一变量限制，并未涉及对多变量之间的关系建模
在这项工作中，作者提出了结构互信息的概念，首次实现对于多变量之间结构相似性的度量，进一步提出对于状态-动作对的表征原则，在捕捉环境动态信息的同时，避免无效的观测干扰。
图1说明了一个简单的六状态马尔可夫决策过程 (MDP)，其中包含四个动作。如图例所示，蓝线和红线的不同密度代表不同的动作，导致状态转换，旨在返回初始状态 因此，状态-动作对 结构互信息
该团队解决了现有结构信息原理中普遍存在的单变量约束，并引入了结构互信息的概念，以便在SI2E 框架内进行后续的状态-动作表示学习。
给定随机变量对 (X,Y) ， |X|=|Y|=n ，构造一个带权无向二分图
最优近似二叉树 为了准确定义结构互信息，需要考虑不同划分结构下两个变量的联合熵。作者引入一个应用于
结构互信息与传统互信息之间的关系：
二、SI2E框架设计
所提出SI2E框架的详细设计如下图所示，主要包含状态动作表征与智能体探索模块。
2.1 状态动作表征 2.1.1 结构互信息原理 为了有效地学习与环境动态信息相关的状态-动作表示，作者提出了一种创新的表征原则，该原则最大化了与后续状态的结构互信息，并最小化了与当前状态的结构互信息。
在该阶段，作者利用编码器 通过计算互信息 2.1.2 表征学习目标 在研究中，由于直接最小化 ，将最小化 同时，为了降低条件熵 2.2 最大结构熵探索 作者设计了一个独特的内在奖励机制，以解决传统熵策略中对低价值状态的不平衡探索的挑战。具体来说，基于策略函数生成了状态-动作空间的层次化社区结构，并依据智能体访问概率定义价值条件结构熵，实现更为有效的最大化覆盖探索。 2.2.1 分层状态-动作结构 作者从智能体与环境的交互历史中提取状态-动作对，形成一个完整的图 2.2.2 值条件结构熵 为了衡量智能体探索在状态-动作空间中的覆盖程度，作者构建了一个额外的分布图 在图
其中， 2.2.3 评估和内在奖励 在面对直接获取访问概率的不可行性时，作者研究采用了k-NN熵估计器来估计条件结构熵下界，以评估状态-动作空间的覆盖程度。通过使用这个估计器得到的结果，可以定义内在奖励，并结合外部任务奖励，训练强化学习智能体来解决目标任务。 三、实验与评估
为了验证该框架的性能优势，作者在MiniGrid、MetaWorld和DMControl等环境中进行了一系列综合性的对比实验。 3.1 MiniGrid实验对比 在MiniGrid基准测试中，作者评估了SI2E在导航任务中的表现，这些任务旨在在稀疏奖励环境中实现目标。该设置是部分可观察的，智能体接收到周围网格的7×7×3嵌入而不是整个网格环境。作者采用A2C智能体作为基准，并将香农熵和基于价值的状态熵（VCSE）作为对比。实验结果显示，在各种导航任务中，包括带障碍物的导航、长期导航以及带障碍物的长期导航，如表1所示，SI2E在最终性能和样本效率方面表现出显著改善。 3.2 MetaWorld实验对比 作者进一步在MetaWorld基准测试中的视觉操作任务上评估SI2E框架，该基准测试由于其庞大的状态空间而提出了探索性挑战。作者选择DrQv2算法作为基础RL方法。采用相同的摄像头配置，并将奖励标准化为1。同时，表1中总结了所有探索方法在六个MetaWorld任务中的成功率和所需步骤，从而证明了SI2E的性能优势。 3.3 DMControl实验对比 此外，该团队在DMControl套件中的连续控制任务中对SI2E框架进行了评估，同样选用了DrQv2算法作为基础智能体，该算法基于像素观察进行操作。为了更全面地比较，引入了MADE作为状态-动作探索基线。通过评估六个连续控制任务中所有探索方法的表现并记录在表2中，观察结果显示，SI2E显著提高了每个DMControl任务的平均集奖励。
下图中对比了SI2E和最佳基线的样本效率。这些结果不仅展示了SI2E在获取与动态相关的状态-动作表示方面的有效性，还突显了其激励智能体探索状态-动作空间的潜力。
为了更好地理解SI2E框架的合理性和优势，下图提供了SI2E表征结果与探索行为的可视化实验：(a) 基于结构互信息原理的表示学习可视化，(b) 通过最大化价值条件结构熵实现智能体探索的可视化。
3.4 消融实验 通过对MetaWorld和DMControl任务进行消融实验，作者专注于研究SI2E框架中嵌入原则和内在奖励机制这两个关键组成部分的影响。关注了两个不同变体：(i) SI2E-DB，利用DB瓶颈来学习状态-动作表示，(ii) SI2E-VCSE，采用最先进的VCSE方法来计算内在奖励。结果显示，如下图所示，SI2E在最终性能和样本效率方面均优于所有变体，这表明这些关键组件在赋予SI2E卓越能力方面起着重要作用。
五、结论及展望
作者提出了一种基于结构信息原理的新型智能体探索框架SI2E。该框架定义了结构互信息，以有效捕获与环境动态相关的状态-动作表示。它最大化了以价值为条件的高维结构熵，以增强对于整个状态-动作空间更为有效的覆盖。同时，建立了SI2E与传统信息论探索方法之间的理论联系，凸显了该框架的合理性和优势。通过广泛的对比评估，与最先进的探索方法相比，SI2E显著提高了最终性能和取样效率。作者未来的工作包括扩展编码树的高度和实验环境的范围。作者的目标是让SI2E在强化学习中保持一个强大和适应性强的工具，特别适合高维和稀疏奖励的环境。
篇幅原因，我们在本文中省略了诸多细节，更多细节可以在论文中找到。感谢阅读！
llustration From IconScout By Kawalan Studio “AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（ www.techbeat.net ）。 社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj 投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿 ”二字，获得投稿说明。
将门 是一家以专注于 数智核心科技领域 的 新型创投机构 ，也是 北京市标杆型孵化器 。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。 将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。 如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务， 欢迎发送或者推荐项目给我“门”:
