https://link.springer.com/book/10.1007/978-981-19-7784-8![]()
该书主要面向工业控制领域的研究者和工程师撰写，按照原理剖析、主流算法、典型示例的架构，系统地介绍了用于动态系统决策与控制的强化学习方法。全书共分为11章，内容涵盖了强化学习的基本概念、蒙特卡洛法、时序差分法、动态规划法、函数近似法、策略梯度法、近似动态规划、状态约束的处理和深度强化学习等知识点。下面简要介绍各章的主要内容：第1章介绍强化学习（Reinforcement Learning, RL）概况，包括发展历史、知名学者、典型应用以及主要挑战等。第2章介绍RL的基础知识，包括定义概念、自洽条件、最优性原理与问题架构等。第3章介绍无模型RL的蒙特卡洛法，包括Monte
Carlo估计、On-policy/Off-policy、重要性采样等。第4章介绍无模型RL的时序差分法，包括它衍生的Sarsa、Q-learning、Expected Sarsa等算法。第5章介绍带模型RL的动态规划法，包括策略迭代、值迭代、通用迭代架构与收敛性证明等。第6章介绍间接型RL的函数近似法，包括常用近似函数、值函数近似、策略函数近似以及所衍生的Actor-Critic架构等。第7章介绍直接型RL的策略梯度法，包括On-policy gradient、Off-policy gradient、它们的代价函数与优化算法等。第8章介绍带模型的近似动态规划（ADP）方法，包括无穷时域的ADP、有限时域的ADP、ADP与MPC的联系与区别等。第9章探讨了状态约束的处理手段，它与求解可行性、策略安全性之间的关系，以及Actor-Critic-Scenery三要素求解架构等。第10章介绍深度强化学习（DRL），即以神经网络为载体的RL，包括神经网络的原理与训练，深度化挑战以及DQN、DDPG、TD3、TRPO、PPO、SAC、DSAC等典型深度化算法。第11章介绍RL的各类拾遗，包括鲁棒性、POMDP、多智能体、元学习、逆强化学习、离线强化学习以及训练框架与平台等。配套课程PPT——百度、知乎搜索“强化学习与控制”。课程配套代码——为了便于工程人员与广大读者的学习，配套的源代码已经上传至书籍的Springer网站：https://link.springer.com/book/10.1007/978-981-19-7784-8，读者可自行下载辅助学习，下面简要说明代码的下载方式、安装要求以及相关例子。点击上述网址的白色选项“Access Source Code”跳转至Github。进入Github后，点击绿色选项code，选择Download ZIP下载压缩文件；或使用Git将存储库克隆到本机。在本机终端或命令行界面中，执行命令以克隆代码库到本地：git clone
https://github.com/Apress/Reinforcement-Learning-for-Sequential-Decision-and-Optimal-Control在终端或命令行中输入命令配置环境：conda env create -n rlbook -f environment.yml在终端或命令行中输入命令激活环境：conda activate rlbook
此后，打开每一个python文件运行main或plot的python脚本即可。Chap_3_4_CleanRobot:第3章和第4章的清扫机器人示例代码。Chap_5_AutoCar_GridRoad:第5章的自动驾驶汽车代码示例。Chap_6_Actor_Critic_Algorithm:第6章的3类Actor-Critic（AC）算法代码。Chap_7_AC_with_Baseline:第7章有/无baseline的AC算法性能对比。Chap_8_Veh_Track_Ctrl:第8章的车辆跟踪控制示例代码。Chap_9_Car_Brake_Control:第9章的紧急制动控制示例代码。遵循以上步骤，您将成功设置和运行本代码库的示例代码，并开始探索强化学习的精彩世界！如果存在问题，欢迎大家加入GOPS用户交流群进行交流。GOPS开源网站见: https://gops.readthedocs.io/![]()
