[套装书]强化学习+强化学习：原理与Python 实现[鲜读]（2册）

作者
（荷）马可·威宁（Marco Wiering） （荷）马丁·范·奥特罗（Martijn van Otterlo）肖智清
丛书名
智能科学与技术丛书
出版社
机械工业出版社
ISBN
9787190730144
简要
简介
内容简介书籍计算机书籍 ---------------------------强化学习：原理与Python 实现[鲜读]--------------------------- 全书分为三个部分。第一部分了解强化学习应用，了解强化学习基本知识，搭建强化学习测试环境。该部分包括：强化学习的概况、强化学习简单示例、强化学习算法的常见思想、强化学习的应用、强化学习测试环境的搭建。第二部分介绍强化学习理论与深度强化学习算法。强化学习理论部分：Markov决策过程的数学描述、Monte Carlo方法和时序差分方法的数学理论；深度强化学习算法部分：详细剖析全部具有重要影响力的深度强化学习算法，结合TensorFlow实现源码。第三部分介绍强化学习综合应用案例。 ---------------------------强化学习--------------------------- 本书包括六大部分，详细介绍了强化学习中各领域的基本理论和研究内容，内容包括：MDP、动态规划、蒙特卡罗方法、批处理强化学习、TD学习、Q学习、策略迭代的最小二乘法、迁移学习、贝叶斯强化学习、一阶逻辑MDP、层次式强化学习、演化计算、预测性定义状态表示、去中心化的部分可观察MDP、博弈论和多学习器强化学习等内容，并阐述强化学习与心理和神经科学、游戏领域、机器人领域的关系和应用，有助于研究者了解强化学习领域，发现新的研究方向。 本书适合作为高等院校机器学习、人工智能相关课程的参考书，也可作为人工智能领域技术人员的参考用书。
目录



---------------------------强化学习：原理与Python 实现[鲜读]---------------------------


前言
第1 章　初识强化学习 1
1.1　强化学习及其关键元素 1
1.2　强化学习的应用 3
1.3　智能体/ 环境接口 4
1.4　强化学习的分类 6
1.4.1　按任务分类 6
1.4.2　按算法分类 7
1.5　如何学习强化学习 8
1.5.1　学习路线 9
1.5.2　学习资源 9
1.6　 案例：基于Gym 库的智能体/
环境交互 9
1.6.1　安装Gym 库 10
1.6.2　使用Gym 库 10
1.6.3　小车上山 12
1.7　本章小结 14
第2 章　Markov 决策过程 16
2.1　Markov 决策过程模型 16
2.1.1　 离散时间Markov 决策
过程 16
2.1.2　环境与动力 18
2.1.3　智能体与策略 19
2.1.4　奖励、回报与价值函数 19
C O N T E N T S
目　　录
2.2　Bellman 期望方程 21
2.3　最优策略及其性质 25
2.3.1　 最优策略与最优价值
函数 25
2.3.2　Bellman 最优方程 25
2.3.3　 用Bellman 最优方程求解
最优策略 29
2.4　案例：悬崖寻路 31
2.4.1　实验环境使用 31
2.4.2　求解Bellman 期望方程 32
2.4.3　求解Bellman 最优方程 33
2.5　本章小结 35
第3 章　有模型数值迭代 37
3.1　度量空间与压缩映射 37
3.1.1　度量空间及其完备性 37
3.1.2　 压缩映射与Bellman
算子 38
3.1.3　Banach 不动点定理 39
3.2　有模型策略迭代 40
3.2.1　策略评估 40
3.2.2　策略改进 42
3.2.3　策略迭代 44
3.3　有模型价值迭代 45
3.4　动态规划 46
3.4.1　从动态规划看迭代算法 46
VI
3.4.2　异步动态规划 47
3.5　案例：冰面滑行 47
3.5.1　实验环境使用 48
3.5.2　有模型策略迭代求解 49
3.5.3　有模型价值迭代求解 51
3.6　本章小结 52
第4 章　回合更新价值迭代 54
4.1　同策回合更新 54
4.1.1　同策回合更新策略评估 54
4.1.2　 带起始探索的同策回合
更新 58
4.1.3　 基于柔性策略的同策回合
更新 60
4.2　异策回合更新 62
4.2.1　重要性采样 62
4.2.2　异策回合更新策略评估 64
4.2.3　 异策回合更新最优策略
求解 65
4.3　案例：21 点游戏 66
4.3.1　实验环境使用 66
4.3.2　同策策略评估 67
4.3.3　同策最优策略求解 70
4.3.4　异策策略评估 72
4.3.5　异策最优策略求解 73
4.4　本章小结 74
第5 章　时序差分价值迭代 76
5.1　同策时序差分更新 76
5.1.1　时序差分更新策略评估 78
5.1.2　SARSA 算法 81
5.1.3　期望SARSA 算法 83
5.2　异策时序差分更新 85
5.2.1　 基于重要性采样的异策
算法 85
5.2.2　Q 学习 86
5.2.3　双重Q 学习 87
5.3　资格迹 89
5.3.1　λ 回报 89
5.3.2　TD(λ) 90
5.4　案例：出租车调度 92
5.4.1　实验环境使用 93
5.4.2　同策时序差分学习调度 94
5.4.3　异策时序差分学习调度 97
5.4.4　资格迹学习调度 99
5.5　本章小结 100
第6 章　函数近似方法 101
6.1　函数近似原理 101
6.1.1　随机梯度下降 101
6.1.2　半梯度下降 103
6.1.3　带资格迹的半梯度下降 105
6.2　线性近似 107
6.2.1　 精确查找表与线性近似的
关系 107
6.2.2　线性最小二乘策略评估 107
6.2.3　 线性最小二乘最优策略
求解 109
6.3　函数近似的收敛性 109
6.4　深度Q 学习 110
6.4.1　经验回放 111
6.4.2　 带目标网络的深度Q
学习 112
6.4.3　双重深度Q 网络 114
6.4.4　对偶深度Q 网络 114
6.5　案例：小车上山 115
6.5.1　实验环境使用 116
6.5.2　 用线性近似求解最优
策略 117
VII　
6.5.3　 用深度Q 学习求解最优
策略 120
6.6　本章小结 123
第7 章　回合更新策略梯度方法 125
7.1　策略梯度算法的原理 125
7.1.1　函数近似与动作偏好 125
7.1.2　策略梯度定理 126
7.2　同策回合更新策略梯度算法 128
7.2.1　简单的策略梯度算法 128
7.2.2　 带基线的简单策略梯度
算法 129
7.3　异策回合更新策略梯度算法 131
7.4　 策略梯度更新和极大似然估计的
关系 132
7.5　案例：车杆平衡 132
7.5.1　 同策策略梯度算法求解
最优策略 133
7.5.2　 异策策略梯度算法求解
最优策略 135
7.6　本章小结 137
第8 章　执行者/ 评论者方法 139
8.1　同策执行者/ 评论者算法 139
8.1.1　 动作价值执行者/ 评论者
算法 140
8.1.2　 优势执行者/ 评论者
算法 141
8.1.3　 带资格迹的执行者/
评论者算法 143
8.2　基于代理优势的同策算法 143
8.2.1　代理优势 144
8.2.2　邻近策略优化 145
8.3　信任域算法 146
8.3.1　KL 散度 146
8.3.2　信任域 147
8.3.3　自然策略梯度算法 148
8.3.4　信任域策略优化 151
8.3.5　 Kronecker 因子信任域
执行者/ 评论者算法 152
8.4　 重要性采样异策执行者/ 评论者
算法 153
8.4.1　基本的异策算法 154
8.4.2　带经验回放的异策算法 154
8.5　柔性执行者/ 评论者算法 157
8.5.1　熵 157
8.5.2　奖励工程和带熵的奖励 158
8.5.3　 柔性执行者/ 评论者的
网络设计 159
8.6　案例：双节倒立摆 161
8.6.1　 同策执行者/ 评论者算法
求解最优策略 162
8.6.2　 异策执行者/ 评论者算法
求解最优策略 168
8.7　本章小结 170
第9 章　 连续动作空间的确定性
策略 172
9.1　同策确定性算法 172
9.1.1　 策略梯度定理的确定性
版本 172
9.1.2　 基本的同策确定性执行者/
评论者算法 174
9.2　异策确定性算法 176
9.2.1　 基本的异策确定性执行者/
评论者算法 177
9.2.2　 深度确定性策略梯度
算法 177
9.2.3　 双重延迟深度确定性
策略梯度算法 178
VIII
9.3　案例：倒立摆的控制 180
9.3.1　 用深度确定性策略梯度
算法求解 181
9.3.2　 用双重延迟深度确定性
算法求解 184
9.4　本章小结 187
第10 章　综合案例：电动游戏 188
10.1　Atari 游戏环境 188
10.1.1　Gym 库的完整安装 188
10.1.2　游戏环境使用 190
10.2　基于深度Q 学习的游戏AI 191
10.2.1　算法设计 192
10.2.2　智能体的实现 193
10.2.3　智能体的训练和测试 197
10.3　本章小结 198
第11 章　综合案例：棋盘游戏 200
11.1　双人确定性棋盘游戏 200
11.1.1　五子棋和井字棋 200
11.1.2　黑白棋 201
11.1.3　围棋 202
11.2　AlphaZero 算法 203
11.2.1　回合更新树搜索 203
11.2.2　深度残差网络 206
11.2.3　自我对弈 208
11.2.4　算法流程 210
11.3　棋盘游戏环境boardgame2 210
11.3.1　 为Gym 库扩展自定义
环境 211
11.3.2　boardgame2 设计 211
11.3.3　Gym 环境接口的实现 214
11.3.4　树搜索接口的实现 216
11.4　AlphaZero 算法实现 218
11.4.1　智能体类的实现 218
11.4.2　自我对弈的实现 223
11.4.3　训练智能体 224
11.5　本章小结 225
第12 章　综合案例：自动驾驶 226
12.1　AirSim 开发环境使用 226
12.1.1　安装和运行AirSim 226
12.1.2　用Python 访问AirSim 228
12.2　基于强化学习的自动驾驶 229
12.2.1　 为自动驾驶设计强化
学习环境 230
12.2.2　智能体设计和实现 235
12.2.3　智能体的训练和测试 237
12.3　本章小结 239


---------------------------强化学习---------------------------


译者序
序言
前言
作者清单
第一部分　绪论
第1章　强化学习和马尔可夫决策过程 2
1.1　简介 2
1.2　时序决策 3
1.2.1　接近时序决策 4
1.2.2　在线学习与离线学习 4
1.2.3　贡献分配 5
1.2.4　探索–运用的平衡 5
1.2.5　反馈、目标和性能 5
1.2.6　表达 6
1.3　正式的框架 6
1.3.1　马尔可夫决策过程 7
1.3.2　策略 9
1.3.3　最优准则和减量 9
1.4　价值函数和贝尔曼方程 10
1.5　求解马尔可夫决策过程 12
1.6　动态规划：基于模型的解决方案 13
1.6.1　基本的动态规划算法 13
1.6.2　高效的动态规划算法 17
1.7　强化学习：无模型的解决方案 19
1.7.1　时序差分学习 20
1.7.2　蒙特卡罗方法 23
1.7.3　高效的探索和价值更新 24
1.8　总结 27
参考文献 27
第二部分　高效的解决方案框架
第2章　批处理强化学习 32
2.1　简介 32
2.2　批处理强化学习问题 33
2.2.1　批处理学习问题 33
2.2.2　增长批处理学习问题 34
2.3　批处理强化学习算法的基础 34
2.4　批处理强化学习算法 37
2.4.1　基于核的近似动态规划 37
2.4.2　拟合Q迭代 39
2.4.3　基于最小二乘的策略迭代 40
2.4.4　识别批处理算法 41
2.5　批处理强化学习理论 42
2.6　批处理强化学习的实现 43
2.6.1　神经拟合Q迭代 44
2.6.2　控制应用中的神经拟合Q迭代算法 45
2.6.3　面向多学习器的批处理强化学习 46
2.6.4　深度拟合Q迭代 48
2.6.5　应用／发展趋势 49
2.7　总结 50
参考文献 50
第3章　策略迭代的最小二乘法 53
3.1　简介 53
3.2　预备知识：经典策略迭代算法 54
3.3　近似策略评估的最小二乘法 55
3.3.1　主要原则和分类 55
3.3.2　线性情况下和矩阵形式的方程 57
3.3.3　无模型算法的实现 60
3.3.4　参考文献 62
3.4　策略迭代的在线最小二乘法 63
3.5　例子：car-on-the-hill 64
3.6　性能保障 66
3.6.1　渐近收敛性和保证 66
3.6.2　有限样本的保证 68
3.7　延伸阅读 73
参考文献 74
第4章　学习和使用模型 78
4.1　简介 78
4.2　什么是模型 79
4.3　规划 80
4.4　联合模型和规划 82
4.5　样本复杂度 84
4.6　分解域 86
4.7　探索 88
4.8　连续域 91
4.9　实证比较 93
4.10　扩展 95
4.11　总结 96
参考文献 97
第5章　强化学习中的迁移：框架和概观 101
5.1　简介 101
5.2　强化学习迁移的框架和分类 102
5.2.1　迁移框架 102
5.2.2　分类 104
5.3　固定状态–动作空间中从源到目标迁移的方法 108
5.3.1　问题形式化 108
5.3.2　表示迁移 109
5.3.3　参数迁移 110
5.4　固定状态–动作空间中跨多任务迁移的方法 111
5.4.1　问题形式化 111
5.4.2　实例迁移 111
5.4.3　表示迁移 112
5.4.4　参数迁移 113
5.5　不同状态–动作空间中从源到目标任务迁移的方法 114
5.5.1　问题形式化 114
5.5.2　实例迁移 115
5.5.3　表示迁移 115
5.5.4　参数迁移 116
5.6　总结和开放性问题 116
参考文献 117
第6章　探索的样本复杂度边界 122
6.1　简介 122
6.2　预备知识 123
6.3　形式化探索效率 124
6.3.1　探索的样本复杂度和PAC-MDP 124
6.3.2　遗憾最小化 125
6.3.3　平均损失 127
6.3.4　贝叶斯框架 127
6.4　通用PAC-MDP定理 128
6.5　基于模型的方法 130
6.5.1　Rmax 130
6.5.2　Rmax的泛化 132
6.6　无模型方法 138
6.7　总结 141
参考文献 141
第三部分　建设性的表征方向
第7章　连续状态和动作空间中的强化学习 146
7.1　简介 146
7.1.1　连续域中的马尔可夫决策过程 147
7.1.2　求解连续MDP的方法 148
7.2　函数逼近 149
7.2.1　线性函数逼近 150
7.2.2　非线性函数逼近 153
7.2.3　更新参数 154
7.3　近似强化学习 157
7.3.1　数值逼近 157
7.3.2　策略逼近 162
7.4　双极车杆实验 168
7.5　总结 171
参考文献 171
第8章　综述：求解一阶逻辑马尔可夫决策过程 179
8.1　关系世界中的顺序决策简介 179
8.1.1　马尔可夫决策过程：代表性和可扩展性 180
8.1.2　简短的历史和与其他领域的联系 181
8.2　用面向对象和关系扩展马尔可夫决策过程 183
8.2.1　关系表示与逻辑归纳 183
8.2.2　关系型马尔可夫决策过程 184
8.2.3　抽象问题和求解 184
8.3　基于模型的解决方案 186
8.3.1　贝尔曼备份的结构 186
8.3.2　确切的基于模型的算法 187
8.3.3　基于近似模型的算法 190
8.4　无模型的解决方案 192
8.4.1　固定泛化的价值函数学习 192
8.4.2　带自适应泛化的价值函数 193
8.4.3　基于策略的求解技巧 196
8.5　模型、层级、偏置 198
8.6　现在的发展 201
8.7　总结和展望 203
参考文献 204
第9章　层次式技术 213
9.1　简介 213
9.2　背景 215
9.2.1　抽象动作 215
9.2.2　半马尔可夫决策问题 216
9.2.3　结构 217
9.2.4　状态抽象 218
9.2.5　价值函数分解 219
9.2.6　优化 220
9.3　层次式强化学习技术 220
9.3.1　选项 221
9.3.2　HAMQ学习 222
9.3.3　MAXQ 223
9.4　学习结构 226
9.5　相关工作和当前研究 228
9.6　总结 230
参考文献 230
第10章　针对强化学习的演化计算 235
10.1　简介 235
10.2　神经演化 237
10.3　TWEANN 239
10.3.1　挑战 239
10.3.2　NEAT 240
10.4　混合方法 241
10.4.1　演化函数近似 242
10.4.2　XCS 243
10.5　协同演化 245
10.5.1　合作式协同演化 245
10.5.2　竞争式协同演化 246
10.6　生成和发展系统 247
10.7　在线方法 249
10.7.1　基于模型的技术 249
10.7.2　在线演化计算 250
10.8　总结 251
参考文献 251
第四部分　概率模型
第11章　贝叶斯强化学习 260
11.1　简介 260
11.2　无模型贝叶斯强化学习 261
11.2.1　基于价值函数的算法 261
11.2.2　策略梯度算法 264
11.2.3　演员–评论家算法 266
11.3　基于模型的贝叶斯强化学习 268
11.3.1　由POMDP表述的贝叶斯强化学习 268
11.3.2　通过动态规划的贝叶斯强化学习 269
11.3.3　近似在线算法 271
11.3.4　贝叶斯多任务强化学习 272
11.3.5　集成先验知识 273
11.4　有限样本分析和复杂度问题 274
11.5　总结和讨论 275
参考文献 275
第12章　部分可观察的马尔可夫决策过程 279
12.1　简介 279
12.2　部分可观察环境中的决策 280
12.2.1　POMDP模型 280
12.2.2　连续和结构化的表达 281
12.2.3　优化决策记忆 282
12.2.4　策略和价值函数 284
12.3　基于模型的技术 285
12.3.1　基于MDP的启发式解决方案 285
12.3.2　POMDP的值迭代 286
12.3.3　确切的值迭代 288
12.3.4　基于点的值迭代方法 290
12.3.5　其他近似求解方法 291
12.4　无先验模型的决策 292
12.4.1　无记忆技术 292
12.4.2　学习内部记忆 292
12.5　近期研究趋势 294
参考文献 295
第13章　预测性定义状态表示 300
13.1　简介 300
13.1.1　状态是什么 301
13.1.2　哪一个状态表示 301
13.1.3　为什么使用预测性定义模型 302
13.2　PSR 303
13.2.1　历史及测试 303
13.2.2　测试的预测 304
13.2.3　系统动态向量 304
13.2.4　系统动态矩阵 305
13.2.5　充分的数据集 305
13.2.6　状态 306
13.2.7　更新状态 306
13.2.8　线性PSR 307
13.2.9　线性PSR与POMDP的关联 307
13.2.10　线性PSR的理论结果 308
13.3　PSR模型学习 308
13.3.1　发现问题 308
13.3.2　学习问题 309
13.3.3　估计系统动态矩阵 309
13.4　规划与PSR 309
13.5　PSR的扩展 310
13.6　其他具有预测性定义状态的模型 311
13.6.1　可观测算子模型 311
13.6.2　预测线性高斯模型 312
13.6.3　时序差分网络 312
13.6.4　分集自动机 312
13.6.5　指数族PSR 313
13.6.6　转换PSR 313
13.7　总结 313
参考文献 314
第14章　博弈论和多学习器强化学习 317
14.1　简介 317
14.2　重复博弈 319
14.2.1　博弈论 319
14.2.2　重复博弈中的强化学习 322
14.3　顺序博弈 325
14.3.1　马尔可夫博弈 326
14.3.2　马尔可夫博弈中的强化学习 327
14.4　在多学习器系统中的稀疏交互 330
14.4.1　多等级学习 330
14.4.2　协调学习与稀疏交互 331
14.5　延伸阅读 334
参考文献 334
第15章　去中心化的部分可观察马尔可夫决策过程 338
15.1　简介 338
15.2　Dec-POMDP框架 339
15.3　历史状态与策略 340
15.3.1　历史状态 341
15.3.2　策略 341
15.3.3　策略的结构 342
15.3.4　联合策略的质量 343
15.4　有限域的Dec-POMDP的解决方案 344
15.4.1　穷举搜索和Dec-POMDP复杂性 344
15.4.2　交替最大化 344
15.4.3　Dec-POMDP的最优价值函数 345
15.4.4　前推法：启发式搜索 348
15.4.5　后推法：动态规划 350
15.4.6　其他有限域的方法 353
15.5　延伸阅读 353
15.5.1　一般化和特殊问题 353
15.5.2　有限Dec-POMDP 354
15.5.3　强化学习 355
15.5.4　通信 356
参考文献 356
第五部分　其他应用领域
第16章　强化学习与心理和神经科学之间的关系 364
16.1　简介 364
16.2　经典（巴甫洛夫）条件反射 365
16.2.1　行为 365
16.2.2　理论 366
16.2.3　小结和其他注意事项 367
16.3　操作性（工具性）条件反射 368
16.3.1　动作 368
16.3.2　理论 369
16.3.3　基于模型的控制与无模型的控制 370
16.3.4　小结和其他注意事项 371
16.4　多巴胺 371
16.4.1　多巴胺作为奖励预测误差 372
16.4.2　多巴胺的强化信号的作用 372
16.4.3　小结和其他注意事项 373
16.5　基底神经节 373
16.5.1　基底神经节概述 374
16.5.2　纹状体的神经活动 374
16.5.3　皮质基神经节丘脑循环 375
16.5.4　小结和其他注意事项 377
16.6　总结 378
参考文献 378
第17章　游戏领域的强化学习 387
17.1　简介 387
17.1.1　目标和结构 387
17.1.2　范围 388
17.2　游戏展示厅 388
17.2.1　西洋双陆棋 389
17.2.2　国际象棋 391
17.2.3　围棋 394
17.2.4　俄罗斯方块 398
17.2.5　即时战略游戏 400
17.3　强化学习应用到游戏的挑战 402
17.3.1　表示的设计 402
17.3.2　探索 404
17.3.3　训练数据的来源 405
17.3.4　处理缺失的信息 406
17.3.5　对手建模 407
17.4　在游戏中使用强化学习 407
17.4.1　最具娱乐性的对手 407
17.4.2　开发期间的学习 408
17.5　总结 409
参考文献 410
第18章　机器人领域的强化学习综述 415
18.1　简介 415
18.2　机器人强化学习中的挑战 416
18.2.1　维度灾难 417
18.2.2　真实场景样本灾难 418
18.2.3　真实场景交互灾难 418
18.2.4　模型错误灾难 418
18.2.5　目标规范灾难 419
18.3　机器人强化学习基础 419
18.3.1　价值函数方法 420
18.3.2　策略搜索 421
18.4　表示法带来的可行性 422
18.4.1　智能状态–动作离散化 423
18.4.2　函数近似 423
18.4.3　预构建策略 424
18.5　先验知识带来的可行性 425
18.5.1　示范中的先验知识 425
18.5.2　任务结构中的先验知识 426
18.5.3　先验知识指导探索 427
18.6　仿真模拟带来的可行性 427
18.6.1　模型的作用 427
18.6.2　智力预演 428
18.6.3　从仿真直接迁移到真实机器人 429
18.7　一个学习样例：杯中球任务 429
18.7.1　实验设置：任务和奖励 429
18.7.2　适当的策略表示 430
18.7.3　生成教师的示范 430
18.7.4　使用策略搜索进行强化学习 430
18.7.5　机器人强化学习中使用仿真模拟 431
18.7.6　价值函数方法的替代方案 431
18.8　总结 432
参考文献 432
第六部分　结束语
第19章　总结、未来方向和展望 440
19.1　回顾 440
19.1.1　本书覆盖内容 440
19.1.2　哪些主题没有被包含 441
19.2　展望未来 445
19.2.1　目前未知的内容 445
19.2.2　看起来不可能的强化学习应用 446
19.2.3　有趣的方向 447
19.2.4　专家对未来发展的看法 448
参考文献 449
缩写词 453
索引 455



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4