[套装书]深度强化学习：学术前沿与实战应用+强化学习：原理与Python 实现[鲜读]（2册）

作者
刘驰 王占健 戴子彭 肖智清
丛书名
智能科学与技术丛书
出版社
机械工业出版社
ISBN
9782004231745
简要
简介
内容简介书籍计算机书籍 ---------------------------深度强化学习：学术前沿与实战应用--------------------------- 着重介绍深度强化学习的学术界前沿进展与核心代码分析的书籍。对深度强化学习方面的重要学术进展按照单智能体深度强化学习、多智能体深度强化学习、多任务深度强化学习三个方向梳理，介绍其核心算法，以及算法的代码实现示例。 ---------------------------强化学习：原理与Python 实现[鲜读]--------------------------- 全书分为三个部分。第一部分了解强化学习应用，了解强化学习基本知识，搭建强化学习测试环境。该部分包括：强化学习的概况、强化学习简单示例、强化学习算法的常见思想、强化学习的应用、强化学习测试环境的搭建。第二部分介绍强化学习理论与深度强化学习算法。强化学习理论部分：Markov决策过程的数学描述、Monte Carlo方法和时序差分方法的数学理论；深度强化学习算法部分：详细剖析全部具有重要影响力的深度强化学习算法，结合TensorFlow实现源码。第三部分介绍强化学习综合应用案例。
目录



---------------------------深度强化学习：学术前沿与实战应用---------------------------


前言
致谢
数学符号
第一篇　深度强化学习
第1章　深度强化学习基础 2
1.1　强化学习 2
1.1.1　强化学习的发展历史 2
1.1.2　强化学习简介 4
1.1.3　深度强化学习简介 6
1.2　马尔可夫属性和决策过程 9
1.2.1　马尔可夫属性 9
1.2.2　马尔可夫决策过程 11
1.3　强化学习核心概念 12
1.3.1　值函数 12
1.3.2　动态规划 14
1.3.3　时间（序）差分 15
1.3.4　策略梯度 16
1.3.5　actor-critic方法 17
1.4　Q-learning 18
1.4.1　Q-learning简介 18
1.4.2　算法 19
1.4.3　相关变量及影响 20
1.4.4　实现方法 21
第2章　深度强化学习算法 22
2.1　基于值的深度强化学习算法 22
2.1.1　深度Q网络 22
2.1.2　深度双Q网络 27
2.1.3　竞争网络架构 31
2.1.4　平均值DQN 33
2.1.5　多DQN变种结合体：Rainbow 37
2.1.6　基于动作排除的DQN 42
2.2　基于策略的深度强化学习算法 46
2.2.1　循环确定性策略梯度 46
2.2.2　深度确定性策略梯度 55
2.2.3　信赖域策略优化 62
2.2.4　近端策略优化 68
2.3　基于模型的深度强化学习算法 73
2.3.1　基于模型加速的连续深度Q-learning 73
2.3.2　范例模型探索 80
2.3.3　基于模型集成的信赖域策略优化 88
2.3.4　时间差分模型 95
2.4　基于分层的深度强化学习算法 102
2.4.1　分层深度强化学习 102
2.4.2　基于封建网络的分层强化学习 109
2.4.3　基于随机神经网络的分层强化学习 116
第3章　分布式深度强化学习 123
3.1　分布式系统 123
3.1.1　分布式系统简介 123
3.1.2　分布式系统的发展历史 124
3.1.3　架构演进 125
3.1.4　主流分布式系统框架 128
3.2　分布式深度强化学习算法 129
3.2.1　分布式近端策略优化 129
3.2.2　分布式深度确定性策略梯度 138
3.3　分布式深度强化学习框架 145
3.3.1　重要性加权Actor-Learner架构 145
3.3.2　分布式优先经验复用池 153
第二篇　多智能体深度强化学习
第4章　多智能体深度强化学习基础 162
4.1　多智能体强化学习 162
4.1.1　多智能体强化学习发展历史 162
4.1.2　多智能体强化学习简介 164
4.1.3　优势和挑战 166
4.2　部分可见马尔可夫决策过程 166
4.2.1　POMDP模型 166
4.2.2　POMDP相关研究 169
4.2.3　POMDP应用领域 170
第5章　多智能体深度强化学习算法 171
5.1　基于值函数的多智能体深度强化学习 171
5.1.1　基于DQN的多智能体网络 171
5.1.2　增强智能体间学习 174
5.1.3　协同多智能体学习的价值分解网络 178
5.1.4　多智能体深度强化学习的稳定经验复用池 182
5.1.5　单调值函数分解 187
5.1.6　深度强化学习中的对立智能体建模 190
5.1.7　平均场多智能体强化学习 193
5.2　基于策略的多智能体深度强化学习 197
5.2.1　基于自身策略的其他智能体行为预测 197
5.2.2　双重平均方案 201
5.2.3　多智能体深度强化学习的统一博弈论方法 208
5.3　基于AC框架的多智能体深度强化学习 212
5.3.1　多智能体深度确定性策略梯度 212
5.3.2　多智能体集中规划的价值函数策略梯度 220
5.3.3　多智能体系统的策略表示学习 227
5.3.4　部分可观察环境下的多智能体策略优化 231
5.3.5　基于联网智能体的完全去中心化MARL 236
第三篇　多任务深度强化学习
第6章　多任务深度强化学习基础 244
6.1　简介 244
6.1.1　理论概述 244
6.1.2　面临的挑战 247
6.2　策略蒸馏法 248
第7章　多任务深度强化学习算法 253
7.1　无监督强化与辅助学习 253
7.1.1　算法介绍 253
7.1.2　算法分析 255
7.1.3　使用场景与优势分析 261
7.2　使用渐进式神经网络解决任务的复杂序列 262
7.2.1　算法介绍 262
7.2.2　算法分析 262
7.2.3　使用场景与优势分析 266
7.3　基于单智能体的多任务共享模型 267
7.3.1　算法介绍 267
7.3.2　算法分析 268
7.3.3　使用场景与优势分析 272
7.4　使用PopArt归一化多任务更新幅度 273
7.4.1　算法介绍 273
7.4.2　算法分析 274
7.4.3　使用场景与优势分析 276
第四篇　深度强化学习的应用
第8章　游戏 278
8.1　Gym Retro游戏平台 278
8.1.1　平台简介 278
8.1.2　安装Gym Retro平台 281
8.1.3　安装Retro UI 282
8.1.4　Gym Retro主要函数说明 283
8.2　相关应用 285
8.2.1　Pong游戏 285
8.2.2　CartPole 291
8.2.3　Flappy Bird 298
8.2.4　Gradius 302
第9章　机器人控制 312
9.1　机器人导航 312
9.1.1　无地图导航 312
9.1.2　社会感知机器人导航 316
9.2　路径规划 321
9.3　机器人视觉 324
第10章　计算机视觉 327
10.1　图像 327
10.1.1　图像字幕 327
10.1.2　图像恢复 332
10.2　视频 337
10.2.1　视频字幕 337
10.2.2　视频快进 345
10.2.3　视觉跟踪 348
第11章　自然语言处理 354
11.1　与知识库交互的多轮对话智能体 354
11.1.1　概率KB查找 355
11.1.2　端到端KB-InfoBot 356
11.1.3　总结 359
11.2　鲁棒远程监督关系提取 359
11.2.1　问题表述 360
11.2.2　使用基于策略的智能体重新分配训练数据集 363
11.2.3　总结 363
11.3　非成对情感–情感翻译 363
11.3.1　问题表述 363
11.3.2　训练算法 366
11.3.3　总结 367
缩写参照表 368
常用词中英文对照 371
参考文献 374



---------------------------强化学习：原理与Python 实现[鲜读]---------------------------


前言
第1 章　初识强化学习 1
1.1　强化学习及其关键元素 1
1.2　强化学习的应用 3
1.3　智能体/ 环境接口 4
1.4　强化学习的分类 6
1.4.1　按任务分类 6
1.4.2　按算法分类 7
1.5　如何学习强化学习 8
1.5.1　学习路线 9
1.5.2　学习资源 9
1.6　 案例：基于Gym 库的智能体/
环境交互 9
1.6.1　安装Gym 库 10
1.6.2　使用Gym 库 10
1.6.3　小车上山 12
1.7　本章小结 14
第2 章　Markov 决策过程 16
2.1　Markov 决策过程模型 16
2.1.1　 离散时间Markov 决策
过程 16
2.1.2　环境与动力 18
2.1.3　智能体与策略 19
2.1.4　奖励、回报与价值函数 19
C O N T E N T S
目　　录
2.2　Bellman 期望方程 21
2.3　最优策略及其性质 25
2.3.1　 最优策略与最优价值
函数 25
2.3.2　Bellman 最优方程 25
2.3.3　 用Bellman 最优方程求解
最优策略 29
2.4　案例：悬崖寻路 31
2.4.1　实验环境使用 31
2.4.2　求解Bellman 期望方程 32
2.4.3　求解Bellman 最优方程 33
2.5　本章小结 35
第3 章　有模型数值迭代 37
3.1　度量空间与压缩映射 37
3.1.1　度量空间及其完备性 37
3.1.2　 压缩映射与Bellman
算子 38
3.1.3　Banach 不动点定理 39
3.2　有模型策略迭代 40
3.2.1　策略评估 40
3.2.2　策略改进 42
3.2.3　策略迭代 44
3.3　有模型价值迭代 45
3.4　动态规划 46
3.4.1　从动态规划看迭代算法 46
VI
3.4.2　异步动态规划 47
3.5　案例：冰面滑行 47
3.5.1　实验环境使用 48
3.5.2　有模型策略迭代求解 49
3.5.3　有模型价值迭代求解 51
3.6　本章小结 52
第4 章　回合更新价值迭代 54
4.1　同策回合更新 54
4.1.1　同策回合更新策略评估 54
4.1.2　 带起始探索的同策回合
更新 58
4.1.3　 基于柔性策略的同策回合
更新 60
4.2　异策回合更新 62
4.2.1　重要性采样 62
4.2.2　异策回合更新策略评估 64
4.2.3　 异策回合更新最优策略
求解 65
4.3　案例：21 点游戏 66
4.3.1　实验环境使用 66
4.3.2　同策策略评估 67
4.3.3　同策最优策略求解 70
4.3.4　异策策略评估 72
4.3.5　异策最优策略求解 73
4.4　本章小结 74
第5 章　时序差分价值迭代 76
5.1　同策时序差分更新 76
5.1.1　时序差分更新策略评估 78
5.1.2　SARSA 算法 81
5.1.3　期望SARSA 算法 83
5.2　异策时序差分更新 85
5.2.1　 基于重要性采样的异策
算法 85
5.2.2　Q 学习 86
5.2.3　双重Q 学习 87
5.3　资格迹 89
5.3.1　λ 回报 89
5.3.2　TD(λ) 90
5.4　案例：出租车调度 92
5.4.1　实验环境使用 93
5.4.2　同策时序差分学习调度 94
5.4.3　异策时序差分学习调度 97
5.4.4　资格迹学习调度 99
5.5　本章小结 100
第6 章　函数近似方法 101
6.1　函数近似原理 101
6.1.1　随机梯度下降 101
6.1.2　半梯度下降 103
6.1.3　带资格迹的半梯度下降 105
6.2　线性近似 107
6.2.1　 精确查找表与线性近似的
关系 107
6.2.2　线性最小二乘策略评估 107
6.2.3　 线性最小二乘最优策略
求解 109
6.3　函数近似的收敛性 109
6.4　深度Q 学习 110
6.4.1　经验回放 111
6.4.2　 带目标网络的深度Q
学习 112
6.4.3　双重深度Q 网络 114
6.4.4　对偶深度Q 网络 114
6.5　案例：小车上山 115
6.5.1　实验环境使用 116
6.5.2　 用线性近似求解最优
策略 117
VII　
6.5.3　 用深度Q 学习求解最优
策略 120
6.6　本章小结 123
第7 章　回合更新策略梯度方法 125
7.1　策略梯度算法的原理 125
7.1.1　函数近似与动作偏好 125
7.1.2　策略梯度定理 126
7.2　同策回合更新策略梯度算法 128
7.2.1　简单的策略梯度算法 128
7.2.2　 带基线的简单策略梯度
算法 129
7.3　异策回合更新策略梯度算法 131
7.4　 策略梯度更新和极大似然估计的
关系 132
7.5　案例：车杆平衡 132
7.5.1　 同策策略梯度算法求解
最优策略 133
7.5.2　 异策策略梯度算法求解
最优策略 135
7.6　本章小结 137
第8 章　执行者/ 评论者方法 139
8.1　同策执行者/ 评论者算法 139
8.1.1　 动作价值执行者/ 评论者
算法 140
8.1.2　 优势执行者/ 评论者
算法 141
8.1.3　 带资格迹的执行者/
评论者算法 143
8.2　基于代理优势的同策算法 143
8.2.1　代理优势 144
8.2.2　邻近策略优化 145
8.3　信任域算法 146
8.3.1　KL 散度 146
8.3.2　信任域 147
8.3.3　自然策略梯度算法 148
8.3.4　信任域策略优化 151
8.3.5　 Kronecker 因子信任域
执行者/ 评论者算法 152
8.4　 重要性采样异策执行者/ 评论者
算法 153
8.4.1　基本的异策算法 154
8.4.2　带经验回放的异策算法 154
8.5　柔性执行者/ 评论者算法 157
8.5.1　熵 157
8.5.2　奖励工程和带熵的奖励 158
8.5.3　 柔性执行者/ 评论者的
网络设计 159
8.6　案例：双节倒立摆 161
8.6.1　 同策执行者/ 评论者算法
求解最优策略 162
8.6.2　 异策执行者/ 评论者算法
求解最优策略 168
8.7　本章小结 170
第9 章　 连续动作空间的确定性
策略 172
9.1　同策确定性算法 172
9.1.1　 策略梯度定理的确定性
版本 172
9.1.2　 基本的同策确定性执行者/
评论者算法 174
9.2　异策确定性算法 176
9.2.1　 基本的异策确定性执行者/
评论者算法 177
9.2.2　 深度确定性策略梯度
算法 177
9.2.3　 双重延迟深度确定性
策略梯度算法 178
VIII
9.3　案例：倒立摆的控制 180
9.3.1　 用深度确定性策略梯度
算法求解 181
9.3.2　 用双重延迟深度确定性
算法求解 184
9.4　本章小结 187
第10 章　综合案例：电动游戏 188
10.1　Atari 游戏环境 188
10.1.1　Gym 库的完整安装 188
10.1.2　游戏环境使用 190
10.2　基于深度Q 学习的游戏AI 191
10.2.1　算法设计 192
10.2.2　智能体的实现 193
10.2.3　智能体的训练和测试 197
10.3　本章小结 198
第11 章　综合案例：棋盘游戏 200
11.1　双人确定性棋盘游戏 200
11.1.1　五子棋和井字棋 200
11.1.2　黑白棋 201
11.1.3　围棋 202
11.2　AlphaZero 算法 203
11.2.1　回合更新树搜索 203
11.2.2　深度残差网络 206
11.2.3　自我对弈 208
11.2.4　算法流程 210
11.3　棋盘游戏环境boardgame2 210
11.3.1　 为Gym 库扩展自定义
环境 211
11.3.2　boardgame2 设计 211
11.3.3　Gym 环境接口的实现 214
11.3.4　树搜索接口的实现 216
11.4　AlphaZero 算法实现 218
11.4.1　智能体类的实现 218
11.4.2　自我对弈的实现 223
11.4.3　训练智能体 224
11.5　本章小结 225
第12 章　综合案例：自动驾驶 226
12.1　AirSim 开发环境使用 226
12.1.1　安装和运行AirSim 226
12.1.2　用Python 访问AirSim 228
12.2　基于强化学习的自动驾驶 229
12.2.1　 为自动驾驶设计强化
学习环境 230
12.2.2　智能体设计和实现 235
12.2.3　智能体的训练和测试 237
12.3　本章小结 239



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4