[套装书]统计强化学习：现代机器学习方法+强化学习：原理与Python 实现[鲜读]（2册）

作者
[日]杉山将（Masashi Sugiyama）肖智清
丛书名
智能科学与技术丛书
出版社
机械工业出版社
ISBN
9787190730144
简要
简介
内容简介书籍计算机书籍 ---------------------------强化学习：原理与Python 实现[鲜读]--------------------------- 全书分为三个部分。第一部分了解强化学习应用，了解强化学习基本知识，搭建强化学习测试环境。该部分包括：强化学习的概况、强化学习简单示例、强化学习算法的常见思想、强化学习的应用、强化学习测试环境的搭建。第二部分介绍强化学习理论与深度强化学习算法。强化学习理论部分：Markov决策过程的数学描述、Monte Carlo方法和时序差分方法的数学理论；深度强化学习算法部分：详细剖析全部具有重要影响力的深度强化学习算法，结合TensorFlow实现源码。第三部分介绍强化学习综合应用案例。 ---------------------------统计强化学习：现代机器学习方法--------------------------- 本书从现代机器学习的视角介绍了统计强化学习的基本概念和实用算法。它涵盖了各种类型的强化学习方法，包括基于模型的方法和与模型无关的方法，策略迭代和策略搜索方法。
目录



---------------------------强化学习：原理与Python 实现[鲜读]---------------------------


前言
第1 章　初识强化学习 1
1.1　强化学习及其关键元素 1
1.2　强化学习的应用 3
1.3　智能体/ 环境接口 4
1.4　强化学习的分类 6
1.4.1　按任务分类 6
1.4.2　按算法分类 7
1.5　如何学习强化学习 8
1.5.1　学习路线 9
1.5.2　学习资源 9
1.6　 案例：基于Gym 库的智能体/
环境交互 9
1.6.1　安装Gym 库 10
1.6.2　使用Gym 库 10
1.6.3　小车上山 12
1.7　本章小结 14
第2 章　Markov 决策过程 16
2.1　Markov 决策过程模型 16
2.1.1　 离散时间Markov 决策
过程 16
2.1.2　环境与动力 18
2.1.3　智能体与策略 19
2.1.4　奖励、回报与价值函数 19
C O N T E N T S
目　　录
2.2　Bellman 期望方程 21
2.3　最优策略及其性质 25
2.3.1　 最优策略与最优价值
函数 25
2.3.2　Bellman 最优方程 25
2.3.3　 用Bellman 最优方程求解
最优策略 29
2.4　案例：悬崖寻路 31
2.4.1　实验环境使用 31
2.4.2　求解Bellman 期望方程 32
2.4.3　求解Bellman 最优方程 33
2.5　本章小结 35
第3 章　有模型数值迭代 37
3.1　度量空间与压缩映射 37
3.1.1　度量空间及其完备性 37
3.1.2　 压缩映射与Bellman
算子 38
3.1.3　Banach 不动点定理 39
3.2　有模型策略迭代 40
3.2.1　策略评估 40
3.2.2　策略改进 42
3.2.3　策略迭代 44
3.3　有模型价值迭代 45
3.4　动态规划 46
3.4.1　从动态规划看迭代算法 46
VI
3.4.2　异步动态规划 47
3.5　案例：冰面滑行 47
3.5.1　实验环境使用 48
3.5.2　有模型策略迭代求解 49
3.5.3　有模型价值迭代求解 51
3.6　本章小结 52
第4 章　回合更新价值迭代 54
4.1　同策回合更新 54
4.1.1　同策回合更新策略评估 54
4.1.2　 带起始探索的同策回合
更新 58
4.1.3　 基于柔性策略的同策回合
更新 60
4.2　异策回合更新 62
4.2.1　重要性采样 62
4.2.2　异策回合更新策略评估 64
4.2.3　 异策回合更新最优策略
求解 65
4.3　案例：21 点游戏 66
4.3.1　实验环境使用 66
4.3.2　同策策略评估 67
4.3.3　同策最优策略求解 70
4.3.4　异策策略评估 72
4.3.5　异策最优策略求解 73
4.4　本章小结 74
第5 章　时序差分价值迭代 76
5.1　同策时序差分更新 76
5.1.1　时序差分更新策略评估 78
5.1.2　SARSA 算法 81
5.1.3　期望SARSA 算法 83
5.2　异策时序差分更新 85
5.2.1　 基于重要性采样的异策
算法 85
5.2.2　Q 学习 86
5.2.3　双重Q 学习 87
5.3　资格迹 89
5.3.1　λ 回报 89
5.3.2　TD(λ) 90
5.4　案例：出租车调度 92
5.4.1　实验环境使用 93
5.4.2　同策时序差分学习调度 94
5.4.3　异策时序差分学习调度 97
5.4.4　资格迹学习调度 99
5.5　本章小结 100
第6 章　函数近似方法 101
6.1　函数近似原理 101
6.1.1　随机梯度下降 101
6.1.2　半梯度下降 103
6.1.3　带资格迹的半梯度下降 105
6.2　线性近似 107
6.2.1　 精确查找表与线性近似的
关系 107
6.2.2　线性最小二乘策略评估 107
6.2.3　 线性最小二乘最优策略
求解 109
6.3　函数近似的收敛性 109
6.4　深度Q 学习 110
6.4.1　经验回放 111
6.4.2　 带目标网络的深度Q
学习 112
6.4.3　双重深度Q 网络 114
6.4.4　对偶深度Q 网络 114
6.5　案例：小车上山 115
6.5.1　实验环境使用 116
6.5.2　 用线性近似求解最优
策略 117
VII　
6.5.3　 用深度Q 学习求解最优
策略 120
6.6　本章小结 123
第7 章　回合更新策略梯度方法 125
7.1　策略梯度算法的原理 125
7.1.1　函数近似与动作偏好 125
7.1.2　策略梯度定理 126
7.2　同策回合更新策略梯度算法 128
7.2.1　简单的策略梯度算法 128
7.2.2　 带基线的简单策略梯度
算法 129
7.3　异策回合更新策略梯度算法 131
7.4　 策略梯度更新和极大似然估计的
关系 132
7.5　案例：车杆平衡 132
7.5.1　 同策策略梯度算法求解
最优策略 133
7.5.2　 异策策略梯度算法求解
最优策略 135
7.6　本章小结 137
第8 章　执行者/ 评论者方法 139
8.1　同策执行者/ 评论者算法 139
8.1.1　 动作价值执行者/ 评论者
算法 140
8.1.2　 优势执行者/ 评论者
算法 141
8.1.3　 带资格迹的执行者/
评论者算法 143
8.2　基于代理优势的同策算法 143
8.2.1　代理优势 144
8.2.2　邻近策略优化 145
8.3　信任域算法 146
8.3.1　KL 散度 146
8.3.2　信任域 147
8.3.3　自然策略梯度算法 148
8.3.4　信任域策略优化 151
8.3.5　 Kronecker 因子信任域
执行者/ 评论者算法 152
8.4　 重要性采样异策执行者/ 评论者
算法 153
8.4.1　基本的异策算法 154
8.4.2　带经验回放的异策算法 154
8.5　柔性执行者/ 评论者算法 157
8.5.1　熵 157
8.5.2　奖励工程和带熵的奖励 158
8.5.3　 柔性执行者/ 评论者的
网络设计 159
8.6　案例：双节倒立摆 161
8.6.1　 同策执行者/ 评论者算法
求解最优策略 162
8.6.2　 异策执行者/ 评论者算法
求解最优策略 168
8.7　本章小结 170
第9 章　 连续动作空间的确定性
策略 172
9.1　同策确定性算法 172
9.1.1　 策略梯度定理的确定性
版本 172
9.1.2　 基本的同策确定性执行者/
评论者算法 174
9.2　异策确定性算法 176
9.2.1　 基本的异策确定性执行者/
评论者算法 177
9.2.2　 深度确定性策略梯度
算法 177
9.2.3　 双重延迟深度确定性
策略梯度算法 178
VIII
9.3　案例：倒立摆的控制 180
9.3.1　 用深度确定性策略梯度
算法求解 181
9.3.2　 用双重延迟深度确定性
算法求解 184
9.4　本章小结 187
第10 章　综合案例：电动游戏 188
10.1　Atari 游戏环境 188
10.1.1　Gym 库的完整安装 188
10.1.2　游戏环境使用 190
10.2　基于深度Q 学习的游戏AI 191
10.2.1　算法设计 192
10.2.2　智能体的实现 193
10.2.3　智能体的训练和测试 197
10.3　本章小结 198
第11 章　综合案例：棋盘游戏 200
11.1　双人确定性棋盘游戏 200
11.1.1　五子棋和井字棋 200
11.1.2　黑白棋 201
11.1.3　围棋 202
11.2　AlphaZero 算法 203
11.2.1　回合更新树搜索 203
11.2.2　深度残差网络 206
11.2.3　自我对弈 208
11.2.4　算法流程 210
11.3　棋盘游戏环境boardgame2 210
11.3.1　 为Gym 库扩展自定义
环境 211
11.3.2　boardgame2 设计 211
11.3.3　Gym 环境接口的实现 214
11.3.4　树搜索接口的实现 216
11.4　AlphaZero 算法实现 218
11.4.1　智能体类的实现 218
11.4.2　自我对弈的实现 223
11.4.3　训练智能体 224
11.5　本章小结 225
第12 章　综合案例：自动驾驶 226
12.1　AirSim 开发环境使用 226
12.1.1　安装和运行AirSim 226
12.1.2　用Python 访问AirSim 228
12.2　基于强化学习的自动驾驶 229
12.2.1　 为自动驾驶设计强化
学习环境 230
12.2.2　智能体设计和实现 235
12.2.3　智能体的训练和测试 237
12.3　本章小结 239


---------------------------统计强化学习：现代机器学习方法---------------------------


译者序
序
前言
作者简介
第一部分　简介
第1章　强化学习介绍3
1.1　强化学习3
1.2　数学形式化8
1.3　本书结构11
1.3.1　模型无关策略迭代11
1.3.2　模型无关策略搜索12
1.3.3　基于模型的强化学习13
第二部分　模型无关策略迭代
第2章　基于值函数近似的策略迭代17
2.1　值函数17
2.1.1　状态值函数17
2.1.2　状态-动作值函数18
2.2　最小二乘策略迭代19
2.2.1　瞬时奖赏回归20
2.2.2　算法21
2.2.3　正则化23
2.2.4　模型选择25
2.3　本章小结26
第3章　值函数近似中的基函数设计27
3.1　图中的高斯核27
3.1.1　MDP-诱导图27
3.1.2　通用高斯核28
3.1.3　测地线高斯核29
3.1.4　扩展到连续状态空间30
3.2　图解说明30
3.2.1　配置30
3.2.2　测地线高斯核31
3.2.3　通用高斯核33
3.2.4　图拉普拉斯特征基33
3.2.5　扩散小波35
3.3　数值示例35
3.3.1　机器人手臂控制35
3.3.2　机器人导航39
3.4　本章小结46
第4章　策略迭代中的样本重用47
4.1　形式化47
4.2　离策略值函数近似48
4.2.1　片段重要性加权49
4.2.2　每次决策的重要性加权50
4.2.3　自适应的每次决策重要性加权50
4.2.4　图解说明51
4.3　展平参数的自动选择54
4.3.1　重要性加权交叉验证54
4.3.2　图解说明55
4.4　样本重用策略迭代56
4.4.1　算法56
4.4.2　图解说明56
4.5　数值示例58
4.5.1　倒立摆58
4.5.2　小车爬山61
4.6　本章小结64
第5章　策略迭代中的主动学习65
5.1　主动学习的高效探索65
5.1.1　问题配置65
5.1.2　泛化误差的分解66
5.1.3　估计泛化误差67
5.1.4　设计采样策略68
5.1.5　图解说明69
5.2　主动策略迭代72
5.2.1　具有主动学习的样本重用策略迭代72
5.2.2　图解说明73
5.3　数值示例74
5.4　本章小结76
第6章　鲁棒策略迭代79
6.1　策略迭代中的鲁棒性和可靠性79
6.1.1　鲁棒性79
6.1.2　可靠性80
6.2　最小绝对策略迭代81
6.2.1　算法81
6.2.2　图解说明81
6.2.3　性质82
6.3　数值示例83
6.4　可能的拓展88
6.4.1　Huber损失88
6.4.2　pinball损失89
6.4.3　deadzone-linear损失90
6.4.4　切比雪夫逼近90
6.4.5　条件风险值91
6.5　本章小结92
第三部分　模型无关策略搜索
第7章　梯度上升的直接策略搜索95
7.1　形式化95
7.2　梯度方法96
7.2.1　梯度上升96
7.2.2　方差约简的基线减法98
7.2.3　梯度估计量的方差分析99
7.3　自然梯度法101
7.3.1　自然梯度上升101
7.3.2　图解说明103
7.4　计算机图形中的应用：艺术家智能体104
7.4.1　东方山水画绘画104
7.4.2　状态、动作和瞬时奖赏的设计106
7.4.3　实验结果111
7.5　本章小结113
第8章　期望最大化的直接策略搜索117
8.1　期望最大化方法117
8.2　样本重用119
8.2.1　片段重要性加权119
8.2.2　每次决策的重要性加权122
8.2.3　自适应的每次决策重要性加权123
8.2.4　展平参数的自动选择123
8.2.5　样本重用的加权奖赏回归125
8.3　数值示例125
8.4　本章小结131
第9章　策略优先搜索133
9.1　形式化133
9.2　基于参数探索的策略梯度134
9.2.1　策略优先的梯度上升134
9.2.2　方差约简的基线减法135
9.2.3　梯度估计量的方差分析136
9.2.4　数值示例138
9.3　策略优先搜索中的样本重用142
9.3.1　重要性加权142
9.3.2　基线减法的方差约简144
9.3.3　数值示例146
9.4　本章小结153
第四部分　基于模型的强化学习
第10章　转移模型估计157
10.1　条件密度估计157
10.1.1　基于回归的方法157
10.1.2　ε-邻域核密度估计158
10.1.3　最小二乘条件密度估计159
10.2　基于模型的强化学习161
10.3　数值示例162
10.3.1　连续型链条游走162
10.3.2　人形机器人控制167
10.4　本章小结171
第11章　转移模型估计的维度约简173
11.1　充分维度约简173
11.2　平方损失条件熵173
11.2.1　条件独立174
11.2.2　利用SCE进行维度约简175
11.2.3　SCE与平方损失互信息的关系176
11.3　数值示例176
11.3.1　人工和标准数据集176
11.3.2　人形机器人179
11.4　本章小结182
参考文献183




有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4