[套装书]模式识别+深度强化学习：学术前沿与实战应用（2册）
| 作者 |
| 吴建鑫 刘驰 王占健 戴子彭 |
| 丛书名 |
| 智能科学与技术丛书 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782004162155 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------模式识别--------------------------- 介绍模式识别中的基础知识、主要模型及热门应用，使学生掌握模式识别的基本原理、实际应用以及最新研究进展，培养学生在本学科中的视野与独立解决任务的能力，为学生在模式识别的项目开发及相关科研活动打好基础。 ---------------------------深度强化学习：学术前沿与实战应用--------------------------- 着重介绍深度强化学习的学术界前沿进展与核心代码分析的书籍。对深度强化学习方面的重要学术进展按照单智能体深度强化学习、多智能体深度强化学习、多任务深度强化学习三个方向梳理，介绍其核心算法，以及算法的代码实现示例。 |
| 目录 |
---------------------------模式识别--------------------------- 前言 符号表 第一部分概述........................................1 第1章绪论........................................2 1.1样例:自动驾驶........................................3 1.2模式识别与机器学习........................................5 1.2.1一个典型的模式识别流程........................................5 1.2.2模式识别vs.机器学习........................................8 1.2.3评估、部署和细化........................................9 1.3本书的结构........................................9 习题........................................12 第2章数学背景知识........................................14 2.1线性代数........................................14 2.1.1内积、范数、距离和正交性........................................14 2.1.2角度与不等式........................................15 2.1.3向量投影........................................16 2.1.4矩阵基础........................................17 2.1.5矩阵乘法........................................18 2.1.6方阵的行列式与逆........................................19 2.1.7方阵的特征值、特征向量、秩和迹........................................20 2.1.8奇异值分解........................................22 2.1.9(半)正定实对称矩阵........................................22 2.2概率........................................23 2.2.1基础........................................23 2.2.2联合分布、条件分布与贝叶斯定理........................................25 2.2.3期望与方差/协方差矩阵........................................26 2.2.4不等式........................................27 2.2.5独立性与相关性........................................28 2.2.6正态分布........................................29 2.3优化与矩阵微积分........................................30 2.3.1局部极小、必要条件和矩阵微积分........................................30 2.3.2凸优化与凹优化........................................31 2.3.3约束优化和拉格朗日乘子法........................................33 2.4算法复杂度........................................34 2.5阅读材料........................................35 习题........................................35 第3章模式识别系统概述........................................39 3.1人脸识别........................................39 3.2一个简单的最近邻分类器........................................40 3.2.1训练或学习........................................40 3.2.2测试或预测........................................40 3.2.3最近邻分类器........................................41 3.2.4k-近邻........................................42 3.3丑陋的细节........................................43 3.4制定假设并化简........................................46 3.4.1设计工作环境vs.设计复杂算法........................................46 3.4.2假设与简化........................................47 3.5一种框架........................................51 3.6阅读材料........................................51 习题........................................53 第4章评估........................................55 4.1简单情形中的准确率和错误率........................................55 4.1.1训练与测试误差........................................56 4.1.2过拟合与欠拟合........................................56 4.1.3使用验证集来选择超参数........................................58 4.1.4交叉验证........................................59 4.2最小化代价/损失........................................61 4.2.1正则化........................................62 4.2.2代价矩阵........................................62 4.2.3贝叶斯决策理论........................................63 4.3不平衡问题中的评估........................................64 4.3.1单个类别内的比率........................................64 4.3.2ROC曲线下的面积........................................65 4.3.3查准率、查全率和F值........................................66 4.4我们能达到100％的准确率吗........................................68 4.4.1贝叶斯错误率........................................68 4.4.2真实标记........................................69 4.4.3偏置-方差分解........................................70 4.5对评估结果的信心........................................73 4.5.1为什么要取平均........................................73 4.5.2为什么要报告样本标准差........................................74 4.5.3比较两个分类器........................................75 4.6阅读材料........................................79 习题........................................79 第二部分与领域知识无关的特征提取........................................83 第5章主成分分析........................................84 5.1动机........................................84 5.1.1维度与内在维度........................................84 5.1.2降维........................................86 5.1.3PCA与子空间方法........................................86 5.2PCA降维到零维子空间........................................86 5.2.1想法-形式化-优化实践........................................87 5.2.2一个简单的优化........................................87 5.2.3一些注释........................................88 5.3PCA降维到一维子空间........................................88 5.3.1新的形式化........................................88 5.3.2最优性条件与化简........................................89 5.3.3与特征分解的联系........................................90 5.3.4解........................................91 5.4PCA投影到更多维度........................................91 5.5完整的PCA算法........................................92 5.6方差的分析........................................93 5.6.1从最大化方差出发的PCA........................................94 5.6.2一种更简单的推导........................................95 5.6.3我们需要多少维度呢........................................95 5.7什么时候使用或不用PCA呢........................................96 5.7.1高斯数据的PCA........................................96 5.7.2非高斯数据的PCA........................................96 5.7.3含异常点数据的PCA........................................98 5.8白化变换........................................98 5.9特征分解vs.SVD........................................98 5.10阅读材料........................................99 习题........................................99 第6章Fisher线性判别........................................103 6.1用于二分类的FLD........................................104 6.1.1想法:什么是隔得很远呢........................................104 6.1.2翻译成数学语言........................................105 6.1.3散度矩阵vs.协方差矩阵........................................107 6.1.4两种散度矩阵以及FLD的目标函数........................................108 6.1.5优化........................................108 6.1.6等等,我们有一条捷径........................................109 6.1.7二分类问题的FLD........................................109 6.1.8陷阱:要是SW不可逆呢........................................110 6.2用于多类的FLD........................................111 6.2.1稍加修改的符号和SW........................................111 6.2.2SB的候选........................................111 6.2.3三个散度矩阵的故事........................................112 6.2.4解........................................113 6.2.5找到更多投影方向........................................113 6.3阅读材料........................................113 习题........................................114 第三部分分类器与其他工具........................................119 第7章支持向量机........................................120 7.1SVM的关键思想........................................120 7.1.1简化它!简化它!简化它!........................................120 7.1.2查找最大（或较大）间隔的分类器........................................121 7.2可视化并计算间隔........................................122 7.2.1几何的可视化........................................123 7.2.2将间隔作为优化来计算........................................124 7.3最大化间隔........................................124 7.3.1形式化........................................125 7.3.2各种简化........................................125 7.4优化与求解........................................127 7.4.1拉格朗日函数与KKT条件........................................127 7.4.2SVM的对偶形式........................................128 7.4.3最优的b值与支持向量........................................129 7.4.4同时考虑原始形式与对偶形式........................................131 7.5向线性不可分问题和多类问题的扩展........................................131 7.5.1不可分问题的线性分类器........................................132 7.5.2多类SVM........................................134 7.6核SVM........................................134 7.6.1核技巧........................................135 7.6.2Mercer条件与特征映射........................................136 7.6.3流行的核函数与超参数........................................137 7.6.4SVM的复杂度、权衡及其他........................................138 7.7阅读材料........................................139 习题........................................139 第8章概率方法........................................144 8.1思考问题的概率路线........................................144 8.1.1术语........................................144 8.1.2分布与推断........................................145 8.1.3贝叶斯定理........................................145 8.2各种选择........................................146 8.2.1生成式模型vs.判别式模型........................................146 8.2.2参数化vs.非参数化........................................147 8.2.3该如何看待一个参数呢........................................148 8.3参数化估计........................................148 8.3.1最大似然........................................148 8.3.2最大后验........................................150 8.3.3贝叶斯........................................151 8.4非参数化估计........................................153 8.4.1一个一维的例子........................................153 8.4.2直方图近似中存在的问题........................................155 8.4.3让你的样本无远弗届........................................156 8.4.4核密度估计........................................157 8.4.5带宽选择........................................158 8.4.6多变量KDE........................................158 8.5做出决策........................................159 8.6阅读材料........................................159 习题........................................160 第9章距离度量与数据变换........................................163 9.1距离度量和相似度度量........................................163 9.1.1距离度量........................................164 9.1.2向量范数和度量........................................164 9.1.3`p范数和`p度量........................................165 9.1.4距离度量学习........................................167 9.1.5均值作为一种相似度度量........................................168 9.1.6幂平均核........................................170 9.2数据变换和规范化........................................171 9.2.1线性回归........................................172 9.2.2特征规范化........................................173 9.2.3数据变换........................................175 9.3阅读材料........................................177 习题........................................177 第10章信息论和决策树........................................182 10.1前缀码和霍夫曼树........................................182 10.2信息论基础........................................183 10.2.1熵和不确定性........................................184 10.2.2联合和条件熵........................................184 10.2.3互信息和相对熵........................................185 10.2.4一些不等式........................................186 10.2.5离散分布的熵........................................187 10.3连续分布的信息论........................................187 10.3.1微分熵........................................188 10.3.2多元高斯分布的熵........................................189 10.3.3高斯分布是最大熵分布........................................191 10.4机器学习和模式识别中的信息论........................................192 10.4.1最大熵........................................192 10.4.2最小交叉熵........................................193 10.4.3特征选择........................................194 10.5决策树........................................195 10.5.1异或问题及其决策树模型........................................195 10.5.2基于信息增益的结点划分........................................197 10.6阅读材料........................................198 习题........................................199 第四部分处理变化多端的数据........................................203 第11章稀疏数据和未对齐数据........................................204 11.1稀疏机器学习........................................204 11.1.1稀疏PCA........................................204 11.1.2使用`1范数诱导稀疏性........................................205 11.1.3使用过完备的字典........................................208 11.1.4其他一些相关的话题........................................210 11.2动态时间规整........................................212 11.2.1未对齐的时序数据........................................212 11.2.2思路（或准则）........................................213 11.2.3可视化和形式化........................................214 11.2.4动态规划........................................215 11.3阅读材料........................................218 习题........................................218 第12章隐马尔可夫模型........................................222 12.1时序数据与马尔可夫性质........................................222 12.1.1各种各样的时序数据和模型........................................222 12.1.2马尔可夫性质........................................224 12.1.3离散时间马尔可夫链........................................225 12.1.4隐马尔可夫模型........................................227 12.2HMM学习中的三个基本问题........................................228 12.3、ˉ和评估问题........................................229 12.3.1前向变量和算法........................................230 12.3.2后向变量和算法........................................231 12.4°、±、和解码问题........................................234 12.4.1°和独立解码的最优状态........................................234 12.4.2±、和联合解码的最优状态........................................235 12.5和HMM参数的学习........................................237 12.5.1Baum-Welch:以期望比例来更新.......................................238 12.5.2如何计算........................................238 12.6阅读材料........................................240 习题........................................241 第五部分高阶课题........................................245 第13章正态分布........................................246 13.1定义........................................246 13.1.1单变量正态分布........................................246 13.1.2多元正态分布........................................247 13.2符号和参数化形式........................................248 13.3线性运算与求和........................................249 13.3.1单变量的情形........................................249 13.3.2多变量的情形........................................250 13.4几何和马氏距离........................................251 13.5条件作用........................................252 13.6高斯分布的乘积........................................253 13.7应用Ⅰ:参数估计........................................254 13.7.1最大似然估计........................................254 13.7.2贝叶斯参数估计........................................255 13.8应用Ⅱ:卡尔曼滤波........................................256 13.8.1模型........................................256 13.8.2估计........................................257 13.9在本章中有用的数学........................................258 13.9.1高斯积分........................................258 13.9.2特征函数........................................259 13.9.3舒尔补&矩阵求逆引理........................................260 13.9.4向量和矩阵导数........................................262 习题........................................263 第14章EM算法的基本思想........................................266 14.1GMM:一个工作实例........................................266 14.1.1高斯混合模型........................................266 14.1.2基于隐变量的诠释........................................267 14.1.3假若我们能观测到隐变量,那会怎样......................................268 14.1.4我们可以模仿先知吗........................................269 14.2EM算法的非正式描述........................................270 14.3期望最大化算法........................................270 14.3.1联合非凹的不完整数据对数似然........................................271 14.3.2(可能是)凹的完整数据对数似然........................................271 14.3.3通用EM的推导........................................272 14.3.4E步和M步........................................274 14.3.5EM算法........................................275 14.3.6EM能收敛吗........................................275 14.4EM用于GMM........................................276 14.5阅读材料........................................279 习题........................................279 第15章卷积神经网络........................................281 15.1预备知识........................................281 15.1.1张量和向量化........................................282 15.1.2向量微积分和链式法则........................................283 15.2CNN概览........................................283 15.2.1结构........................................283 15.2.2前向运行........................................285 15.2.3随机梯度下降........................................285 15.2.4误差反向传播........................................286 15.3层的输入、输出和符号........................................287 15.4ReLU层........................................288 15.5卷积层........................................290 15.5.1什么是卷积........................................290 15.5.2为什么要进行卷积........................................291 15.5.3卷积作为矩阵乘法........................................293 15.5.4克罗内克积........................................295 15.5.5反向传播:更新参数........................................296 15.5.6更高维的指示矩阵........................................297 15.5.7反向传播:为前一层准备监督信号........................................298 15.5.8用卷积层实现全连接层........................................300 15.6汇合层........................................301 15.7案例分析:VGG-16网络........................................303 15.7.1VGG-Verydeep-16........................................303 15.7.2感受野........................................304 15.8CNN的亲身体验........................................305 15.9阅读材料........................................305 习题........................................305 参考文献........................................309 英文索引........................................325 中文索引........................................332 ---------------------------深度强化学习：学术前沿与实战应用--------------------------- 前言 致谢 数学符号 第一篇 深度强化学习 第1章 深度强化学习基础 2 1.1 强化学习 2 1.1.1 强化学习的发展历史 2 1.1.2 强化学习简介 4 1.1.3 深度强化学习简介 6 1.2 马尔可夫属性和决策过程 9 1.2.1 马尔可夫属性 9 1.2.2 马尔可夫决策过程 11 1.3 强化学习核心概念 12 1.3.1 值函数 12 1.3.2 动态规划 14 1.3.3 时间（序）差分 15 1.3.4 策略梯度 16 1.3.5 actor-critic方法 17 1.4 Q-learning 18 1.4.1 Q-learning简介 18 1.4.2 算法 19 1.4.3 相关变量及影响 20 1.4.4 实现方法 21 第2章 深度强化学习算法 22 2.1 基于值的深度强化学习算法 22 2.1.1 深度Q网络 22 2.1.2 深度双Q网络 27 2.1.3 竞争网络架构 31 2.1.4 平均值DQN 33 2.1.5 多DQN变种结合体：Rainbow 37 2.1.6 基于动作排除的DQN 42 2.2 基于策略的深度强化学习算法 46 2.2.1 循环确定性策略梯度 46 2.2.2 深度确定性策略梯度 55 2.2.3 信赖域策略优化 62 2.2.4 近端策略优化 68 2.3 基于模型的深度强化学习算法 73 2.3.1 基于模型加速的连续深度Q-learning 73 2.3.2 范例模型探索 80 2.3.3 基于模型集成的信赖域策略优化 88 2.3.4 时间差分模型 95 2.4 基于分层的深度强化学习算法 102 2.4.1 分层深度强化学习 102 2.4.2 基于封建网络的分层强化学习 109 2.4.3 基于随机神经网络的分层强化学习 116 第3章 分布式深度强化学习 123 3.1 分布式系统 123 3.1.1 分布式系统简介 123 3.1.2 分布式系统的发展历史 124 3.1.3 架构演进 125 3.1.4 主流分布式系统框架 128 3.2 分布式深度强化学习算法 129 3.2.1 分布式近端策略优化 129 3.2.2 分布式深度确定性策略梯度 138 3.3 分布式深度强化学习框架 145 3.3.1 重要性加权Actor-Learner架构 145 3.3.2 分布式优先经验复用池 153 第二篇 多智能体深度强化学习 第4章 多智能体深度强化学习基础 162 4.1 多智能体强化学习 162 4.1.1 多智能体强化学习发展历史 162 4.1.2 多智能体强化学习简介 164 4.1.3 优势和挑战 166 4.2 部分可见马尔可夫决策过程 166 4.2.1 POMDP模型 166 4.2.2 POMDP相关研究 169 4.2.3 POMDP应用领域 170 第5章 多智能体深度强化学习算法 171 5.1 基于值函数的多智能体深度强化学习 171 5.1.1 基于DQN的多智能体网络 171 5.1.2 增强智能体间学习 174 5.1.3 协同多智能体学习的价值分解网络 178 5.1.4 多智能体深度强化学习的稳定经验复用池 182 5.1.5 单调值函数分解 187 5.1.6 深度强化学习中的对立智能体建模 190 5.1.7 平均场多智能体强化学习 193 5.2 基于策略的多智能体深度强化学习 197 5.2.1 基于自身策略的其他智能体行为预测 197 5.2.2 双重平均方案 201 5.2.3 多智能体深度强化学习的统一博弈论方法 208 5.3 基于AC框架的多智能体深度强化学习 212 5.3.1 多智能体深度确定性策略梯度 212 5.3.2 多智能体集中规划的价值函数策略梯度 220 5.3.3 多智能体系统的策略表示学习 227 5.3.4 部分可观察环境下的多智能体策略优化 231 5.3.5 基于联网智能体的完全去中心化MARL 236 第三篇 多任务深度强化学习 第6章 多任务深度强化学习基础 244 6.1 简介 244 6.1.1 理论概述 244 6.1.2 面临的挑战 247 6.2 策略蒸馏法 248 第7章 多任务深度强化学习算法 253 7.1 无监督强化与辅助学习 253 7.1.1 算法介绍 253 7.1.2 算法分析 255 7.1.3 使用场景与优势分析 261 7.2 使用渐进式神经网络解决任务的复杂序列 262 7.2.1 算法介绍 262 7.2.2 算法分析 262 7.2.3 使用场景与优势分析 266 7.3 基于单智能体的多任务共享模型 267 7.3.1 算法介绍 267 7.3.2 算法分析 268 7.3.3 使用场景与优势分析 272 7.4 使用PopArt归一化多任务更新幅度 273 7.4.1 算法介绍 273 7.4.2 算法分析 274 7.4.3 使用场景与优势分析 276 第四篇 深度强化学习的应用 第8章 游戏 278 8.1 Gym Retro游戏平台 278 8.1.1 平台简介 278 8.1.2 安装Gym Retro平台 281 8.1.3 安装Retro UI 282 8.1.4 Gym Retro主要函数说明 283 8.2 相关应用 285 8.2.1 Pong游戏 285 8.2.2 CartPole 291 8.2.3 Flappy Bird 298 8.2.4 Gradius 302 第9章 机器人控制 312 9.1 机器人导航 312 9.1.1 无地图导航 312 9.1.2 社会感知机器人导航 316 9.2 路径规划 321 9.3 机器人视觉 324 第10章 计算机视觉 327 10.1 图像 327 10.1.1 图像字幕 327 10.1.2 图像恢复 332 10.2 视频 337 10.2.1 视频字幕 337 10.2.2 视频快进 345 10.2.3 视觉跟踪 348 第11章 自然语言处理 354 11.1 与知识库交互的多轮对话智能体 354 11.1.1 概率KB查找 355 11.1.2 端到端KB-InfoBot 356 11.1.3 总结 359 11.2 鲁棒远程监督关系提取 359 11.2.1 问题表述 360 11.2.2 使用基于策略的智能体重新分配训练数据集 363 11.2.3 总结 363 11.3 非成对情感–情感翻译 363 11.3.1 问题表述 363 11.3.2 训练算法 366 11.3.3 总结 367 缩写参照表 368 常用词中英文对照 371 参考文献 374 |
有问题微信扫码联系