模式识别
| 作者 |
| 吴建鑫 |
| 丛书名 |
| 智能科学与技术丛书 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9787111643890 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 介绍模式识别中的基础知识、主要模型及热门应用，使学生掌握模式识别的基本原理、实际应用以及最新研究进展，培养学生在本学科中的视野与独立解决任务的能力，为学生在模式识别的项目开发及相关科研活动打好基础。 |
| 目录 |
| 前言 符号表 第一部分概述........................................1 第1章绪论........................................2 1.1样例:自动驾驶........................................3 1.2模式识别与机器学习........................................5 1.2.1一个典型的模式识别流程........................................5 1.2.2模式识别vs.机器学习........................................8 1.2.3评估、部署和细化........................................9 1.3本书的结构........................................9 习题........................................12 第2章数学背景知识........................................14 2.1线性代数........................................14 2.1.1内积、范数、距离和正交性........................................14 2.1.2角度与不等式........................................15 2.1.3向量投影........................................16 2.1.4矩阵基础........................................17 2.1.5矩阵乘法........................................18 2.1.6方阵的行列式与逆........................................19 2.1.7方阵的特征值、特征向量、秩和迹........................................20 2.1.8奇异值分解........................................22 2.1.9(半)正定实对称矩阵........................................22 2.2概率........................................23 2.2.1基础........................................23 2.2.2联合分布、条件分布与贝叶斯定理........................................25 2.2.3期望与方差/协方差矩阵........................................26 2.2.4不等式........................................27 2.2.5独立性与相关性........................................28 2.2.6正态分布........................................29 2.3优化与矩阵微积分........................................30 2.3.1局部极小、必要条件和矩阵微积分........................................30 2.3.2凸优化与凹优化........................................31 2.3.3约束优化和拉格朗日乘子法........................................33 2.4算法复杂度........................................34 2.5阅读材料........................................35 习题........................................35 第3章模式识别系统概述........................................39 3.1人脸识别........................................39 3.2一个简单的最近邻分类器........................................40 3.2.1训练或学习........................................40 3.2.2测试或预测........................................40 3.2.3最近邻分类器........................................41 3.2.4k-近邻........................................42 3.3丑陋的细节........................................43 3.4制定假设并化简........................................46 3.4.1设计工作环境vs.设计复杂算法........................................46 3.4.2假设与简化........................................47 3.5一种框架........................................51 3.6阅读材料........................................51 习题........................................53 第4章评估........................................55 4.1简单情形中的准确率和错误率........................................55 4.1.1训练与测试误差........................................56 4.1.2过拟合与欠拟合........................................56 4.1.3使用验证集来选择超参数........................................58 4.1.4交叉验证........................................59 4.2最小化代价/损失........................................61 4.2.1正则化........................................62 4.2.2代价矩阵........................................62 4.2.3贝叶斯决策理论........................................63 4.3不平衡问题中的评估........................................64 4.3.1单个类别内的比率........................................64 4.3.2ROC曲线下的面积........................................65 4.3.3查准率、查全率和F值........................................66 4.4我们能达到100％的准确率吗........................................68 4.4.1贝叶斯错误率........................................68 4.4.2真实标记........................................69 4.4.3偏置-方差分解........................................70 4.5对评估结果的信心........................................73 4.5.1为什么要取平均........................................73 4.5.2为什么要报告样本标准差........................................74 4.5.3比较两个分类器........................................75 4.6阅读材料........................................79 习题........................................79 第二部分与领域知识无关的特征提取........................................83 第5章主成分分析........................................84 5.1动机........................................84 5.1.1维度与内在维度........................................84 5.1.2降维........................................86 5.1.3PCA与子空间方法........................................86 5.2PCA降维到零维子空间........................................86 5.2.1想法-形式化-优化实践........................................87 5.2.2一个简单的优化........................................87 5.2.3一些注释........................................88 5.3PCA降维到一维子空间........................................88 5.3.1新的形式化........................................88 5.3.2最优性条件与化简........................................89 5.3.3与特征分解的联系........................................90 5.3.4解........................................91 5.4PCA投影到更多维度........................................91 5.5完整的PCA算法........................................92 5.6方差的分析........................................93 5.6.1从最大化方差出发的PCA........................................94 5.6.2一种更简单的推导........................................95 5.6.3我们需要多少维度呢........................................95 5.7什么时候使用或不用PCA呢........................................96 5.7.1高斯数据的PCA........................................96 5.7.2非高斯数据的PCA........................................96 5.7.3含异常点数据的PCA........................................98 5.8白化变换........................................98 5.9特征分解vs.SVD........................................98 5.10阅读材料........................................99 习题........................................99 第6章Fisher线性判别........................................103 6.1用于二分类的FLD........................................104 6.1.1想法:什么是隔得很远呢........................................104 6.1.2翻译成数学语言........................................105 6.1.3散度矩阵vs.协方差矩阵........................................107 6.1.4两种散度矩阵以及FLD的目标函数........................................108 6.1.5优化........................................108 6.1.6等等,我们有一条捷径........................................109 6.1.7二分类问题的FLD........................................109 6.1.8陷阱:要是SW不可逆呢........................................110 6.2用于多类的FLD........................................111 6.2.1稍加修改的符号和SW........................................111 6.2.2SB的候选........................................111 6.2.3三个散度矩阵的故事........................................112 6.2.4解........................................113 6.2.5找到更多投影方向........................................113 6.3阅读材料........................................113 习题........................................114 第三部分分类器与其他工具........................................119 第7章支持向量机........................................120 7.1SVM的关键思想........................................120 7.1.1简化它!简化它!简化它!........................................120 7.1.2查找最大（或较大）间隔的分类器........................................121 7.2可视化并计算间隔........................................122 7.2.1几何的可视化........................................123 7.2.2将间隔作为优化来计算........................................124 7.3最大化间隔........................................124 7.3.1形式化........................................125 7.3.2各种简化........................................125 7.4优化与求解........................................127 7.4.1拉格朗日函数与KKT条件........................................127 7.4.2SVM的对偶形式........................................128 7.4.3最优的b值与支持向量........................................129 7.4.4同时考虑原始形式与对偶形式........................................131 7.5向线性不可分问题和多类问题的扩展........................................131 7.5.1不可分问题的线性分类器........................................132 7.5.2多类SVM........................................134 7.6核SVM........................................134 7.6.1核技巧........................................135 7.6.2Mercer条件与特征映射........................................136 7.6.3流行的核函数与超参数........................................137 7.6.4SVM的复杂度、权衡及其他........................................138 7.7阅读材料........................................139 习题........................................139 第8章概率方法........................................144 8.1思考问题的概率路线........................................144 8.1.1术语........................................144 8.1.2分布与推断........................................145 8.1.3贝叶斯定理........................................145 8.2各种选择........................................146 8.2.1生成式模型vs.判别式模型........................................146 8.2.2参数化vs.非参数化........................................147 8.2.3该如何看待一个参数呢........................................148 8.3参数化估计........................................148 8.3.1最大似然........................................148 8.3.2最大后验........................................150 8.3.3贝叶斯........................................151 8.4非参数化估计........................................153 8.4.1一个一维的例子........................................153 8.4.2直方图近似中存在的问题........................................155 8.4.3让你的样本无远弗届........................................156 8.4.4核密度估计........................................157 8.4.5带宽选择........................................158 8.4.6多变量KDE........................................158 8.5做出决策........................................159 8.6阅读材料........................................159 习题........................................160 第9章距离度量与数据变换........................................163 9.1距离度量和相似度度量........................................163 9.1.1距离度量........................................164 9.1.2向量范数和度量........................................164 9.1.3`p范数和`p度量........................................165 9.1.4距离度量学习........................................167 9.1.5均值作为一种相似度度量........................................168 9.1.6幂平均核........................................170 9.2数据变换和规范化........................................171 9.2.1线性回归........................................172 9.2.2特征规范化........................................173 9.2.3数据变换........................................175 9.3阅读材料........................................177 习题........................................177 第10章信息论和决策树........................................182 10.1前缀码和霍夫曼树........................................182 10.2信息论基础........................................183 10.2.1熵和不确定性........................................184 10.2.2联合和条件熵........................................184 10.2.3互信息和相对熵........................................185 10.2.4一些不等式........................................186 10.2.5离散分布的熵........................................187 10.3连续分布的信息论........................................187 10.3.1微分熵........................................188 10.3.2多元高斯分布的熵........................................189 10.3.3高斯分布是最大熵分布........................................191 10.4机器学习和模式识别中的信息论........................................192 10.4.1最大熵........................................192 10.4.2最小交叉熵........................................193 10.4.3特征选择........................................194 10.5决策树........................................195 10.5.1异或问题及其决策树模型........................................195 10.5.2基于信息增益的结点划分........................................197 10.6阅读材料........................................198 习题........................................199 第四部分处理变化多端的数据........................................203 第11章稀疏数据和未对齐数据........................................204 11.1稀疏机器学习........................................204 11.1.1稀疏PCA........................................204 11.1.2使用`1范数诱导稀疏性........................................205 11.1.3使用过完备的字典........................................208 11.1.4其他一些相关的话题........................................210 11.2动态时间规整........................................212 11.2.1未对齐的时序数据........................................212 11.2.2思路（或准则）........................................213 11.2.3可视化和形式化........................................214 11.2.4动态规划........................................215 11.3阅读材料........................................218 习题........................................218 第12章隐马尔可夫模型........................................222 12.1时序数据与马尔可夫性质........................................222 12.1.1各种各样的时序数据和模型........................................222 12.1.2马尔可夫性质........................................224 12.1.3离散时间马尔可夫链........................................225 12.1.4隐马尔可夫模型........................................227 12.2HMM学习中的三个基本问题........................................228 12.3、ˉ和评估问题........................................229 12.3.1前向变量和算法........................................230 12.3.2后向变量和算法........................................231 12.4°、±、和解码问题........................................234 12.4.1°和独立解码的最优状态........................................234 12.4.2±、和联合解码的最优状态........................................235 12.5和HMM参数的学习........................................237 12.5.1Baum-Welch:以期望比例来更新.......................................238 12.5.2如何计算........................................238 12.6阅读材料........................................240 习题........................................241 第五部分高阶课题........................................245 第13章正态分布........................................246 13.1定义........................................246 13.1.1单变量正态分布........................................246 13.1.2多元正态分布........................................247 13.2符号和参数化形式........................................248 13.3线性运算与求和........................................249 13.3.1单变量的情形........................................249 13.3.2多变量的情形........................................250 13.4几何和马氏距离........................................251 13.5条件作用........................................252 13.6高斯分布的乘积........................................253 13.7应用Ⅰ:参数估计........................................254 13.7.1最大似然估计........................................254 13.7.2贝叶斯参数估计........................................255 13.8应用Ⅱ:卡尔曼滤波........................................256 13.8.1模型........................................256 13.8.2估计........................................257 13.9在本章中有用的数学........................................258 13.9.1高斯积分........................................258 13.9.2特征函数........................................259 13.9.3舒尔补&矩阵求逆引理........................................260 13.9.4向量和矩阵导数........................................262 习题........................................263 第14章EM算法的基本思想........................................266 14.1GMM:一个工作实例........................................266 14.1.1高斯混合模型........................................266 14.1.2基于隐变量的诠释........................................267 14.1.3假若我们能观测到隐变量,那会怎样......................................268 14.1.4我们可以模仿先知吗........................................269 14.2EM算法的非正式描述........................................270 14.3期望最大化算法........................................270 14.3.1联合非凹的不完整数据对数似然........................................271 14.3.2(可能是)凹的完整数据对数似然........................................271 14.3.3通用EM的推导........................................272 14.3.4E步和M步........................................274 14.3.5EM算法........................................275 14.3.6EM能收敛吗........................................275 14.4EM用于GMM........................................276 14.5阅读材料........................................279 习题........................................279 第15章卷积神经网络........................................281 15.1预备知识........................................281 15.1.1张量和向量化........................................282 15.1.2向量微积分和链式法则........................................283 15.2CNN概览........................................283 15.2.1结构........................................283 15.2.2前向运行........................................285 15.2.3随机梯度下降........................................285 15.2.4误差反向传播........................................286 15.3层的输入、输出和符号........................................287 15.4ReLU层........................................288 15.5卷积层........................................290 15.5.1什么是卷积........................................290 15.5.2为什么要进行卷积........................................291 15.5.3卷积作为矩阵乘法........................................293 15.5.4克罗内克积........................................295 15.5.5反向传播:更新参数........................................296 15.5.6更高维的指示矩阵........................................297 15.5.7反向传播:为前一层准备监督信号........................................298 15.5.8用卷积层实现全连接层........................................300 15.6汇合层........................................301 15.7案例分析:VGG-16网络........................................303 15.7.1VGG-Verydeep-16........................................303 15.7.2感受野........................................304 15.8CNN的亲身体验........................................305 15.9阅读材料........................................305 习题........................................305 参考文献........................................309 英文索引........................................325 中文索引........................................332 |
有问题微信扫码联系