[套装书]模式识别：数据质量视角+模式识别（2册）

作者
[波]伍拉迪斯罗·霍曼达（W＆#322 adys＆#322 aw Homenda） [加]维托德·派提兹 （Witold Pedrycz） 吴建鑫
丛书名
智能科学与技术丛书
出版社
机械工业出版社
ISBN
9782004201725
简要
简介
内容简介书籍计算机书籍 ---------------------------模式识别：数据质量视角--------------------------- 几十年来，实际需求激发了对模式识别的大量理论和应用研究。在这个过程中，限制因素和恒久问题一直是数据——它的多样性、丰富性和可变质量是模式识别创新的主要挑战。本书关注高级数据分析和数据挖掘，创新之处是对数据质量的重新定位——将数据质量看作一个可以处理的因素，而非当作需要克服的困难。 ---------------------------模式识别--------------------------- 介绍模式识别中的基础知识、主要模型及热门应用，使学生掌握模式识别的基本原理、实际应用以及最新研究进展，培养学生在本学科中的视野与独立解决任务的能力，为学生在模式识别的项目开发及相关科研活动打好基础。
目录



---------------------------模式识别：数据质量视角---------------------------


译者序
前言
第一部分　基础知识
第1章　模式识别：特征空间的构建2
1.1　概念2
1.2　从样本到特征5
1.2.1　向量型特征7
1.2.2　特征变换：从向量型到向量型8
1.2.3　特征变换：从向量型到数值型9
1.2.4　数值型特征10
1.3　特征尺度化12
1.3.1　特征归一化13
1.3.2　标准化14
1.3.3　特征尺度的经验评价15
1.4　特征评估和选择18
1.4.1　相关性18
1.4.2　特征评估：两种方法20
1.4.3　基于指数的特征评估：单特征与特征集21
1.4.4　特征评估指数21
1.4.5　基于指数的方法和基于包装的方法23
1.4.6　使用指数和分类器的单特征评估方案24
1.4.7　特征子集的选择27
1.4.8　特征子集的生成29
1.5　结论37
附录1.A38
附录1.B40
参考文献40
第2章　模式识别：分类器42
2.1　概念42
2.2　最近邻分类方法43
2.3　支持向量机分类算法45
2.3.1　线性可分类的线性划分46
2.3.2　线性不可分类的线性划分48
2.3.3　线性不可分类的非线性划分50
2.4　分类问题中的决策树52
2.4.1　决策树一览52
2.4.2　特征分解57
2.4.3　度量类的差异性57
2.4.4　选择一个分解特征60
2.4.5　限制树的结构61
2.5　集成分类器62
2.5.1　袋装63
2.5.2　提升64
2.5.3　随机森林65
2.6　贝叶斯分类器67
2.6.1　应用贝叶斯理论67
2.6.2　最小化错分概率68
2.6.3　最小化损失69
2.6.4　拒绝不确定样本70
2.6.5　类条件概率分布71
2.7　结论79
参考文献79
第3章　分类拒绝问题规范及概述82
3.1　概念82
3.2　拒绝架构的概念87
3.3　基于原始样本的拒绝91
3.3.1　构建拒绝机制91
3.3.2　全局拒绝架构下的拒绝机制92
3.3.3　局部拒绝架构下的拒绝机制95
3.3.4　嵌入式拒绝架构下的拒绝机制96
3.4　原始样本数据集中的拒绝选项：案例研究97
3.4.1　数据集97
3.4.2　构建一个树形二值分类器100
3.4.3　针对手写数字数据集构建一个树形二值分类器101
3.4.4　针对手写数字数据集构建一个带拒绝的树形二值分类器103
3.4.5　拒绝被错分的原始样本：一些想法105
3.5　结论106
参考文献106
第4章　评估模式识别问题108
4.1　评估带拒绝项的识别：基本概念108
4.1.1　评估拒绝的效率108
4.1.2　不平衡原始集与异类集109
4.1.3　度量拒绝质量的有效性110
4.1.4　分离原始样本和异类样本111
4.1.5　对多类原始样本的适应112
4.1.6　评估带拒绝项的多类分类问题113
4.1.7　说明性示例114
4.2　没有异类样本时带拒绝的分类问题117
4.3　带拒绝的分类：局部特征120
4.3.1　多类问题的特性描述120
4.3.2　说明性示例122
4.4　结论125
参考文献126
第5章　带拒绝的识别：经验分析127
5.1　实验结果127
5.1.1　拒绝架构的对比128
5.1.2　减少特征集数量131
5.1.3　分类器质量与拒绝性能133
5.1.4　用于处理不平衡数据集的带拒绝的分类137
5.2　几何方法140
5.2.1　超矩形141
5.2.2　椭球体142
5.2.3　在几何模型中限制为原始样本保留的区域143
5.2.4　文献评论153
5.3　结论155
参考文献155
第二部分　高级主题：粒度计算框架
第6章　信息粒的概念158
6.1　信息粒度和粒度计算158
6.2　信息粒度的正式平台161
6.3　区间和区间微积分164
6.4　模糊集微积分166
6.4.1　模糊集的隶属函数和类167
6.4.2　三角范数和三角余模作为模糊集上运算的模型170
6.5　信息粒的特征：覆盖率和特异性173
6.6　信息粒匹配176
6.7　结论177
参考文献177
第7章　信息粒：基本构造179
7.1　合理粒度原则179
7.1.1　一般观察182
7.1.2　加权数据182
7.1.3　抑制性数据183
7.2　对设计有价值的信息粒度184
7.2.1　粒映射184
7.2.2　信息粒度分配协议187
7.2.3　粒度聚合：通过分配信息粒度增强聚合操作187
7.3　时间序列模型中暂存数据的单步和多步预测188
7.4　高级类型的粒模型的开发189
7.5　粒样本的分类192
7.5.1　分类问题的公式化193
7.5.2　从数值数据到粒数据193
7.5.3　粒分类器：增强问题195
7.6　结论195
参考文献196
第8章　聚类197
8.1　模糊c均值聚类方法197
8.2　k均值聚类算法201
8.3　带有聚类和变量加权的增强模糊聚类201
8.4　基于知识的聚类202
8.5　聚类结果的质量202
8.6　信息粒与聚类结果解释204
8.6.1　数字原型的粒度描述符的形成204
8.6.2　数据粒度及其在FCM算法中的融合205
8.7　层次聚类205
8.8　隐私问题中的信息粒：微聚集的概念208
8.9　更高类型信息粒的开发208
8.10　实验研究209
8.11　结论217
参考文献218
第9章　数据质量：填补和数据平衡219
9.1　数据填补：基本概念和关键问题219
9.2　填补方法的选定类别220
9.3　利用信息粒进行填补221
9.4　基于合理粒度原则的颗粒填补222
9.5　基于模糊聚类的颗粒填补225
9.6　系统建模中的数据填补226
9.7　不平衡数据及其粒度特征227
9.7.1　数据平衡的主要方法：概述228
9.7.2　过采样数据的粒度表示229
9.8　结论231
参考文献231



---------------------------模式识别---------------------------


前言
符号表
第一部分概述........................................1
第1章绪论........................................2
1.1样例:自动驾驶........................................3
1.2模式识别与机器学习........................................5
1.2.1一个典型的模式识别流程........................................5
1.2.2模式识别vs.机器学习........................................8
1.2.3评估、部署和细化........................................9
1.3本书的结构........................................9
习题........................................12
第2章数学背景知识........................................14
2.1线性代数........................................14
2.1.1内积、范数、距离和正交性........................................14
2.1.2角度与不等式........................................15
2.1.3向量投影........................................16
2.1.4矩阵基础........................................17
2.1.5矩阵乘法........................................18
2.1.6方阵的行列式与逆........................................19
2.1.7方阵的特征值、特征向量、秩和迹........................................20
2.1.8奇异值分解........................................22
2.1.9(半)正定实对称矩阵........................................22
2.2概率........................................23
2.2.1基础........................................23
2.2.2联合分布、条件分布与贝叶斯定理........................................25
2.2.3期望与方差/协方差矩阵........................................26
2.2.4不等式........................................27
2.2.5独立性与相关性........................................28
2.2.6正态分布........................................29
2.3优化与矩阵微积分........................................30
2.3.1局部极小、必要条件和矩阵微积分........................................30
2.3.2凸优化与凹优化........................................31
2.3.3约束优化和拉格朗日乘子法........................................33
2.4算法复杂度........................................34
2.5阅读材料........................................35
习题........................................35
第3章模式识别系统概述........................................39
3.1人脸识别........................................39
3.2一个简单的最近邻分类器........................................40
3.2.1训练或学习........................................40
3.2.2测试或预测........................................40
3.2.3最近邻分类器........................................41
3.2.4k-近邻........................................42
3.3丑陋的细节........................................43
3.4制定假设并化简........................................46
3.4.1设计工作环境vs.设计复杂算法........................................46
3.4.2假设与简化........................................47
3.5一种框架........................................51
3.6阅读材料........................................51
习题........................................53
第4章评估........................................55
4.1简单情形中的准确率和错误率........................................55
4.1.1训练与测试误差........................................56
4.1.2过拟合与欠拟合........................................56
4.1.3使用验证集来选择超参数........................................58
4.1.4交叉验证........................................59
4.2最小化代价/损失........................................61
4.2.1正则化........................................62
4.2.2代价矩阵........................................62
4.2.3贝叶斯决策理论........................................63
4.3不平衡问题中的评估........................................64
4.3.1单个类别内的比率........................................64
4.3.2ROC曲线下的面积........................................65
4.3.3查准率、查全率和F值........................................66
4.4我们能达到100％的准确率吗........................................68
4.4.1贝叶斯错误率........................................68
4.4.2真实标记........................................69
4.4.3偏置-方差分解........................................70
4.5对评估结果的信心........................................73
4.5.1为什么要取平均........................................73
4.5.2为什么要报告样本标准差........................................74
4.5.3比较两个分类器........................................75
4.6阅读材料........................................79
习题........................................79
第二部分与领域知识无关的特征提取........................................83
第5章主成分分析........................................84
5.1动机........................................84
5.1.1维度与内在维度........................................84
5.1.2降维........................................86
5.1.3PCA与子空间方法........................................86
5.2PCA降维到零维子空间........................................86
5.2.1想法-形式化-优化实践........................................87
5.2.2一个简单的优化........................................87
5.2.3一些注释........................................88
5.3PCA降维到一维子空间........................................88
5.3.1新的形式化........................................88
5.3.2最优性条件与化简........................................89
5.3.3与特征分解的联系........................................90
5.3.4解........................................91
5.4PCA投影到更多维度........................................91
5.5完整的PCA算法........................................92
5.6方差的分析........................................93
5.6.1从最大化方差出发的PCA........................................94
5.6.2一种更简单的推导........................................95
5.6.3我们需要多少维度呢........................................95
5.7什么时候使用或不用PCA呢........................................96
5.7.1高斯数据的PCA........................................96
5.7.2非高斯数据的PCA........................................96
5.7.3含异常点数据的PCA........................................98
5.8白化变换........................................98
5.9特征分解vs.SVD........................................98
5.10阅读材料........................................99
习题........................................99
第6章Fisher线性判别........................................103
6.1用于二分类的FLD........................................104
6.1.1想法:什么是隔得很远呢........................................104
6.1.2翻译成数学语言........................................105
6.1.3散度矩阵vs.协方差矩阵........................................107
6.1.4两种散度矩阵以及FLD的目标函数........................................108
6.1.5优化........................................108
6.1.6等等,我们有一条捷径........................................109
6.1.7二分类问题的FLD........................................109
6.1.8陷阱:要是SW不可逆呢........................................110
6.2用于多类的FLD........................................111
6.2.1稍加修改的符号和SW........................................111
6.2.2SB的候选........................................111
6.2.3三个散度矩阵的故事........................................112
6.2.4解........................................113
6.2.5找到更多投影方向........................................113
6.3阅读材料........................................113
习题........................................114
第三部分分类器与其他工具........................................119
第7章支持向量机........................................120
7.1SVM的关键思想........................................120
7.1.1简化它!简化它!简化它!........................................120
7.1.2查找最大（或较大）间隔的分类器........................................121
7.2可视化并计算间隔........................................122
7.2.1几何的可视化........................................123
7.2.2将间隔作为优化来计算........................................124
7.3最大化间隔........................................124
7.3.1形式化........................................125
7.3.2各种简化........................................125
7.4优化与求解........................................127
7.4.1拉格朗日函数与KKT条件........................................127
7.4.2SVM的对偶形式........................................128
7.4.3最优的b值与支持向量........................................129
7.4.4同时考虑原始形式与对偶形式........................................131
7.5向线性不可分问题和多类问题的扩展........................................131
7.5.1不可分问题的线性分类器........................................132
7.5.2多类SVM........................................134
7.6核SVM........................................134
7.6.1核技巧........................................135
7.6.2Mercer条件与特征映射........................................136
7.6.3流行的核函数与超参数........................................137
7.6.4SVM的复杂度、权衡及其他........................................138
7.7阅读材料........................................139
习题........................................139
第8章概率方法........................................144
8.1思考问题的概率路线........................................144
8.1.1术语........................................144
8.1.2分布与推断........................................145
8.1.3贝叶斯定理........................................145
8.2各种选择........................................146
8.2.1生成式模型vs.判别式模型........................................146
8.2.2参数化vs.非参数化........................................147
8.2.3该如何看待一个参数呢........................................148
8.3参数化估计........................................148
8.3.1最大似然........................................148
8.3.2最大后验........................................150
8.3.3贝叶斯........................................151
8.4非参数化估计........................................153
8.4.1一个一维的例子........................................153
8.4.2直方图近似中存在的问题........................................155
8.4.3让你的样本无远弗届........................................156
8.4.4核密度估计........................................157
8.4.5带宽选择........................................158
8.4.6多变量KDE........................................158
8.5做出决策........................................159
8.6阅读材料........................................159
习题........................................160
第9章距离度量与数据变换........................................163
9.1距离度量和相似度度量........................................163
9.1.1距离度量........................................164
9.1.2向量范数和度量........................................164
9.1.3`p范数和`p度量........................................165
9.1.4距离度量学习........................................167
9.1.5均值作为一种相似度度量........................................168
9.1.6幂平均核........................................170
9.2数据变换和规范化........................................171
9.2.1线性回归........................................172
9.2.2特征规范化........................................173
9.2.3数据变换........................................175
9.3阅读材料........................................177
习题........................................177
第10章信息论和决策树........................................182
10.1前缀码和霍夫曼树........................................182
10.2信息论基础........................................183
10.2.1熵和不确定性........................................184
10.2.2联合和条件熵........................................184
10.2.3互信息和相对熵........................................185
10.2.4一些不等式........................................186
10.2.5离散分布的熵........................................187
10.3连续分布的信息论........................................187
10.3.1微分熵........................................188
10.3.2多元高斯分布的熵........................................189
10.3.3高斯分布是最大熵分布........................................191
10.4机器学习和模式识别中的信息论........................................192
10.4.1最大熵........................................192
10.4.2最小交叉熵........................................193
10.4.3特征选择........................................194
10.5决策树........................................195
10.5.1异或问题及其决策树模型........................................195
10.5.2基于信息增益的结点划分........................................197
10.6阅读材料........................................198
习题........................................199
第四部分处理变化多端的数据........................................203
第11章稀疏数据和未对齐数据........................................204
11.1稀疏机器学习........................................204
11.1.1稀疏PCA........................................204
11.1.2使用`1范数诱导稀疏性........................................205
11.1.3使用过完备的字典........................................208
11.1.4其他一些相关的话题........................................210
11.2动态时间规整........................................212
11.2.1未对齐的时序数据........................................212
11.2.2思路（或准则）........................................213
11.2.3可视化和形式化........................................214
11.2.4动态规划........................................215
11.3阅读材料........................................218
习题........................................218
第12章隐马尔可夫模型........................................222
12.1时序数据与马尔可夫性质........................................222
12.1.1各种各样的时序数据和模型........................................222
12.1.2马尔可夫性质........................................224
12.1.3离散时间马尔可夫链........................................225
12.1.4隐马尔可夫模型........................................227
12.2HMM学习中的三个基本问题........................................228
12.3、ˉ和评估问题........................................229
12.3.1前向变量和算法........................................230
12.3.2后向变量和算法........................................231
12.4°、±、和解码问题........................................234
12.4.1°和独立解码的最优状态........................................234
12.4.2±、和联合解码的最优状态........................................235
12.5和HMM参数的学习........................................237
12.5.1Baum-Welch:以期望比例来更新.......................................238
12.5.2如何计算........................................238
12.6阅读材料........................................240
习题........................................241
第五部分高阶课题........................................245
第13章正态分布........................................246
13.1定义........................................246
13.1.1单变量正态分布........................................246
13.1.2多元正态分布........................................247
13.2符号和参数化形式........................................248
13.3线性运算与求和........................................249
13.3.1单变量的情形........................................249
13.3.2多变量的情形........................................250
13.4几何和马氏距离........................................251
13.5条件作用........................................252
13.6高斯分布的乘积........................................253
13.7应用Ⅰ:参数估计........................................254
13.7.1最大似然估计........................................254
13.7.2贝叶斯参数估计........................................255
13.8应用Ⅱ:卡尔曼滤波........................................256
13.8.1模型........................................256
13.8.2估计........................................257
13.9在本章中有用的数学........................................258
13.9.1高斯积分........................................258
13.9.2特征函数........................................259
13.9.3舒尔补&矩阵求逆引理........................................260
13.9.4向量和矩阵导数........................................262
习题........................................263
第14章EM算法的基本思想........................................266
14.1GMM:一个工作实例........................................266
14.1.1高斯混合模型........................................266
14.1.2基于隐变量的诠释........................................267
14.1.3假若我们能观测到隐变量,那会怎样......................................268
14.1.4我们可以模仿先知吗........................................269
14.2EM算法的非正式描述........................................270
14.3期望最大化算法........................................270
14.3.1联合非凹的不完整数据对数似然........................................271
14.3.2(可能是)凹的完整数据对数似然........................................271
14.3.3通用EM的推导........................................272
14.3.4E步和M步........................................274
14.3.5EM算法........................................275
14.3.6EM能收敛吗........................................275
14.4EM用于GMM........................................276
14.5阅读材料........................................279
习题........................................279
第15章卷积神经网络........................................281
15.1预备知识........................................281
15.1.1张量和向量化........................................282
15.1.2向量微积分和链式法则........................................283
15.2CNN概览........................................283
15.2.1结构........................................283
15.2.2前向运行........................................285
15.2.3随机梯度下降........................................285
15.2.4误差反向传播........................................286
15.3层的输入、输出和符号........................................287
15.4ReLU层........................................288
15.5卷积层........................................290
15.5.1什么是卷积........................................290
15.5.2为什么要进行卷积........................................291
15.5.3卷积作为矩阵乘法........................................293
15.5.4克罗内克积........................................295
15.5.5反向传播:更新参数........................................296
15.5.6更高维的指示矩阵........................................297
15.5.7反向传播:为前一层准备监督信号........................................298
15.5.8用卷积层实现全连接层........................................300
15.6汇合层........................................301
15.7案例分析:VGG-16网络........................................303
15.7.1VGG-Verydeep-16........................................303
15.7.2感受野........................................304
15.8CNN的亲身体验........................................305
15.9阅读材料........................................305
习题........................................305
参考文献........................................309
英文索引........................................325
中文索引........................................332



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4