| 作者 |
| 朱晨光 [意] 朱塞佩·博纳科尔索(Giuseppe Bonaccorso) |
| 丛书名 |
| 智能系统与技术丛书 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782004201553 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------机器阅读理解:算法与实践--------------------------- 全书分为三个部分,共计10章内容。第一部分为基础篇,介绍机器阅读理解的基础知识。其中包括机器阅读理解任务的定义,阅读理解模型中常用的自然语言处理技术和深度学习网络模块等。 第二部分为架构篇,对机器阅读理解任务进行分类,然后介绍解决各类任务的基本模型架构和前沿算法,并剖析对机器阅读理解研究有着革命性影响的预训练模型(如BERT和GPT)。 第三部分为实战篇,包括笔者在2018年获得CoQA阅读理解竞赛第一名的模型SDNet的代码解读,机器阅读理解在各种工业界应用中的具体落地过程和挑战,以及笔者对于机器阅读理解未来发展方向的思考。 ---------------------------机器学习算法(原书第2版)--------------------------- 本书介绍了数据科学领域常用的所有重要机器学习算法以及TensorFlow和特征工程等相关内容。涵盖的算法包括线性回归、逻辑回归、支持向量机、朴素贝叶斯、k均值、随机森林等,这些算法可以用于监督学习、非监督学习、强化学习或半监督学习。 在本书中,你将学会如何使用这些算法来解决所遇到的问题,并了解这些算法的工作方式。本书还将介绍自然语言处理和推荐系统,这些内容将帮助大家进行多种算法的实践。 阅读完本书后,面对你所遇到的问题,你将了解如何选择合适的聚类、分类或回归的机器学习算法。 |
| 目录 |
---------------------------机器阅读理解:算法与实践--------------------------- 序一 序二 前言 第一篇 基础篇 第1章 机器阅读理解与关键支撑技术 2 1.1 机器阅读理解任务 2 1.1.1 机器阅读理解模型 3 1.1.2 机器阅读理解的应用 4 1.2 自然语言处理 5 1.2.1 研究现状 5 1.2.2 仍需解决的问题 6 1.3 深度学习 7 1.3.1 深度学习的特点 7 1.3.2 深度学习的成果 10 1.4 机器阅读理解任务的测评方式 11 1.4.1 机器阅读理解的答案形式 11 1.4.2 自由回答式答案评分标准ROUGE 12 1.5 机器阅读理解数据集 14 1.5.1 单段落式数据集 14 1.5.2 多段落式数据集 19 1.5.3 文本库式数据集 22 1.6 机器阅读理解数据的生成 23 1.6.1 数据集的生成 23 1.6.2 标准答案的生成 24 1.6.3 如何设计高质量的数据集 26 1.7 本章小结 30 第2章 自然语言处理基础 31 2.1 文本分词 31 2.1.1 中文分词 32 2.1.2 英文分词 33 2.1.3 字节对编码BPE 35 2.2 语言处理的基石:词向量 37 2.2.1 词的向量化 37 2.2.2 Word2vec词向量 39 2.3 命名实体和词性标注 42 2.3.1 命名实体识别 42 2.3.2 词性标注 44 2.4 语言模型 48 2.4.1 N元模型 49 2.4.2 语言模型的评测 52 2.5 本章小结 53 第3章 自然语言处理中的深度学习 54 3.1 从词向量到文本向量 54 3.1.1 利用RNN的最终状态 55 3.1.2 利用CNN和池化 55 3.1.3 利用含参加权和 58 3.2 让计算机做选择题:自然语言理解 59 3.2.1 网络模型 59 3.2.2 实战:文本分类 60 3.3 让计算机写文章:自然语言生成 62 3.3.1 网络模型 62 3.3.2 实战:生成文本 63 3.3.3 集束搜索 65 3.4 让计算机专心致志:注意力机制 67 3.4.1 注意力机制的计算 68 3.4.2 实战:利用内积函数计算注意力 69 3.4.3 序列到序列模型 69 3.5 本章小结 70 第二篇 架构篇 第4章 机器阅读理解模型架构 72 4.1 总体架构 72 4.2 编码层 74 4.2.1 词表的建立和初始化 74 4.2.2 字符编码 75 4.2.3 上下文编码 77 4.3 交互层 79 4.3.1 互注意力 79 4.3.2 自注意力 81 4.3.3 上下文编码 82 4.4 输出层 83 4.4.1 构造问题的向量表示 83 4.4.2 多项选择式答案生成 84 4.4.3 区间式答案生成 85 4.4.4 自由式答案生成 87 4.5 本章小结 93 第5章 常见机器阅读理解模型 94 5.1 双向注意力流模型 94 5.1.1 编码层 94 5.1.2 交互层 95 5.1.3 输出层 98 5.2 R-net 99 5.2.1 基于注意力的门控循环神经网络 100 5.2.2 网络架构 101 5.3 融合网络 104 5.3.1 单词历史 104 5.3.2 全关注注意力 105 5.3.3 总体架构 106 5.4 关键词检索与阅读模型 109 5.4.1 检索器 110 5.4.2 阅读器 112 5.5 本章小结 115 第6章 预训练模型 116 6.1 预训练模型和迁移学习 116 6.2 基于翻译的预训练模型CoVe 118 6.2.1 机器翻译模型 119 6.2.2 上下文编码 120 6.3 基于语言模型的预训练模型ELMo 121 6.3.1 双向语言模型 122 6.3.2 ELMo的使用 123 6.4 生成式预训练模型GPT 125 6.4.1 Transformer 125 6.4.2 GPT模型架构 129 6.4.3 GPT使用方法 129 6.5 划时代的预训练模型BERT 131 6.5.1 双向语言模型 131 6.5.2 判断下一段文本 132 6.5.3 BERT预训练细节 133 6.5.4 BERT在目标任务中的使用 133 6.5.5 实战:在区间答案型机器阅读理解任务中微调BERT 137 6.6 本章小结 138 第三篇 实战篇 第7章 机器阅读理解模型SDNet代码解析 140 7.1 多轮对话式阅读理解模型SDNet 140 7.1.1 编码层 141 7.1.2 交互层与输出层 142 7.2 SDNet代码介绍与运行指南 143 7.2.1 代码介绍 143 7.2.2 运行指南 143 7.2.3 配置文件 145 7.3 预处理程序 147 7.3.1 初始化函数 148 7.3.2 预处理函数 149 7.4 训练程序 154 7.4.1 训练基类 154 7.4.2 训练子类 155 7.5 批次数据产生器 159 7.5.1 掩码 160 7.5.2 准备BERT数据 164 7.6 SDNet模型 166 7.6.1 网络模型类 166 7.6.2 计算层 171 7.6.3 生成BERT编码 177 7.7 本章小结 178 第8章 机器阅读理解的应用与未来 179 8.1 智能客服 179 8.1.1 建立产品客服知识库 180 8.1.2 理解用户意图 181 8.1.3 答案生成 183 8.1.4 智能客服中的其他模块 183 8.2 搜索引擎 184 8.2.1 搜索引擎技术 185 8.2.2 搜索引擎中的机器阅读理解 187 8.2.3 未来与挑战 188 8.3 医疗卫生 189 8.4 法律 190 8.4.1 智能审判 191 8.4.2 确定适用条款 192 8.5 金融 193 8.5.1 股价预测 193 8.5.2 新闻摘要 195 8.6 教育 196 8.7 机器阅读理解的未来 196 8.7.1 机器阅读理解研究面临的挑战 197 8.7.2 机器阅读理解的产业化 202 8.8 本章小结 203 附录A 机器学习基础 205 附录B 深度学习基础 208 ---------------------------机器学习算法(原书第2版)--------------------------- 译者序 前言 第1章机器学习简介 1.1简介——经典机器和自适应的机器 1.1.1描述性分析 1.1.2预测性分析 1.2关于学习 1.2.1监督学习 1.2.2无监督学习 1.2.3半监督学习 1.2.4强化学习 1.2.5计算神经科学 1.3超越机器学习——深度学习和基于生物启发的适应系统 1.4机器学习和大数据 1.5本章小结 第2章机器学习的重要元素 2.1数据格式 2.2可学习性 2.2.1欠拟合和过拟合 2.2.2误差度量和成本函数 2.2.3PAC学习 2.3统计学习方法介绍 2.3.1最大后验概率学习 2.3.2最大似然学习 2.4类平衡 2.4.1可置换的重采样 2.4.2合成少数类过采样 2.5信息论的要素 2.5.1熵 2.5.2交叉熵和互信息 2.5.3两个概率分布的散度 2.6本章小结 第3章特征选择与特征工程 3.1scikit-learn的toy数据集 3.2创建训练集和测试集 3.3管理分类数据 3.4管理缺失特征 3.5数据缩放和归一化 3.6特征选择和过滤 3.7主成分分析 3.7.1非负矩阵分解 3.7.2稀疏PCA 3.7.3核PCA 3.8独立成分分析 3.9原子提取和字典学习 3.10使用t-SNE可视化高维数据集 3.11本章小结 第4章回归算法 4.1线性模型 4.2一个二维的例子 4.3基于scikit-learn的线性回归和更高维 4.3.1决定系数 4.3.2可解释方差 4.3.3回归的解析表达 4.4Ridge回归、Lasso回归和ElasticNet 4.4.1Ridge回归 4.4.2Lasso回归 4.4.3ElasticNet 4.5稳健回归 4.5.1随机抽样一致算法 4.5.2Huber回归 4.6贝叶斯回归 4.7多项式回归 4.8保序回归 4.9本章小结 第5章线性分类算法 5.1线性分类 5.2逻辑回归 5.3实现和优化 5.4随机梯度下降算法 5.5被动攻击算法 5.6通过网格搜索找到最优超参数 5.7评估分类的指标 5.7.1混淆矩阵 5.7.2精确率 5.7.3召回率 5.7.4F-Beta 5.7.5Kappa系数 5.7.6分类报告 5.7.7学习曲线 5.8ROC曲线 5.9本章小结 第6章朴素贝叶斯和判别分析 6.1贝叶斯定理 6.2朴素贝叶斯分类器 6.3scikit-learn中的朴素贝叶斯 6.3.1伯努利朴素贝叶斯 6.3.2多项式朴素贝叶斯 6.3.3高斯朴素贝叶斯 6.4判别分析 6.5本章小结 第7章支持向量机 7.1线性支持向量机 7.2scikit-learn实现 7.3基于内核的分类 7.3.1径向基函数 7.3.2多项式核 7.3.3Sigmoid核 7.3.4自定义核 7.3.5非线性例子 7.4受控支持向量机 7.5支持向量回归 7.6半监督支持向量机简介 7.7本章小结 第8章决策树和集成学习 8.1二元决策树 8.1.1二元决策 8.1.2不纯度的衡量 8.1.3特征重要度 8.2基于scikit-learn的决策树分类 8.3决策树回归 8.4集成学习简介 8.4.1随机森林 8.4.2AdaBoost 8.4.3梯度树提升 8.4.4投票分类器 8.5本章小结 第9章聚类原理 9.1聚类基础 9.2k-NN算法 9.3高斯混合 9.4k-means 9.5基于样本标记的评价方法 9.5.1同质性 9.5.2完整性 9.5.3修正兰德指数 9.6本章小结 第10章高级聚类 10.1DBSCAN 10.2谱聚类 10.3在线聚类 10.3.1mini-batch k-means 10.3.2BIRCH 10.4双聚类 10.5本章小结 第11章层次聚类 11.1分层策略 11.2凝聚聚类 11.2.1树形图 11.2.2scikit-learn中的凝聚聚类 11.2.3连接限制 11.3本章小结 第12章推荐系统介绍 12.1朴素的基于用户的系统 12.2基于内容的系统 12.3无模式(或基于内存的)协同过滤 12.4基于模型的协同过滤 12.4.1奇异值分解策略 12.4.2交替最小二乘法策略 12.4.3用Apache Spark MLlib实现交替最小二乘法策略 12.5本章小结 第13章自然语言处理简介 13.1NLTK和内置语料库 13.2词袋策略 13.2.1标记 13.2.2停止词的删除 13.2.3词干抽取 13.2.4向量化 13.3词性 13.4示例文本分类器 13.5本章小结 第14章NLP中的主题建模与情感分析 14.1主题建模 14.1.1隐性语义分析 14.1.2概率隐性语义分析 14.1.3隐性狄利克雷分配 14.2使用Gensim的Word2vec简介 14.3情感分析 14.4本章小结 第15章神经网络介绍 15.1深度学习简介 15.2基于Keras的MLP 15.3本章小结 第16章高级深度学习模型 16.1深层结构 16.2基于Keras的深度卷积网络示例 16.3基于Kears的LSTM网络示例 16.4TensorFlow简介 16.4.1梯度计算 16.4.2逻辑回归 16.4.3用多层感知器进行分类 16.4.4图像卷积 16.5本章小结 第17章创建机器学习架构 17.1机器学习框架 17.1.1数据收集 17.1.2归一化 17.1.3降维 17.1.4数据扩充 17.1.5数据转换 17.1.6建模、网格搜索和交叉验证 17.1.7可视化 17.1.8GPU支持 17.1.9分布式架构简介 17.2用于机器学习架构的scikit-learn工具 17.2.1管道 17.2.2特征联合 17.3本章小结 |