| 作者 |
| 刘宇 崔燕红 郭师光 党习歌(美)Daniel M. Bikel Imed Zitouni |
| 丛书名 |
| 智能系统与技术丛书 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9781911051010 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------聊天机器人:入门、进阶与实战--------------------------- 本书是一本建立在零基础的,以介绍对话机器人领域为目的,通过书中的内容介绍让更多对对话机器人感兴趣的初级读者,可以由浅入深,了解和学习对话机器人的发展现状,用途,原理和技术。 主要内容: 第一部分 数学与统计学基础 数学与统计学是现代机器学习理论的基础,本书会对机器学习中重点涉及的数学与统计学知识做一下整理,方便读者了解和掌握,以便可以顺利的过渡到后面专业知识的理解。 第二部分 自然语言处理模型与技术 对话机器人是以自然语言处理为发展的一个专业领域,基础的自然语言处理模型与技术对于学习后面的专业知识是必要的。本书通过先介绍自然语言处理模型,然后对依赖这个模型所扩展出的自然语言处理技术做详细介绍。使得初学者可以从数学理论到模型,从模型到技术的理论结合实际的方式,学好本书的内容 第三部分 对话机器人的核心技术 在对话机器人的核心技术章节,我们先介绍 1.对话机器人的发展综述。 2.自然语言理解NLU的部分,让读者可以更加清晰的认识到Intent (目的)识别和 Entities (命名实体)识别的重要性。为了更加了解一句话中各个实体间的形容和被形容关系,我们引入句法树和依存句法分析的概念。这样机器人就可以简单的弄清一句话说的是什么,和各个实体间的关系。 3.为了让机器像人类一样可以有更多的知识积累和进行简单的逻辑推理,我们接下来要介绍知识图谱。这里我们重点介绍知识图谱的模型,知识抽取,知识图谱数据库的搭建和存储,以及在简单的了解到Intent和各个实体间关系后,如何根据知识图谱进行推理计算和理解 4.在对句子有了一定的深入理解后,我们需要介绍预测会话和答复生成。在机器理解了问题的内容后,如何给出精确的答复。这里会介绍用于客服机器人的Question to Question 的匹配来得到预先准备好的标准答案。也会介绍通话自然语言理解利用知识图谱得到生成答案,以及通过互联网检索的方式,得到置信度较高的问题答案。最后还会了解如何存储我们学到的问题和答案的配对。 5.在机器学会了一问一答后,我们需要介绍 1.根据上下文理解的对话生成。 . 2.多轮对话的控制和生成。 3.多主题多轮对话的切换。 6.人机对话过程中的情感计算 1.设计情感计算的对话场景 2.情感计算的建模与识别 3.根据情感计算生成带情感色彩的回复 第四部分 对话机器人实战 本书的第四个部分会详细分以下三个方面阐述 1.实战对话机器人的架构 2.对话机器人的开发流程和方案 3.对话机器人的开发案例 在对话机器人的开发案例里面,我们会介绍: 1.垂直领域的客服机器人 2.开放领域的知识问答类型机器人 3.闲聊型的情感机器人 第五部分 附录 附录里会有我们总结的机器学习的模型列表,自然语言模型列表,深度学习的模型列表以及每一章的实战代码 ---------------------------多语自然语言处理:从原理到实践--------------------------- 本书全面阐述了自然语言处理的多个方面,既包括形态学、文档分割、句法、语义分析、语言模型、蕴涵推理、情感分析等理论部分,也包括实体检测、关系识别、机器翻译、信息检索、自动文摘、问答系统、对话系统、多引擎处理等实践部分。本书内容丰富,不仅引用了很多最新的文献,而且还展示了从广泛的研究和产业实践中总结出来的实用解决方案。 本书可供广大的自然语言处理研究者和开发者参考。 |
| 目录 |
---------------------------聊天机器人:入门、进阶与实战--------------------------- 推荐序一 推荐序二 前言 第1章概率统计与应用数学的基础知识 1.1概率的定义 1.2条件概率与贝叶斯公式 1.3随机变量与分布函数 1.4概率分布与参数估计 1.5随机过程与马尔可夫模型 1.6信息熵 1.7本章小结 第2章语言模型与多元文法 2.1词袋模型 2.2N-Gram模型 2.2.1N-Gram简介 2.2.2N-Gram算法 2.2.3N-Gram用途 2.3数据平滑 2.3.1加法平滑方法 2.3.2Good-Turing估计法 2.3.3组合平滑方法 第3章序列标注模型 3.1中文分词 3.1.1条件随机场 3.1.2条件随机场进行中文分词 3.2词性标注 3.2.1词性标注的标准 3.2.2利用隐马尔可夫进行词性标注 3.3命名实体识别 3.3.1利用条件随机场模型进行命名实体识别 3.3.2命名实体识别在对话系统中的作用 3.4序列标注模型 3.5本章小结 第4章文本分析 4.1关键词抽取 4.1.1词频-逆文档频次算法 4.1.2Text Rank 4.2文本分类 4.2.1贝叶斯文本分类模型 4.2.2决策树文本分类模型 4.2.3SVM文本分类模型 4.3主题模型 4.3.1基础知识回顾 4.3.2吉布斯采样 4.3.3隐狄利克雷分配模型 4.4本章小结 第5章深度学习模型 5.1基于深度学习的自然语言模型 5.1.1神经网络自然语言模型与词向量 5.1.2A Neural Probabilistic Language Model 5.1.3CBOW和Skip-Gram 5.1.4Huffman编码与Huffman tree 5.1.5CBOW-Hierarchical Softmax 5.1.6Skip-Gram-Hierarchical Softmax 5.1.7FastText 5.1.8词的全局向量表示 5.2卷积网络CNN 5.2.1卷积网络CNN理论 5.2.2利用CNN进行文本分类 5.3循环网络RNN 5.3.1循环网络RNN(LSTM,GRU)理论 5.3.2利用RNN 进行情感分析 5.3.3Sequence-to-Sequence with Attention Model 5.4Transformer 5.4.1ResNet(Residual Network)残差网络模型 5.4.2Attention is all you need(Transformer) 5.5预训练模型 5.5.1Embeddings from Language Models(ELMo) 5.5.2BERT 第6章对话机器人的发展综述 6.1对话机器人发展史 6.1.1对话机器人的近况 6.1.2开放域 6.1.3垂直领域 6.1.4对话机器人的未来发展趋势 6.2人工智能在对话机器人中的应用 6.2.1深度学习在机器人方面的应用 6.2.2强化学习在机器人方面的应用 6.2.3知识图谱在机器人方面的应用 第7章自然语言理解与知识图谱 7.1知识图谱的表示:三元组模型 7.2知识抽取 7.2.1知识抽取-命名实体识别 7.2.2利用CRF模型识别 NER 7.2.3利用BiLSTM+CRF模型进行命名实体识别 7.3知识抽取-实体关系抽取:Relation Extraction 7.4知识图谱的构建 第8章答案生成与多轮对话 8.1预测会话与答案生成 8.1.1信息检索:利用搜索来预测答案 8.1.2句型模板匹配标准问题生成答案 8.1.3根据知识图谱推理得到答案 8.2多轮对话 8.2.1多轮对话概述 8.2.2任务型多轮对话的控制和生成 8.2.3多主题多轮对话 第9章对话系统的工程架构 9.1对话系统的工程技术 9.1.1常用技术 9.1.2对话系统的分类 9.1.3主要系统软件介绍 9.1.4系统运维相关 9.2对话系统的架构实现 9.2.1阿里小蜜 9.2.2百度对话系统 9.2.3垂直领域对话系统的架构 9.2.4开放领域对话系统的架构 9.3本章小结 第10章实战场景之一——客服机器人 10.1客服机器人架构 10.1.1功能需求 10.1.2系统逻辑架构图 10.2客服机器人设计 10.2.1FAQ的设计 10.2.2导购机器人的设计 10.2.3实例分析 10.3本章小结 第11章实战场景之二——开放域的QA问答 11.1开放领域问答机器人的架构 11.2开放领域问答机器人的开发流程和方案 11.3开放领域问答机器人的开发案例 第12章实战场景之三——聊天机器人 12.1Seq2Seq以及Attention机制 12.2Beam Search 12.3基于Seq2Seq的聊天机器人开发流程 12.3.1语料准备 12.3.2定义Encoder和Decoder 12.3.3模型训练和评估模块 12.3.4模型预测和Beam Search模块 12.4本章小结 ---------------------------多语自然语言处理:从原理到实践--------------------------- 出版者的话 译者序 前言 关于作者 第一部分理论 第1章找出词的结构 1-1词及其部件 1-1-1词元 1-1-2词形 1-1-3词素 1-1-4类型学 1-2问题和挑战 1-2-1不规则性 1-2-2歧义性 1-2-3能产性 1-3形态模型 1-3-1查词典 1-3-2有限状态形态 1-3-3基于合一的形态 1-3-4函数式形态 1-3-5形态归纳 1-4总结 第2章找出文档的结构 2-1概述 2-1-1句子边界检测 2-1-2主题边界检测 2-2方法 2-2-1生成序列分类方法 2-2-2判别性局部分类方法 2-2-3判别性序列分类方法 2-2-4混合方法 2-2-5句子分割的全局建模扩展 2-3方法的复杂度 2-4方法的性能 2-5特征 2-5-1同时用于文本与语音的特征 2-5-2只用于文本的特征 2-5-3语音特征 2-6处理阶段 2-7讨论 2-8总结 第3章句法 3-1自然语言分析 3-2树库:句法分析的数据驱动方法 3-3句法结构的表示 3-3-1使用依存图的句法分析 3-3-2使用短语结构树的句法分析 3-4分析算法 3-4-1移进归约分析 3-4-2超图和线图分析 3-4-3最小生成树和依存分析 3-5分析中的歧义消解模型 3-5-1概率上下文无关文法 3-5-2句法分析的生成模型 3-5-3句法分析的判别模型 3-6多语言问题:什么是词元 3-6-1词元切分、实例和编码 3-6-2分词 3-6-3形态学 3-7总结 第4章语义分析 4-1概述 4-2语义解释 4-2-1结构歧义 4-2-2词义 4-2-3实体与事件消解 4-2-4谓词 论元结构 4-2-5意义表示 4-3系统范式 4-4词义 4-4-1资源 4-4-2系统 4-4-3软件 4-5谓词 论元结构 4-5-1资源 4-5-2系统 4-5-3软件 4-6意义表示 4-6-1资源 4-6-2系统 4-6-3软件 4-7总结 4-7-1词义消歧 4-7-2谓词 论元结构 4-7-3意义表示 第5章语言模型 5-1概述 5-2n元模型 5-3语言模型评价 5-4参数估计 5-4-1最大似然估计和平滑 5-4-2贝叶斯参数估计 5-4-3大规模语言模型 5-5语言模型适应 5-6语言模型的类型 5-6-1基于类的语言模型 5-6-2变长语言模型 5-6-3判别式语言模型 5-6-4基于句法的语言模型 5-6-5最大熵语言模型 5-6-6因子化语言模型 5-6-7其他基于树的语言模型 5-6-8基于主题的贝叶斯语言模型 5-6-9神经网络语言模型 5-7特定语言建模问题 5-7-1形态丰富语言的建模 5-7-2亚词单元的选择 5-7-3形态类别建模 5-7-4无分词语言 5-7-5口语与书面语言 5-8多语言和跨语言建模 5-8-1多语言建模 5-8-2跨语言建模 5-9总结 第6章文本蕴涵识别 6-1概述 6-2文本识别蕴涵任务 6-2-1问题定义 6-2-2RTE的挑战 6-2-3评估文本蕴涵系统性能 6-2-4文本蕴涵解决方案的应用 6-2-5其他语言中的RTE研究 6-3文本蕴涵识别的框架 6-3-1要求 6-3-2分析 6-3-3有用的组件 6-3-4通用模型 6-3-5实现 6-3-6对齐 6-3-7推理 6-3-8训练 6-4案例分析 6-4-1抽取语篇约束 6-4-2基于编辑距离的RTE 6-4-3基于转换的方法 6-4-4逻辑表示及推理 6-4-5独立于蕴涵学习对齐 6-4-6在RTE中利用多对齐 6-4-7自然逻辑 6-4-8句法树核 6-4-9使用有限依存上下文的全局相似度 6-4-10RTE的潜在对齐推理 6-5RTE的进一步研究 6-5-1改进分析器 6-5-2发明或解决新问题 6-5-3开发知识库 6-5-4更好的RTE评价 6-6有用资源 6-6-1文献 6-6-2知识库 6-6-3自然语言处理包 6-7总结 第7章多语情感与主观性分析 7-1概述 7-2定义 7-3英语中的情感及主观性分析 7-3-1词典 7-3-2语料库 7-3-3工具 7-4词级和短语级标注 7-4-1基于字典的方法 7-4-2基于语料库的方法 7-5句子级标注 7-5-1基于字典 7-5-2基于语料库 7-6文档级标注 7-6-1基于字典 7-6-2基于语料库 7-7什么有效,什么无效 7-7-1最佳情况:已有人工标注的语料库 7-7-2次优情形:基于语料库的跨语言映射 7-7-3第三优情形:孳衍词典 7-7-4第四优情形:翻译词典 7-7-5各种可行方法的比较 7-8总结 第二部分实践 第8章实体检测和追踪 8-1概述 8-2提及检测 8-2-1数据驱动的分类 8-2-2搜索提及 8-2-3提及检测特征 8-2-4提及检测实验 8-3共指消解 8-3-1Bell树的构建 8-3-2共指模型:链接和引入模型 8-3-3最大熵链接模型 8-3-4共指消解实验 8-4总结 第9章关系和事件 9-1概述 9-2关系与事件 9-3关系类别 9-4将关系抽取视为分类 9-4-1算法 9-4-2特征 9-4-3分类器 9-5关系抽取的其他方法 9-5-1无监督和半监督方法 9-5-2核方法 9-5-3实体和关系检测的联合方法 9-6事件 9-7事件抽取方法 9-8超句 9-9事件匹配 9-10事件抽取的未来方向 9-11总结 第10章机器翻译 10-1机器翻译现状 10-2机器翻译评测 10-2-1人工评测 10-2-2自动评测 10-2-3WER、BLEU、METEOR等 10-3词对齐 10-3-1共现 10-3-2IBM模型1 10-3-3期望最大化 10-3-4对齐模型 10-3-5对称化 10-3-6作为机器学习问题的词对齐 10-4基于短语的翻译模型 10-4-1模型 10-4-2训练 10-4-3解码 10-4-4立方剪枝 10-4-5对数线性模型和参数调节 10-4-6控制模型的大小 10-5基于树的翻译模型 10-5-1层次短语翻译模型 10-5-2线图解码 10-5-3基于句法的模型 10-6语言学挑战 10-6-1译词选择 10-6-2形态学 10-6-3词序 10-7工具和数据资源 10-7-1基本工具 10-7-2机器翻译系统 10-7-3平行语料 10-8未来的方向 10-9总结 第11章跨语言信息检索 11-1概述 11-2文档预处理 11-2-1文档句法和编码 11-2-2词元化 11-2-3规范化 11-2-4预处理最佳实践 11-3单语信息检索 11-3-1文档表示 11-3-2索引结构 11-3-3检索模型 11-3-4查询扩展 11-3-5文档先验模型 11-3-6模型选择的最佳实践 11-4CLIR 11-4-1基于翻译的方法 11-4-2机器翻译 11-4-3中间语言文档表示 11-4-4最佳实践 11-5多语言信息检索 11-5-1语言识别 11-5-2MLIR的索引建立 11-5-3翻译查询串 11-5-4聚合模型 11-5-5最佳实践 11-6信息检索的评价 11-6-1建立实验环境 11-6-2相关性评估 11-6-3评价指标 11-6-4已有数据集 11-6-5最佳实践 11-7工具、软件和资源 11-8总结 第12章多语自动文摘 12-1概述 12-2自动文摘方法 12-2-1传统方法 12-2-2基于图的方法 12-2-3学习如何做摘要 12-2-4多语自动摘要 12-3评测 12-3-1人工评价 12-3-2自动评价 12-3-3自动文摘评测系统的近期发展 12-3-4多语自动文摘的自动评测方法 12-4如何搭建自动文摘系统 12-4-1材料 12-4-2工具 12-4-3说明 12-5评测竞赛和数据集 12-5-1评测竞赛 12-5-2数据集 12-6总结 第13章问答系统 13-1概述和历史 13-2架构 13-3源获取和预处理 13-4问题分析 13-5搜索及候选抽取 13-5-1非结构化资源搜索 13-5-2非结构化源文本的候选抽取 13-5-3结构化源文本的候选抽取 13-6回答评分 13-6-1方法概述 13-6-2证据结合 13-6-3扩展到列表型问题 13-7跨语言问答 13-8案例研究 13-9评测 13-9-1评测任务 13-9-2判断答案正确性 13-9-3性能度量 13-10当前和未来的挑战 13-11总结和进一步阅读 第14章提炼 14-1概述 14-2示例 14-3相关性和冗余性 14-4Rosetta Consortium 提炼系统 14-4-1文档和语料库准备 14-4-2索引 14-4-3查询回答 14-5其他提炼方法 14-5-1系统架构 14-5-2相关度 14-5-3冗余 14-5-4多模态提炼 14-5-5跨语言提炼 14-6评测和指标 14-7总结 第15章口语对话系统 15-1概述 15-2口语对话系统 15-2-1语音识别和理解 15-2-2语音生成 15-2-3对话管理器 15-2-4语音用户接口 15-3对话形式 15-4自然语言呼叫路由选择 15-5三代对话应用 15-6持续的改进循环 15-7口语句子的转录和标注 15-8口语对话系统的本地化 15-8-1呼叫流程本地化 15-8-2提示本地化 15-8-3文法的本地化 15-8-4源端数据 15-8-5训练 15-8-6测试 15-9总结 第16章聚合自然语言处理引擎 16-1概述 16-2聚合语音和NLP引擎架构的期望属性 16-2-1灵活的分布式组件化 16-2-2计算效率 16-2-3数据操作功能 16-2-4鲁棒性处理 16-3聚合的架构 16-3-1UIMA 16-3-2GATE 16-3-3InfoSphere Streams 16-4案例研究 16-4-1GALE 互操作性演示系统 16-4-2跨语言自动语言开发系统 16-4-3实时翻译服务 16-5经验教训 16-5-1分割涉及延迟和精度之间的权衡 16-5-2联合优化与互操作性 16-5-3数据模型需要使用约定 16-5-4性能评估的挑战 16-5-5引擎的前向波训练 16-6总结 16-7UIMA样本代码 索引 |