[套装书]大数据原理与实践：复杂信息的准备、共享和分析（原书第2版）+大数据治理与安全：从理论到开源实践（2册）[POD]

作者
朱尔斯·J. 伯曼 刘驰
丛书名
数据科学与工程技术丛书
出版社
机械工业出版社
ISBN
9782007071440
简要
简介
内容简介书籍计算机书籍 ---------------------------大数据原理与实践：复杂信息的准备、共享和分析（原书第2版）--------------------------- 当大数据资源变得越发复杂时，仅靠更强大的计算机系统已无法解决问题。本书带我们重新审视数据准备环节，重点讨论了其中至关重要但又常常被忽略的主题——标识符、不变性、内省和数据索引。此外，书中也涵盖常见的与大数据设计、架构、操作和分析相关的内容，以及涉及法律、社会和伦理问题的非技术性章节。全书视角独特，涉猎广博，尤以医学大数据分析见长，强调基本原理，不关注编程细节和数学公式，适合企业决策者、技术专家以及计算机相关专业的学生阅读。 ---------------------------大数据治理与安全：从理论到开源实践--------------------------- 本书主要从理论和实践两个部分对大数据治理与安全技术展开详尽描述。其中理论篇主要从大数据治理的概念、作用、重要性，以及大数据治理的原则、范围及评估内容做出了详细介绍；之后从大数据安全、隐私和审计三个方面，探讨了大数据安全所面临的挑战，以及解决这些问题的技术与方案、作用与意义。开源实践篇分别从Apache的四个开源组件 Falcon、Atlas、Ranger和Sentry以及Kerberos软件框架与工具介绍其在大数据治理与安全方面的功能与实践应用方案。 本书适用于大数据应用技术爱好者以及具有一定开发经验的读者，也可以作为大数据相关课程的教学参考书，供云计算、大数据相关专业方向的本科生、研究生阅读，亦可作为相关从业人员与一线软件开发人员的参考资料。
目录



---------------------------大数据原理与实践：复杂信息的准备、共享和分析（原书第2版）---------------------------


译者序
第2版前言
第1版前言
作者简介
第1章　引言 1
1.1　大数据的定义 1
1.2　大数据与小数据 2
1.3　大数据在哪里 5
1.4　大数据最常见的目的是产生小数据 6
1.5　大数据是研究领域的中心话题 6
术语表 7
参考文献 11
第2章　为非结构化数据提供结构 13
2.1　几乎所有数据都是非结构化的、
不可用的原始形式 13
2.2　词汇索引 14
2.3　术语提取 16
2.4　构建索引 19
2.5　自动编码 20
2.6　案例研究：宇宙中任意原子精确位置的快速定位（需要安装一些软件） 24
2.7　案例研究（高级）：一个完整的自动编码器（12行Python代码） 26
2.8　案例研究：以词汇索引进行文本转换 28
2.9　案例研究（高级）：Burrows Wheeler变换 30
术语表 32
参考文献 43
第3章　标识、去标识和重标识 45
3.1　什么是标识符 45
3.2　标识符和标识系统之间的区别 46
3.3　生成唯一标识符 48
3.4　糟糕的标识方法 50
3.5　注册唯一对象标识符 53
3.6　去标识和重标识 55
3.7　案例研究：数据清理 57
3.8　案例研究（高级）：图像标题中的标识符 59
3.9　案例研究：单向散列函数 61
术语表 63
参考文献 69
第4章　元数据、语义和三元组 71
4.1　元数据 71
4.2　可扩展标记语言 71
4.3　语义和三元组 72
4.4　命名空间 74
4.5　案例研究：三元组的语法 75
4.6　案例研究：Dublin Core 77
术语表 78
参考文献 80
第5章　分类和本体论 81
5.1　关于对象关系的全部 81
5.2　分类：最简单的本体 84
5.3　本体：有多个父类的类 86
5.4　分类模型选择 88
5.5　类混合 91
5.6　本体开发的常见陷阱 92
5.7　案例研究：上层本体 93
5.8　案例研究（高级）：悖论 94
5.9　案例研究（高级）：RDF框架和类属性 96
5.10　案例研究（高级）：可视化类关系 98
术语表 102
参考文献 111
第6章　内省 113
6.1　自我认知 113
6.2　数据对象：每个大数据集合中最基本的元素 116
6.3　大数据如何使用内省 117
6.4　案例研究：时间戳数据 119
6.5　案例研究：TripleStore 简介 121
6.6　案例研究（高级）：大数据必须是面向对象的证明 125
术语表 126
参考文献 127
第7章　标准和数据集成 128
7.1　标准 128
7.2　规范与标准 132
7.3　版本控制 134
7.4　合规问题 135
7.5　案例研究：标准化巧克力茶壶 135
术语表 136
参考文献 137
第8章　不变性和永久性 139
8.1　数据不变性的重要性 139
8.2　不变性和标识符 140
8.3　数据产生数据 142
8.4　跨机构协调标识符 143
8.5　案例研究：可信时间戳 144
8.6　案例研究：区块链和分布式账本 145
8.7　案例研究（高级）：零知识协调 147
术语表 148
参考文献 150
第9章　评估大数据资源的充分性 152
9.1　观察数据 152
9.2　大数据的最小必要属性 158
9.3　附加条件的数据 161
9.4　案例研究：用于查看和搜索大型文件的实用程序 162
9.5　案例研究：数据扁平化 164
术语表 164
参考文献 169
第10章　测量 170
10.1　准确性与精度 170
10.2　数据范围 171
10.3　计数 173
10.4　数据标准化和变换 176
10.5　约简数据 179
10.6　理解控制 181
10.7　没有实际意义的统计意义 182
10.8　案例研究：基因计数 183
10.9　案例研究：早期生物特征和狭窄数据范围的意义 184
术语表 185
参考文献 186
第11章　快速简单的大数据分析必不可少的技巧 188
11.1　速度和可扩展性 188
11.2　适用于大数据的快速操作，并且每台计算机都支持 193
11.3　点积—一种简单快速的相关方法 197
11.4　聚类 199
11.5　数据持久性方法（不使用数据库） 201
11.6　案例研究：爬升分类 202
11.7　案例研究（高级）：数据库示例 203
11.8　案例研究（高级）：NoSQL 205
术语表 205
参考文献 209
第12章　寻找大型数据集中的线索 211
12.1　分母 211
12.2　词频分布 212
12.3　异常值和异常 215
12.4　封底分析 216
12.5　案例研究：预测用户偏好 218
12.6　案例研究：人口数据的多模态 219
12.7　案例研究：大小黑洞 220
术语表 220
参考文献 224
第13章　使用随机数将大数据分析问题的规模缩小 225
13.1　（伪）随机数的显著效用 225
13.2　重采样 230
13.3　蒙特卡罗模拟法 234
13.4　案例研究：中心极限定理的证明 236
13.5　案例研究：发生一连串小概率事件的频率 237
13.6　案例研究：臭名昭著的生日问题 238
13.7　案例研究（高级）：蒙提霍尔问题 239
13.8　案例研究（高级）：贝叶斯分析 241
术语表 242
参考文献 244
第14章　大数据分析中的特殊注意事项 246
14.1　数据搜索理论 246
14.2　理论搜索中的数据 247
14.3　巨大的偏差 248
14.4　大数据的数据子集：不可加和不传递 251
14.5　其他大数据陷阱 252
14.6　案例研究（高级）：维数灾难 254
术语表 257
参考文献 258
第15章　大数据的失败以及如何避免 260
15.1　失败很常见 260
15.2　失败的标准 261
15.3　复杂性 264
15.4　逐步走进大数据分析 265
15.5　失败之后 272
15.6　案例研究：癌症生物医学信息学网格—遥远的桥 273
15.7　案例研究：高斯Copula函数 277
术语表 278
参考文献 280
第16章　数据再分析：比分析更重要 283
16.1　第一次分析（几乎）总是错的 283
16.2　为什么再分析比分析更重要 285
16.3　案例研究：旧JADE对撞机数据的再分析 287
16.4　案例研究：通过再分析证明 287
16.5　案例研究：从旧数据中寻找新行星 288
术语表 289
参考文献 290
第17章　大数据再利用 294
17.1　什么是数据再利用 294
17.2　暗数据、废弃数据和遗留数据 296
17.3　案例研究：从邮政编码到人口统计学基础 297
17.4　案例研究：基因序列数据库的科学推断 298
17.5　案例研究：将全球变暖与高强度飓风联系起来 298
17.6　案例研究：用地质数据推断气候趋势 299
17.7　案例研究：环月影像恢复工程 299
术语表 301
参考文献 301
第18章　数据共享和数据安全 303
18.1　什么是数据共享，为什么我们不共享更多数据 303
18.2　常见的不满 303
18.3　数据安全和加密协议 308
18.4　案例研究：火星上的生命 313
18.5　案例研究：个人标识符 314
术语表 315
参考文献 317
第19章　合法性 320
19.1　对数据的准确性和合法性负责 320
19.2　创建、使用和共享资源的权利 322
19.3　因使用标准而招致的版权和专利侵权行为 324
19.4　对个人的保护 325
19.5　许可问题 326
19.6　未经许可的数据 330
19.7　隐私策略 332
19.8　案例研究：大数据的时效性 333
19.9　案例：哈瓦苏派的故事 334
术语表 335
参考文献 336
第20章　社会问题 338
20.1　公众的大数据感知 338
20.2　用大数据降低成本和提高生产效率 340
20.3　公众的疑虑 342
20.4　从自己做起 343
20.5　谁是大数据 344
20.6　傲慢和夸张 349
20.7　案例研究：公民科学家 351
20.8　案例研究：乔治·奥威尔的《1984》 354
术语表 354
参考文献 355



---------------------------大数据治理与安全：从理论到开源实践---------------------------


前言
第一篇　理论篇
第1章　大数据治理技术2
1.1　概述2
1.1.1　大数据治理的基本概念2
1.1.2　大数据治理的意义和重要作用5
1.2　框架7
1.2.1　大数据治理框架概述7
1.2.2　大数据治理的原则9
1.2.3　大数据治理的范围11
1.2.4　大数据治理的实施与评估14
第2章　大数据安全、隐私保护和审计技术19
2.1　大数据安全19
2.1.1　大数据安全的意义和重要作用19
2.1.2　大数据安全面临的问题与挑战21
2.1.3　大数据安全防护技术23
2.2　大数据隐私保护26
2.2.1　大数据隐私保护的意义和重要作用26
2.2.2　大数据隐私保护面临的问题与挑战28
2.2.3　大数据隐私保护技术31
2.3　大数据治理审计34
2.3.1　大数据治理审计概述34
2.3.2　大数据治理审计内容37
2.3.3　大数据治理审计方法和技术39
2.3.4　大数据治理审计流程43
第二篇　开源实现篇
第3章　大数据治理之Apache Falcon48
3.1　Apache Falcon概述48
3.1.1　Apache Falcon技术概况49
3.1.2　Apache Falcon发展近况50
3.1.3　Apache Falcon技术优势50
3.1.4　Apache Falcon架构51
3.2　Apache Falcon的使用53
3.2.1　Oozie的安装与配置56
3.2.2　Falcon的安装与配置61
3.2.3　实体XML的创建与声明63
3.3　Apache Falcon场景设计与实现74
3.3.1　数据管道74
3.3.2　结构化数据导入分布式文件系统82
3.3.3　结构化数据库与数据仓库的交互89
3.3.4　跨集群数据传输104
3.3.5　数据镜像109
3.3.6　数据仓库中的数据操作113
3.4　Apache Falcon优化与性能分析118
3.4.1　Apache Falcon控制流118
3.4.2　分布式部署119
3.4.3　安全模式120
3.4.4　Apache Falcon优化122
3.5　Apache Falcon应用举例123
3.5.1　InMobi基于Falcon的数据治理123
3.5.2　Expedia基于Falcon的数据治理125
3.6　本章小结126
第4章　大数据治理之Apache Atlas127
4.1　Apache Atlas概述127
4.1.1　Apache Atlas技术概况127
4.1.2　Apache Atlas发展近况130
4.1.3　Apache Atlas技术优势133
4.1.4　Apache Atlas架构136
4.2　Apache Atlas的配置与使用143
4.2.1　安装配置Apache Atlas143
4.2.2　添加或修改Atlas Web UI的登录账户158
4.2.3　配置Hive通过Hive HOOK导入数据159
4.2.4　配置Sqoop通过Sqoop HOOK导入数据163
4.2.5　配置Storm通过Storm HOOK导入数据167
4.2.6　配置Falcon通过Falcon HOOK导入数据173
4.3　Apache Atlas的场景设计176
4.3.1　Atlas总场景介绍176
4.3.2　Atlas非实时数据场景178
4.3.3　Atlas实时数据场景183
4.3.4　Hive数据表操作183
4.4　Apache Atlas优化与性能分析190
4.5　本章小结193
第5章　大数据安全之Apache Ranger194
5.1　Apache Ranger概述194
5.1.1　Ranger技术概况194
5.1.2　Ranger发展史及近况196
5.1.3　Ranger的特点和作用197
5.1.4　Ranger架构199
5.1.5　Ranger应用场景200
5.2　Apache Ranger的安全认证配置201
5.2.1　Ranger安装与部署201
5.2.2　安全及访问权限控制机制206
5.2.3　Ranger集成HDFS的安全认证机制与配置208
5.2.4　Ranger集成YARN的安全认证机制与配置213
5.2.5　Ranger集成Hive的安全认证机制与配置217
5.2.6　Ranger集成HBase的安全认证机制与配置221
5.2.7　Ranger集成Kafka的安全认证机制与配置228
5.2.8　Ranger集成Atlas的安全认证机制与配置235
5.2.9　Ranger集成Storm的安全认证机制与配置238
5.2.10　Ranger集成Solr的安全认证机制与配置246
5.3　Apache Ranger的功能配置254
5.3.1　Tag同步验证254
5.3.2　各类Policy验证255
5.4　Apache Ranger优化与性能分析262
5.5　本章小结263
第6章　大数据安全之Apache Sentry265
6.1　Apache Sentry 概述265
6.1.1　Apache Sentry技术概况265
6.1.2　Apache Sentry发展近况267
6.1.3　Apache Sentry技术优势269
6.1.4　Apache Sentry架构272
6.2　Apache Sentry的安装与配置274
6.2.1　先决条件274
6.2.2　Impala的安装与调试274
6.2.3　Apache Sentry的安装和配置282
6.2.4　Apache Sentry与Impala的集成286
6.3　Apache Sentry场景设计之Sentry对Impala的控制288
6.3.1　场景数据准备288
6.3.2　基于文件存储元数据的场景验证288
6.3.3　基于数据库存储元数据的场景验证292
6.4　Apache Sentry场景设计之Sentry对Hive的控制296
6.4.1　Hive与Sentry的集成配置296
6.4.2　准备实验数据298
6.4.3　基于文件存储方式的数据表操作298
6.4.4　基于数据库存储方式的数据表操作301
6.5　本章小结305
第7章　大数据安全之Kerberos认证306
7.1　Kerberos概述306
7.1.1　Kerberos技术概况306
7.1.2　Kerberos发展史及近况307
7.1.3　Kerberos架构308
7.1.4　Kerberos的认证流程309
7.1.5　Kerberos的风险与缺陷311
7.1.6　Kerberos应用举例312
7.2　Kerberos使用操作说明314
7.2.1　名词解释314
7.2.2　KDC常用操作315
7.2.3　Client常用操作316
7.3　Kerberos集成环境配置317
7.3.1　Kerberos服务配置318
7.3.2　HDFS集成Kerberos的安装与调试322
7.3.3　YARN集成Kerberos的安装与调试330
7.3.4　Hive集成Kerberos的配置与调试336
7.3.5　Zookeeper集成Kerberos的配置与调试341
7.3.6　HBase集成Kerberos的配置与调试343
7.3.7　Sqoop集成Kerberos的配置与调试348
7.3.8　Hue集成Kerberos的安装与调试351
7.3.9　Spark集成Kerberos的安装与调试361
7.3.10　Solr集成Kerberos的安装与调试366
7.3.11　Kafka集成Kerberos的配置与调试371
7.3.12　Storm集成Kerberos的安装与调试377
7.3.13　Impala集成Kerberos的安装与调试382
7.4　Kerberos配置优化及常见问题386
7.4.1　Kerberos的认证方式386
7.4.2　时间同步386
7.4.3　ticket周期387
7.4.4　KVNO导致的认证失败387
7.5　本章小结388



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4