[套装书]大规模数据分析和建模：基于Spark与R+Spark数据分析：基于Python语言（2册）

作者
哈维尔·卢拉辛 凯文·郭 埃德加·鲁伊斯 杰夫瑞·艾文
丛书名
O’Reilly精品图书系列
出版社
机械工业出版社
ISBN
9782007301040
简要
简介
内容简介书籍计算机书籍 ---------------------------大规模数据分析和建模：基于Spark与R--------------------------- 这本书的目的是帮助所有人通过R使用Apache Spark。第1章~第5章，简单地介绍了如何大规模执行数据科学和机器学习项目。第6~9章介绍了使用Spark进行集群计算中令人激动的基本概念。第10章~第13章涵盖一些高级主题，包括分布式R、Streaming和社区贡献等。 ---------------------------Spark数据分析：基于Python语言--------------------------- 本书重点关注Spark项目的基本知识，从Spark核心开始，然后拓展到各种Spark扩展、Spark相关项目、Spark子项目，以及Spark所处的丰富的生态系统里各种别的开源技术，比如Hadoop、Kafka、Cassandra等。
目录



---------------------------大规模数据分析和建模：基于Spark与R---------------------------


序言 1
前言 3
第1章 引言 9
1.1 概述 10
1.2 Hadoop 10
1.3 Spark 12
1.4 R 16
1.5 sparklyr 19
1.6 小结 20
第2章 开始 21
2.1 概述 21
2.2 预备操作 22
2.2.1 安装sparklyr 23
2.2.2 安装Spark 23
2.3 连接 24
2.4 使用Spark 25
2.4.1 网络接口 25
2.4.2 分析 28
2.4.3 建模 28
2.4.4 数据 30
2.4.5 扩展 30
2.4.6 分布式R 31
2.4.7 流式数据 31
2.4.8 日志 32
2.5 断开连接 33
2.6 使用RStudio 33
2.7 资源 35
2.8 小结 36
第3章 分析 37
3.1 概述 37
3.2 数据导入 40
3.3 数据整理 41
3.3.1 内置函数 42
3.3.2 相关性 43
3.4 可视化 45
3.4.1 使用ggplot2 46
3.4.2 使用dbplot 47
3.5 建模 49
3.6 沟通 51
3.7 小结 54
第4章 建模 56
4.1 概述 56
4.2 探索性数据分析 58
4.3 特征工程 65
4.4 监督式学习 68
4.4.1 广义线性回归 72
4.4.2 其他模型 73
4.5 非监督式学习 73
4.5.1 数据准备 74
4.5.2 主题建模 75
4.6 小结 77
第5章 管道操作 78
5.1 概述 78
5.2 创建工作 80
5.3 用例 81
5.4 操作模式 83
5.5 交互性 84
5.6 部署 86
5.6.1 批打分 87
5.6.2 实时打分 88
5.7 小结 90
第6章 集群 92
6.1 概述 92
6.2 本地化 94
6.2.1 管理器 94
6.2.2 发行版 98
6.3 云端 100
6.3.1 亚马逊 101
6.3.2 Databricks 102
6.3.3 谷歌 103
6.3.4 IBM 105
6.3.5 微软 106
6.3.6 Qubole 107
6.4 Kubernetes 107
6.5 工具 108
6.5.1 RStudio 108
6.5.2 Jupyter 109
6.5.3 Livy 110
6.6 小结 111
第7章 连接 112
7.1 概述 112
7.1.1 边缘节点 114
7.1.2 Spark主 114
7.2 本地模式 115
7.3 单机模式 116
7.4 YARN 116
7.4.1 YARN客户端 117
7.4.2 YARN集群 117
7.5 Livy 118
7.6 Mesos 120
7.7 Kubernetes 121
7.8 云模式 121
7.9 批量模式 122
7.10 工具 123
7.11 多次连接 123
7.12 故障排除 124
7.12.1 记录日志 124
7.12.2 Spark Submit 124
7.12.3 Windows 126
7.13 小结 126
第8章 数据 127
8.1 概述 127
8.2 读取数据 129
8.2.1 路径 129
8.2.2 模式 130
8.2.3 内存 131
8.2.4 列 132
8.3 写入数据 133
8.4 复制数据 134
8.5 文件格式 135
8.5.1 CSV 136
8.5.2 JSON 137
8.5.3 Parquet 138
8.5.4 其他 139
8.6 文件系统 140
8.7 存储系统 140
8.7.1 Hive 141
8.7.2 Cassandra 142
8.7.3 JDBC 142
8.8 小结 143
第9章 调试 144
9.1 概述 144
9.1.1 计算图 146
9.1.2 时间线 148
9.2 配置 148
9.2.1 连接设置 150
9.2.2 提交设置 151
9.2.3 运行时设置 152
9.2.4 sparklyr设置 153
9.3 分区 156
9.3.1 隐式分区 156
9.3.2 显式分区 157
9.4 缓存 158
9.4.1 检查点 159
9.4.2 内存 159
9.5 重洗 160
9.6 序列化 161
9.7 配置文件 161
9.8 小结 162
第10章 扩展 163
10.1 概述 163
10.2 H2O 165
10.3 图模型 169
10.4 XGBoost 173
10.5 深度学习 176
10.6 基因组学 179
10.7 空间数据 181
10.8 故障排除 183
10.9 小结 183
第11章 分布式R 185
11.1 概述 185
11.2 用例 187
11.2.1 定制解析器 188
11.2.2 分区建模 189
11.2.3 网格搜索 191
11.2.4 Web API 192
11.2.5 模拟 193
11.3 分区 194
11.4 分组 195
11.5 列 196
11.6 context参数 197
11.7 函数 198
11.8 程序包 199
11.9 集群需求 200
11.9.1 安装R 200
11.9.2 Apache Arrow 201
11.10 故障排除 203
11.10.1 工作节点日志 204
11.10.2 解决超时 205
11.10.3 检查分区 206
11.10.4 调试工作节点 206
11.11 小结 207
第12章 数据流 208
12.1 概述 208
12.2 转换 211
12.2.1 分析 212
12.2.2 建模 213
12.2.3 管道 214
12.2.4 分布式R 215
12.3 Kafka 216
12.4 Shiny 218
12.5 小结 220
第13章 社区贡献 221
13.1 概述 221
13.2 Spark API 223
13.3 Spark扩展 224
13.4 使用Scala代码 226
13.5 小结 228
附录A 补充参考代码 229



---------------------------Spark数据分析：基于Python语言---------------------------


译者序
前言
引言
第一部分　Spark基础
第1章　大数据、Hadoop、Spark介绍 2
1.1　大数据、分布式计算、Hadoop简介 2
1.1.1　大数据与Hadoop简史 2
1.1.2　Hadoop简介 3
1.2　Spark简介 8
1.2.1　Spark背景 9
1.2.2　Spark的用途 9
1.2.3　Spark编程接口 9
1.2.4　Spark程序的提交类型 10
1.2.5　Spark应用程序的输入/输出类型 11
1.2.6　Spark中的RDD 11
1.2.7　Spark与Hadoop 11
1.3　Python函数式编程 12
1.3.1　Python函数式编程中的数据结构 12
1.3.2　Python对象序列化 15
1.3.3　Python函数式编程基础 17
1.4　本章小结 19
第2章　部署Spark 20
2.1　Spark部署模式 20
2.1.1　本地模式 21
2.1.2　Spark独立集群 21
2.1.3　基于YARN运行Spark 22
2.1.4　基于Mesos运行Spark 22
2.2　准备安装Spark 23
2.3　获取Spark 23
2.4　在Linux或Mac OS X上安装Spark 25
2.5　在Windows上安装Spark 26
2.6　探索Spark安装 28
2.7　部署多节点的Spark独立集群 29
2.8　在云上部署Spark 30
2.8.1　AWS 30
2.8.2　GCP 32
2.8.3　Databricks 32
2.9　本章小结 34
第3章　理解Spark集群架构 35
3.1　Spark应用中的术语 35
3.1.1　Spark驱动器 36
3.1.2　Spark工作节点与执行器 38
3.1.3　Spark主进程与集群管理器 40
3.2　使用独立集群的Spark应用 41
3.3　在YARN上运行Spark应用 42
3.3.1　ResourceManager作为集群管理器 42
3.3.2　ApplicationMaster作为Spark主进程 42
3.4　在YARN上运行Spark应用的部署模式 42
3.4.1　客户端模式 42
3.4.2　集群模式 43
3.4.3　回顾本地模式 45
3.5　本章小结 45
第4章　Spark编程基础 46
4.1　RDD简介 46
4.2　加载数据到RDD 48
4.2.1　从文件创建RDD 48
4.2.2　从文本文件创建RDD 49
4.2.3　从对象文件创建RDD 52
4.2.4　从数据源创建RDD 52
4.2.5　从JSON文件创建RDD 54
4.2.6　通过编程创建RDD 56
4.3　RDD操作 57
4.3.1　RDD核心概念 57
4.3.2　基本的RDD转化操作 61
4.3.3　基本的RDD行动操作 65
4.3.4　键值对RDD的转化操作 69
4.3.5　MapReduce与单词计数练习 75
4.3.6　连接操作 78
4.3.7　在Spark中连接数据集 82
4.3.8　集合操作 85
4.3.9　数值型RDD的操作 87
4.4　本章小结 89
第二部分　基础拓展
第5章　Spark核心API高级编程 92
5.1　Spark中的共享变量 92
5.1.1　广播变量 92
5.1.2　累加器 96
5.1.3　练习：使用广播变量和累加器 99
5.2　Spark中的数据分区 100
5.2.1　分区概述 100
5.2.2　掌控分区 101
5.2.3　重分区函数 102
5.2.4　针对分区的API方法 104
5.3　RDD的存储选项 106
5.3.1　回顾RDD谱系 106
5.3.2　RDD存储选项 107
5.3.3　RDD缓存 109
5.3.4　持久化RDD 109
5.3.5　选择何时持久化或缓存RDD 112
5.3.6　保存RDD检查点 112
5.3.7　练习：保存RDD检查点 114
5.4　使用外部程序处理RDD 115
5.5　使用Spark进行数据采样 117
5.6　理解Spark应用与集群配置 118
5.6.1　Spark环境变量 118
5.6.2　Spark配置属性 121
5.7　Spark优化 124
5.7.1　早过滤，勤过滤 124
5.7.2　优化满足结合律的操作 124
5.7.3　理解函数和闭包的影响 126
5.7.4　收集数据的注意事项 127
5.7.5　使用配置参数调节和优化应用 127
5.7.6　避免低效的分区 128
5.7.7　应用性能问题诊断 130
5.8　本章小结 133
第6章　使用Spark进行SQL与NoSQL编程 134
6.1　Spark SQL简介 134
6.1.1　Hive简介 134
6.1.2　Spark SQL架构 138
6.1.3　DataFrame入门 141
6.1.4　使用DataFrame 150
6.1.5　DataFrame缓存、持久化与重新分区 157
6.1.6　保存DataFrame输出 158
6.1.7　访问Spark SQL 161
6.1.8　练习：使用Spark SQL 163
6.2　在Spark中使用NoSQL系统 165
6.2.1　NoSQL简介 165
6.2.2　在Spark中使用HBase 166
6.2.3　练习：在Spark中使用HBase 169
6.2.4　在Spark中使用Cassandra 170
6.2.5　在Spark中使用DynamoDB 172
6.2.6　其他NoSQL平台 174
6.3　本章小结 174
第7章　使用Spark处理流数据与消息 175
7.1　Spark Streaming简介 175
7.1.1　Spark Streaming架构 176
7.1.2　DStream简介 177
7.1.3　练习：Spark Streaming入门 183
7.1.4　状态操作 184
7.1.5　滑动窗口操作 185
7.2　结构化流处理 188
7.2.1　结构化流处理数据源 188
7.2.2　结构化流处理的数据输出池 189
7.2.3　输出模式 190
7.2.4　结构化流处理操作 190
7.3　在Spark中使用消息系统 192
7.3.1　Apache Kafka 192
7.3.2　KafkaUtils 195
7.3.3　练习：在Spark中使用Kafka 196
7.3.4　亚马逊Kinesis 199
7.4　本章小结 203
第8章　Spark数据科学与机器学习简介 204
8.1　Spark与R语言 204
8.1.1　R语言简介 204
8.1.2　通过R语言使用Spark 210
8.1.3　练习：在RStudio中使用SparkR 215
8.2　Spark机器学习 217
8.2.1　机器学习基础 217
8.2.2　使用Spark MLlib进行机器学习 220
8.2.3　练习：使用Spark MLlib实现推荐器 224
8.2.4　使用Spark ML进行机器学习 227
8.3　利用笔记本使用Spark 231
8.3.1　利用Jupyter（IPython）笔记本使用Spark 231
8.3.2　利用Apache Zeppelin笔记本使用Spark 233
8.4　本章小结 234



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4