| 作者 |
| 肖力涛,张利兵 |
| 丛书名 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9787190506103 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------Spark Streaming实时流式大数据处理实战--------------------------- 本书以翔实的原理讲解和充实的实战代码剖析,全面阐述了Spark Streaming流式处理平台,便于读者能够从入门开始了解搭建Spark平台,在此基础上学习流式处理框架,并动手实践,进行Spark Streaming流式大数据处理,包括与主流平台框架,如Kafka、Redis和ZooKeeper的对接应用等,并介绍了项目实战中的一些开发和调优策略。读者能够通过本书快速搭建Spark平台,并根据自己面临的使用场景快速搭建处理平台,同时能够了解背后的原理,对调优、开发都能起到一定的指导作用。本书适合大数据处理人员,尤其是基于流式大数据处理的人员阅读,本书也可以作为大数据处理人员的常备工具书随时翻阅。 ---------------------------Flink原理、实战与性能优化--------------------------- 内容简介 这是一部以实战为导向,能指导读者零基础掌握Flink并快速完成进阶的著作,从功能、原理、实战和调优等4个维度循序渐进地讲解了如何利用Flink进行分布式流式应用开发。作者是该领域的资深专家,现就职于第四范式,曾就职于明略数据。 全书一共10章,逻辑上可以分为三个部分: 第一部分(第1~2章) 主要介绍了Flink的核心概念、特性、应用场景、基本架构,开发环境的搭建和配置,以及源代码的编译。 第二部分(第3~9章) 详细讲解了Flink的编程范式,各种编程接口的功能、应用场景和使用方法,以及核心模块和组件的原理和使用。 第三部分(第10章) . 重点讲解了Flink的监控和优化,参数调优,以及对反压、Checkpoint和内存的优化。 |
| 目录 |
---------------------------Spark Streaming实时流式大数据处理实战--------------------------- 前言 第1篇 Spark基础 第1章 初识Spark 2 1.1 Spark由来 3 1.2 流式处理与Spark Streaming 5 1.2.1 流式处理框架 5 1.2.2 Spark Streaming初识 7 1.2.3 Structed Streaming简述 8 1.3 本章小结 8 第2章 Spark运行与开发环境 9 2.1 Spark的下载与安装 9 2.2 Spark运行模式 10 2.2.1 本地模式 13 2.2.2 本地集群模式 13 2.2.3 Standalone模式 14 2.2.4 Spark On Yarn模式 15 2.2.5 Spark On Mesos模式 15 2.3 搭建开发环境 15 2.3.1 修改配置 16 2.3.2 启动集群 18 2.3.3 IDE配置 20 2.3.4 UI监控界面 24 2.4 实例——Spark文件词频统计 28 2.5 本章小结 35 第3章 Spark编程模型 36 3.1 RDD概述 36 3.2 RDD存储结构 37 3.3 RDD操作 38 3.3.1 Transformation操作 38 3.3.2 Action操作 41 3.4 RDD间的依赖方式 42 3.4.1 窄依赖(Narrow Dependency) 42 3.4.2 Shuffle依赖(宽依赖Wide Dependency) 43 3.5 从RDD看集群调度 45 3.6 RDD持久化(Cachinng/Persistence) 46 3.7 共享变量 47 3.7.1 累加器(Accumulator) 48 3.7.2 广播变量(Broadcast Variables) 50 3.8 实例——Spark RDD操作 51 3.9 本章小结 56 第2篇 Spark Streaming详解 第4章 Spark Streaming编程模型及原理 58 4.1 DStream数据结构 58 4.2 DStream操作 59 4.2.1 DStream Transformation操作 59 4.2.2 DStream输出操作 63 4.3 Spark Streaming初始化及输入源 63 4.3.1 初始化流式上下文(StreamingContext) 63 4.3.2 输入源及接收器(Receivers) 64 4.4 持久化、Checkpointing和共享变量 65 4.4.1 DStream持久化(Caching/Persistence) 65 4.4.2 Checkpointing操作 66 4.5 实例——Spark Streaming流式词频统计 69 4.6 本章小结 73 第5章 Spark Streaming与Kafka 75 5.1 ZooKeeper简介 75 5.1.1 相关概念 75 5.1.2 ZooKeeper部署 77 5.2 Kafka简介 79 5.2.1 相关术语 80 5.2.2 Kafka运行机制 81 5.2.3 Kafka部署 83 5.2.4 简单样例 85 5.3 Spark Streaming接收Kafka数据 86 5.3.1 基于Receiver的方式 87 5.3.2 直接读取的方式 88 5.4 Spark Streaming向Kafka中写入数据 90 5.5 实例——Spark Streaming分析Kafka数据 92 5.6 本章小结 101 第6章 Spark Streaming与外部存储介质 102 6.1 将DStream输出到文件中 102 6.2 使用foreachRDD设计模式 105 6.3 将DStream输出到MySQL中 106 6.3.1 MySQL概述 107 6.3.2 MySQL通用连接类 107 6.3.3 MySQL输出操作 108 6.4 将DStream输出到HBase中 109 6.4.1 HBase概述 109 6.4.2 HBase通用连接类 110 6.4.3 HBase输出操作 111 6.4.4 “填坑”记录 112 6.5 将DStream数据输出到Redis中 112 6.5.1 Redis安装 112 6.5.2 Redis概述 113 6.5.3 Redis通用连接类 113 6.5.4 输出Redis操作 115 6.6 实例——日志分析 115 6.7 本章小结 122 第7章 Spark Streaming调优实践 124 7.1 数据序列化 124 7.2 广播大变量 126 7.3 数据处理和接收时的并行度 127 7.4 设置合理的批处理间隔 128 7.5 内存优化 128 7.5.1 内存管理 129 7.5.2 优化策略 130 7.5.3 垃圾回收(GC)优化 131 7.5.4 Spark Streaming内存优化 132 7.6 实例——项目实战中的调优示例 133 7.6.1 合理的批处理时间(batchDuration) 133 7.6.2 合理的Kafka拉取量(maxRatePerPartition参数设置) 134 7.6.3 缓存反复使用的Dstream(RDD) 135 7.6.4 其他一些优化策略 135 7.6.5 结果 136 7.7 本章小结 138 第3篇 Spark Streaming案例实战 第8章 实时词频统计处理系统实战 140 8.1 背景与设计 140 8.2 代码实现 142 8.2.1 数据生成器 142 8.2.2 分词服务 146 8.2.3 流式词频统计 147 8.3 环境配置与运行 158 8.3.1 相关服务启动 158 8.3.2 查看结果 160 8.4 本章小结 163 第9章 用户行为统计实战 164 9.1 背景与设计 164 9.1.1 不同状态的保存方式 164 9.1.2 State设计 166 9.1.3 Redis存储 167 9.2 代码实现 167 9.2.1 数据生成器 167 9.2.2 用户行为统计 168 9.3 环境配置与运行 172 9.3.1 相关服务启动 172 9.3.2 查看结果 173 9.4 本章小结 175 第10章 监控报警系统实战 177 10.1 背景与设计 177 10.2 代码实现 179 10.2.1 简易爬虫子项目 179 10.2.2 流式处理子项目 184 10.2.3 归纳统计子项目 191 10.2.4 数据表情况 199 10.3 环境配置与查看 200 10.3.1 启动各个模块 200 10.3.2 查看结果 200 10.4 本章小结 203 附录A Scala语言基础 204 A.1 安装及环境配置 204 A.1.1 安装Scala 204 A.1.2 开发环境配置 205 A.2 Scala语法独特性 206 A.2.1 换行符 207 A.2.2 统一类型 207 A.2.3 Scala变量 208 A.2.4 条件和循环语句 209 A.2.5 函数和方法 210 A.2.6 特质、单例和样例类 213 A.3 Scala集合 215 A.3.1 集合框架 216 A.3.2 核心特质(Trait) 219 A.3.3 常用的不可变集合类 222 A.3.4 常用的可变集合类 225 A.3.5 字符串 227 A.3.6 数组 228 A.3.7 迭代器(Iterators) 230 A.4 其他常用特性 231 A.4.1 模式匹配 231 A.4.2 异常处理 232 A.4.3 文件I/O 233 ---------------------------Flink原理、实战与性能优化--------------------------- 前言 第1章 Apache Flink介绍 1 1.1 Apache Flink是什么 1 1.2 数据架构的演变 2 1.2.1 传统数据基础架构 3 1.2.2 大数据数据架构 4 1.2.3 有状态流计算架构 5 1.2.4 为什么会是Flink 6 1.3 Flink应用场景 8 1.4 Flink基本架构 10 1.4.1 基本组件栈 10 1.4.2 基本架构图 11 1.5 本章小结 13 第2章 环境准备 14 2.1 运行环境介绍 14 2.2 Flink项目模板 15 2.2.1 基于Java实现的项目模板 15 2.2.2 基于Scala实现的项目模板 18 2.3 Flink开发环境配置 20 2.3.1 下载IntelliJ IDEA IDE 21 2.3.2 安装Scala Plugins 21 2.3.3 导入Flink应用代码 22 2.3.4 项目配置 22 2.4 运行Scala REPL 24 2.4.1 环境支持 24 2.4.2 运行程序 24 2.5 Flink源码编译 25 2.6 本章小结 26 第3章 Flink编程模型 27 3.1 数据集类型 27 3.2 Flink编程接口 29 3.3 Flink程序结构 30 3.4 Flink数据类型 37 3.4.1 数据类型支持 37 3.4.2 TypeInformation信息获取 40 3.5 本章小结 43 第4章 DataStream API 介绍与使用 44 4.1 DataStream编程模型 44 4.1.1 DataSources数据输入 45 4.1.2 DataSteam转换操作 49 4.1.3 DataSinks数据输出 59 4.2 时间概念与Watermark 61 4.2.1 时间概念类型 61 4.2.2 EventTime和Watermark 63 4.3 Windows窗口计算 69 4.3.1 Windows Assigner 70 4.3.2 Windows Function 77 4.3.3 Trigger窗口触发器 83 4.3.4 Evictors数据剔除器 87 4.3.5 延迟数据处理 88 4.3.6 连续窗口计算 89 4.3.7 Windows多流合并 90 4.4 作业链和资源组 95 4.4.1 作业链 95 4.4.2 Slots资源组 96 4.5 Asynchronous I/O异步操作 97 4.6 本章小结 98 第5章 Flink状态管理和容错 100 5.1 有状态计算 100 5.2 Checkpoints和Savepoints 109 5.2.1 Checkpoints检查点机制 109 5.2.2 Savepoints机制 111 5.3 状态管理器 114 5.3.1 StateBackend类别 114 5.3.2 状态管理器配置 116 5.4 Querable State 118 5.5 本章小结 123 第6章 DataSet API介绍与使用 124 6.1 DataSet API 124 6.1.1 应用实例 125 6.1.2 DataSources数据接入 126 6.1.3 DataSet转换操作 128 6.1.4 DataSinks数据输出 134 6.2 迭代计算 136 6.2.1 全量迭代 136 6.2.2 增量迭代 137 6.3 广播变量与分布式缓存 139 6.3.1 广播变量 139 6.3.2 分布式缓存 140 6.4 语义注解 141 6.4.1 Forwarded Fileds注解 141 6.4.2 Non-Forwarded Fileds注解 143 6.4.3 Read Fields注解 144 6.5 本章小结 145 第7章 Table API & SQL介绍与使用 146 7.1 TableEnviroment概念 146 7.1.1 开发环境构建 147 7.1.2 TableEnvironment基本操作 147 7.1.3 外部连接器 155 7.1.4 时间概念 162 7.1.5 Temporal Tables临时表 166 7.2 Flink Table API 167 7.2.1 Table API应用实例 167 7.2.2 数据查询和过滤 168 7.2.3 窗口操作 168 7.2.4 聚合操作 173 7.2.5 多表关联 175 7.2.6 集合操作 177 7.2.7 排序操作 178 7.2.8 数据写入 179 7.3 Flink SQL使用 179 7.3.1 Flink SQL实例 179 7.3.2 执行SQL 180 7.3.3 数据查询与过滤 181 7.3.4 Group Windows窗口操作 182 7.3.5 数据聚合 184 7.3.6 多表关联 186 7.3.7 集合操作 187 7.3.8 数据输出 189 7.4 自定义函数 189 7.4.1 Scalar Function 189 7.4.2 Table Function 191 7.4.3 Aggregation Function 192 7.5 自定义数据源 193 7.5.1 TableSource定义 193 7.5.2 TableSink定义 196 7.5.3 TableFactory定义 199 7.6 本章小结 201 第8章 Flink组件栈介绍与使用 202 8.1 Flink复杂事件处理 202 8.1.1 基础概念 203 8.1.2 Pattern API 204 8.1.3 事件获取 210 8.1.4 应用实例 212 8.2 Flink Gelly图计算应用 213 8.2.1 基本概念 213 8.2.2 Graph API 214 8.2.3 迭代图处理 220 8.2.4 图生成器 226 8.3 FlinkML机器学习应用 227 8.3.1 基本概念 227 8.3.2 有监督学习算子 229 8.3.3 数据预处理 231 8.3.4 推荐算法 234 8.3.5 Pipelines In FlinkML 235 8.4 本章小结 236 第9章 Flink部署与应用 237 9.1 Flink集群部署 237 9.1.1 Standalone Cluster部署 238 9.1.2 Yarn Cluster部署 240 9.1.3 Kubernetes Cluster部署 244 9.2 Flink高可用配置 247 9.2.1 Standalone集群高可用配置 248 9.2.2 Yarn Session集群高可用配置 250 9.3 Flink安全管理 251 9.3.1 认证目标 251 9.3.2 认证配置 252 9.3.3 SSL配置 253 9.4 Flink集群升级 255 9.4.1 任务重启 256 9.4.2 状态维护 256 9.4.3 版本升级 257 9.5 本章小结 258 第10章 Flink监控与性能优化 259 10.1 监控指标 259 10.1.1 系统监控指标 259 10.1.2 监控指标注册 261 10.1.3 监控指标报表 264 10.2 Backpressure监控与优化 266 10.2.1 Backpressure进程抽样 266 10.2.2 Backpressure页面监控 267 10.2.3 Backpressure配置 268 10.3 Checkpointing监控与优化 268 10.3.1 Checkpointing页面监控 268 10.3.2 Checkpointing优化 271 10.4 Flink内存优化 273 10.4.1 Flink内存配置 274 10.4.2 Network Buffers配置 275 10.5 本章小结 277 |