Hadoop专家:管理、调优与Spark|YARN|HDFS安全

作者
Alapati(山姆·阿拉帕蒂)
丛书名
出版社
电子工业出版社
ISBN
9787121356698
简要
简介
内容简介书籍计算机书籍 本书翻译自Sam R. Alapati 的Expert Hadoop Administration。Sam R. Alapati 是Sabre 公司的首席Hadoop 管理员,具有多年的Hadoop 运维管理经验。他希望通过本书,为Hadoop 集群开发与管理人员提供一些有益指导。从事Hadoop 的管理工作,首先要了解Hadoop 的架构,只进行单纯的操作并不能被称为合格的管理员。基于此,本书在介绍Hadoop 及其生态组件时,都会首先介绍其架构,以期读者能够在更高的层次认识管理工作。本书首先介绍了Hadoop 的整体架构及其部署与使用;然后着重介绍了两个重要的计算引擎MapReduce 与Spark ;接着介绍了Hadoop 的数据存储与安全、数据均衡等特性;*后则介绍了如何进行参数调优与故障排除。整个流程下来,读者能够建立起完整的关于Hadoop 管理的体系架构。
目录

第Ⅰ部分 Hadoop架构与Hadoop集群介绍
第1章 Hadoop与Hadoop环境介绍........................................ 3
Hadoop简介........................................4
Hadoop 的特性........................................5
Hadoop 与大数据........................................5
Hadoop 的典型应用场景........................................6
传统数据库系统........................................7
数据湖........................................9
大数据、数据科学和Hadoop ........................................10
Hadoop集群与集群计算........................................ 11
集群计算........................................ 11
Hadoop 集群........................................12
Hadoop组件和Hadoop生态........................................14
Hadoop管理员需要做些什么........................................16
Hadoop 管理—新的范式........................................17
关于Hadoop 管理你需要知道的........................................18
Hadoop 管理员的工具集........................................19
Hadoop 1和Hadoop 2的关键区别........................................19
架构区别........................................20
高可用性........................................20
多计算引擎........................................21
xiv
分离处理和调度........................................21
Hadoop 1 和Hadoop 2 中的资源分配........................................22
分布式数据处理:MapReduce和Spark、Hive、Pig ........................................22
MapReduce ........................................22
Apache Spark ........................................23
Apache Hive ........................................24
Apache Pig ........................................24
数据整合:Apache Sqoop、Apache Flume和Apache Kafka ........................................25
Hadoop管理中的关键领域........................................26
集群存储管理........................................26
集群资源分配........................................26
作业调度........................................27
Hadoop 数据安全........................................27
总结........................................28
第2章 Hadoop架构介绍........................................ 31
Hadoop与分布式计算........................................31
Hadoop 架构........................................32
Hadoop 集群........................................33
主节点和工作节点........................................33
Hadoop 服务........................................34
数据存储—Hadoop分布式文件系统........................................35
HDFS 特性........................................35
HDFS 架构........................................36
HDFS 文件系统........................................38
NameNode 操作........................................41
利用YARN(Hadoop操作系统)进行数据处理........................................45
YARN 的架构........................................46
ApplicationMaster 如何与ResourceManager 协作进行资源分配..........................51
总结........................................54
第3章 创建和配置一个简单的Hadoop集群........................................ 55
Hadoop发行版本和安装类型........................................56
xv
Hadoop 发行版本........................................56
Hadoop 安装类型........................................57
设置一个伪分布式Hadoop集群........................................58
满足操作系统的要求........................................58
修改内核参数........................................59
设置SSH ........................................64
Java 需求........................................65
安装Hadoop ........................................66
创建必要的Hadoop 用户........................................66
创建必要的........................................67
Hadoop初始配置........................................67
环境变量配置文件........................................69
只读默认配置文件........................................70
site 专用配置文件........................................



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4