自己动手做大数据系统（第2版）
| 作者 |
| 刘未昕 |
| 丛书名 |
| 出版社 |
| 电子工业出版社 |
| ISBN |
| 9787121382024 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 本书在第1版的基础上，介绍大数据的时代背景及应用方案、常用的离线大数据和流式大数据组件，以及基于云平台的容器级数据平台搭建。书中以离线大数据和流式大数据两个具体示例，贯穿本书的第二、三部分内容，对组件之间的协同工作关系进行剖析。书中的代码部分基本上使用Python编写，用户可以下载参考。如果你是一位在校学生、Python编程爱好者或是想转行从事大数据工作的在职IT人员，阅读本书必有所收获！ |
| 目录 |
| 第一部分 大数据概述 第1章 大数据的时代背景及应用落地\t2 1.1 大数据与“云大物区智”的关联\t2 1.2 大数据平台的应用优势\t4 1.3 大数据平台的技术架构选型和产品对比\t4 第2章 大数据系统的安装及配置\t7 2.1 服务器及操作系统的准备\t7 2.2 JDK、PYTHON和SCALA\t8 2.3 HADOOP\t12 2.3.1 安装环境的确认及文件准备\t16 2.3.2 配置环境变量及无密码传输\t16 2.3.3 配置Hadoop的对应参数\t18 2.3.4 启动并验证Hadoop\t20 2.4 SQOOP\t20 2.4.1 Sqoop安装文件的准备\t22 2.4.2 Sqoop的安装及配置\t23 2.4.3 Sqoop运行验证\t24 2.5 HIVE\t25 2.5.1 安装文件的准备\t26 2.5.2 配置环境变量和安装MySQL\t26 2.5.3 配置Hive参数\t26 2.5.4 验证Hive的相关服务\t29 2.6 ZOOKEEPER和HBASE\t29 2.6.1 ZooKeeper安装文件的准备\t30 2.6.2 ZooKeeper的安装及配置\t30 2.6.3 ZooKeeper运行验证\t31 2.6.4 HBase安装文件的准备\t31 2.6.5 HBase的安装及配置\t31 2.6.6 HBase运行验证\t32 2.7 FLUME\t33 2.8 KAFKA\t35 2.9 SPARK\t37 2.9.1 Spark安装文件的准备\t38 2.9.2 Spark的安装及配置\t38 2.9.3 Spark运行验证\t39 2.10 FLINK\t39 2.11 开源大数据系统各组件的组合\t40 2.12 CDH\t41 2.13 FUSIONINSIGHT\t42 2.14 小结\t44 第二部分 离线大数据处理 第3章 使用PYTHON爬虫获取数据\t47 3.1 PYTHON爬虫模块的安装\t47 3.1.1 requests模块的安装及验证\t47 3.1.2 Beautiful Soup模块的安装及验证\t47 3.2 抓取并解析JSON数据\t49 3.2.1 利用Fiddler找出所抓取的网址\t49 3.2.2 解析JSON对象\t51 3.3 抓取并解析HTML中的数据\t52 3.3.1 使用Beautiful Soup提取网页内容\t52 3.3.2 保存抓取内容\t53 3.3.3 不同爬虫模块所适用的场景\t55 3.4 使用PYTHON提取文章的关键字\t55 3.4.1 中文分词和关键字的提取\t55 3.4.2 Python的中文分词模块jieba\t56 3.4.3 使用自定义词典和停用词\t57 3.4.4 提取文章的关键字\t58 3.5 小结\t60 第4章 HIVE在大数据中的角色\t61 4.1 HIVE的核心概念及配置使用\t61 4.1.1 Hive在大数据生态系统中的作用\t61 4.1.2 Hive的几种使用方法\t62 4.1.3 使用Tez引擎替代MapReduce\t65 4.2 概要设计和物理模型的创建\t68 4.2.1 使用Hive要解决哪些问题\t68 4.2.2 数据库的概要设计\t68 4.2.3 物理模型的定义及创建表\t73 4.3 加载爬虫数据\t79 4.4 数据的合并、去重和转换\t80 4.4.1 数据的合并\t80 4.4.2 利用临时表去掉重复的数据\t81 4.4.3 使用Hive内置函数转换数据\t83 4.5 使用UDF实现数据的转换\t84 4.5.1 用户自定义函数的实现原理\t84 4.5.2 利用Python实现UDF\t84 4.5.3 数据进入rpt表\t87 4.6 使用PYTHON操作HIVE\t89 4.6.1 安装impyla模块\t89 4.6.2 使用Python读取数据示例\t89 4.7 ETL数据调度和数据治理\t90 4.7.1 数据处理的自动化\t90 4.7.2 数据治理\t95 4.8 小结\t96 第5章 使用HBASE实现大数据存储\t97 5.1 非关系型数据库及HBASE\t97 5.2 HBASE的几个核心概念\t98 5.3 HBASE数据操作命令\t99 5.3.1 HBase客户端\t99 5.3.2 创建表及插入数据\t100 5.3.3 按照行键值检索\t102 5.3.4 扫描检索\t102 5.3.5 删除表和数据\t104 5.4 使用PYTHON操作HBASE\t107 5.4.1 启动HBase Thrift Server\t107 5.4.2 安装happybase模块\t107 5.4.3 插入数据及删除数据\t107 5.4.4 组合查询代码示例\t109 5.5 把HIVE数据导入HBASE\t110 5.6 用HIVE外部表读取HBASE数据\t111 5.7 小结\t112 第6章 SPARK数据分析引擎\t113 6.1 SPARK简介\t113 6.2 SPARK集群的配置及启动\t114 6.2.1 Spark集群的安装与配置\t115 6.2.2 作业提交方式\t116 6.2.3 操作界面的启动类型\t117 6.2.4 三类Web监控界面\t119 6.3 调用HIVE数据\t121 6.3.1 使用beeline客户端\t121 6.3.2 使用HiveContext对象\t122 6.3.3 使用Spark SQL\t123 6.3.4 使用JDBC\t123 6.4 调用HBASE数据\t123 6.4.1 设定环境变量\t123 6.4.2 读数据示例\t124 6.5 使用PYSPARK进行数据分析\t126 6.5.1 将RDD转换为DataFrame\t127 6.5.2 Spark SQL等值连接\t129 6.5.3 使用matplotlib绘制直方图\t129 6.6 小结\t130 第7章 使用FLASK实现数据展示\t131 7.1 FLASK框架简介及站点搭建流程\t131 7.2 FLASK微框架的特性\t132 7.3 使用MVC模式搭建项目框架\t133 7.3.1 访问地址\t133 7.3.2 MVC模式简介\t133 7.3.3 项目结构\t134 7.4 检索及加载新闻数据\t135 7.4.1 模型层的开发\t135 7.4.2 模型层的单元测试\t136 7.4.3 控制器层的开发\t138 7.4.4 控制器层的单元测试\t139 7.4.5 视图层的开发\t140 7.5 小结\t141 第二部分技术点总结\t141 第三部分 流式大数据处理 第8章 使用FLUME获取网站访问日志\t145 8.1 FLUME的安装及数据流模型\t145 8.1.1 Flume简介及安装\t145 8.1.2 Flume的数据流模型\t146 8.2 核心组件的配合使用\t146 8.2.1 6种核心组件\t146 8.2.2 配置文件\t147 8.2.3 flume-ng命令\t148 8.3 各种数据组合的流动方式\t150 8.3.1 将日志收集至文件\t150 8.3.2 Sink的多路复用\t152 8.3.3 使用Avro作为数据源\t154 8.3.4 Channel的多路复用\t155 8.4 APACHE服务器的日志格式\t158 8.5 合并两个网站的日志\t160 8.6 小结\t162 第9章 KAFKA的安装、配置及其与FLUME的整合\t163 9.1 KAFKA的特性及安装、配置\t163 9.1.1 Kafka的特性和适用场合\t163 9.1.2 安装、配置Kafka\t164 9.2 几种术语\t166 9.3 BROKER的使用方法\t167 9.3.1 单节点单Broker\t168 9.3.2 单节点多Broker\t169 9.3.3 分布式Broker\t172 9.3.4 分区及偏移量\t174 9.3.5 分区选择策略\t176 9.4 分布式生产者/消费者\t176 9.4.1 两个生产者\t176 9.4.2 消费者组\t177 9.5 KAFKA CONNECTOR\t180 9.5.1 File Source\t181 9.5.2 File Sink\t182 9.6 KAFKA和FLUME的整合\t183 9.6.1 给Flume提供数据\t183 9.6.2 从Flume中获取数据\t184 9.7 使用PYTHON连接KAFKA\t186 9.8 小结\t187 第10章 REDIS数据库简介\t188 10.1 REDIS的特点及适用场景\t188 10.2 REDIS的安装及命令行使用方法\t188 10.2.1 Redis的安装及启动\t188 10.2.2 命令行客户端\t189 10.2.3 5种数据类型\t190 10.2.4 字符串命令\t191 10.3 使用PYTHON操作REDIS\t193 10.4 使用JAVA操作REDIS\t194 10.5 小结\t195 第11章 FLINK简介及其与KAFKA的整合\t196 11.1 FLINK概述及其与SPARK的区别\t196 11.2 FLINK的架构、特性及工作流程\t196 11.3 FLINK的安装\t199 11.3.1 单节点的安装\t199 11.3.2 集群的安装\t201 11.3.3 利用ZooKeeper实现Flink的高可用性\t203 11.4 FLINK的作业提交方式\t205 11.4.1 以Standalone方式运行\t205 11.4.2 利用YARN Session运行\t207 11.4.3 利用Python调用Flink服务\t212 11.4.4 使用REST API查看状态\t213 11.5 FLINK-KAFKA CONNECTOR\t214 11.5.1 Flink为Kafka提供数据\t215 11.5.2 Flink从Kafka接收数据\t219 11.6 使用FLINK统计PAGEVIEW\t221 11.6.1 Flink开发的一般步骤\t221 11.6.2 Flink DataStream API\t221 11.6.3 将数据落地至Redis和HBase\t227 11.7 小结\t235 第12章 网站页面访问量的动态展示\t236 12.1 百度的ECHARTS图表功能简介\t236 12.2 页面访问量的动态统计\t238 12.2.1 模型层的开发\t239 12.2.2 控制器层的开发\t242 12.2.3 视图层的开发\t242 12.3 生成词云图和占比饼图\t245 12.3.1 词云图模型层的开发\t245 12.3.2 词云图控制器层的开发\t248 12.3.3 词云图视图层的开发\t249 12.3.4 关键字饼图的模型层开发\t249 12.3.5 关键字饼图的控制器层开发\t250 12.3.6 关键字饼图的视图层开发\t251 12.4 访问日志检索\t252 12.5 小结\t253 第三部分技术点总结\t253 第四部分 云平台搭建 第13章 搭建基于云平台的容器级数据系统\t256 13.1 云平台\t256 13.1.1 云平台架构\t256 13.1.2 云平台的搭建及部署\t259 13.1.3 云平台的高级配置\t303 13.2 基于云平台的容器集群\t309 13.2.1 Magnum\t309 13.2.2 Docker Swarm\t311 13.2.3 Mesos和Marathon的结合\t316 13.2.4 Kubernetes\t323 13.3 基于容器的大数据系统\t331 13.4 小结\t339 |
有问题微信扫码联系