Alluxio：大数据统一存储原理与实践
| 作者 |
| 范斌 顾荣 |
| 丛书名 |
| 出版社 |
| 电子工业出版社 |
| ISBN |
| 9787121367823 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 Alluxio 这一以内存为中心的分布式虚拟文件系统，*初诞生于加州大学伯克利分校的 AMPLab，其开源社区在目前大数据生态系统中发展很快。《Alluxio：大数据统一存储原理与实践》以广泛使用的Alluxio 1.8.1 版本为基础进行编写， 是一本全面介绍 Alluxio 相关技术原理与实践案例的书籍。本书主要内容包括 Alluxio 系统快速入门、 Alluxio 系统架构及读写工作机制、Alluxio 与底层存储系统的集成、Alluxio 与上层计算框架的集成、 Alluxio 基本功能和高级功能的介绍与使用。此外，本书还详细介绍了Alluxio 的应用案例与生产实践， 并详细解读了 Alluxio 的核心框架和技术应用，旨在为大数据从业人员和大数据存储技术爱好者提供一 个深入学习的平台，也可用作开源社区开发者指南。 |
| 目录 |
| 第 1 章 Alluxio 系统快速入门 1 1.1 Alluxio 背景概述 1 1.2 获取/编译 Alluxio 软件 ........................................ 6 1.3 Alluxio 的搭建部署及程序运行 ........................................ 10 第 2 章 Alluxio 系统架构及读写工作机制 ........................................ 22 2.1 Alluxio 的构架简介与基本特征 ........................................ 22 2.2 Alluxio 的系统功能组件 ........................................ 27 2.3 Alluxio 读写场景的行为分析 ........................................ 31 第 3 章 Alluxio 与底层存储系统的集成 ........................................ 40 3.1 配置 HDFS 作为 Alluxio 底层存储 ........................................ 40 3.2 配置 Secure HDFS 作为 Alluxio 底层存储 ........................................ 44 3.3 配置 AWS S3 作为 Alluxio 底层存储 ........................................ 47 3.4 配置 Google GCS 作为 Alluxio 底层存储 ........................................ 52 3.5 配置 Azure BLOB Store 作为 Alluxio 底层存储系统 ........................................ 55 第 4 章 Alluxio 与上层计算框架的集成 ........................................ 58 4.1 Alluxio 的管理员操作命令 ........................................ 58 4.2 Alluxio 的用户操作命令 ........................................ 61 4.3 Alluxio 与 Hadoop 操作命令行的集成 ........................................ 78 4.4 Alluxio 与 Hadoop MapReduce 的集成 ........................................ 79 4.5 Alluxio 与 Spark 的集成 ........................................ 83 4.6 Alluxio 与 Hive 的集成 ........................................ 89 4.7 Alluxio 与 Presto 的集成 ........................................ 96 4.8 Alluxio 与 TensorFlow 的集成 ........................................ 100 第 5 章 Alluxio 基本功能的介绍与使用 ........................................ 105 5.1 Alluxio 系统环境与属性的配置 ........................................ 105 5.2 Alluxio 底层文件系统的配置与管理 ........................................ 113 5.3 Alluxio 缓存资源的配置与管理 ........................................ 120 5.4 Alluxio 系统 Web 用户界面的查看与使用 ........................................ 128 第 6 章 Alluxio 高级功能的介绍与使用 ........................................ 137 6.1 Alluxio 的安全认证与权限控制 ........................................ 137 6.2 Alluxio 的内置 Metrics 系统........................................ 143 6.3 Alluxio 文件系统日志的使用与维护 ........................................ 145 6.4 Alluxio 系统的异常排查 ........................................ 148 Alluxio： 大数据统一存储原理与实践 第 7 章 Alluxio 的应用案例与生产实践 ........................................ 152 7.1 陌陌基于 Alluxio 加速 Spark SQL 查询 ........................................ 152 7.2 京东基于 Alluxio 和 Presto 构建交互式查询引擎 ........................................ 158 7.3 Alluxio 在携程实时计算平台中的应用与实践 ........................................ 165 7.4 去哪儿网利用 Alluxio 提升异地存储访问性能 ........................................ 169 7.5 百度基于 Alluxio 加速远程数据读取 ........................................ 176 第 8 章 Alluxio 的开源社区开发者指南 ........................................ 181 8.1 Alluxio 的源代码规范 ........................................ 181 8.2 Alluxio 的单元测试流程介绍 ........................................ 187 8.3 贡献源代码至 Alluxio 开源社区 ........................................ 193 |
有问题微信扫码联系