[套装书]数据中心一体化最佳实践:设计仓储级计算机(原书第3版)+RocketMQ技术内幕:RocketMQ架构设计与实现原理(2册)

作者
[美]路易斯·安德烈·巴罗索 (Luiz André Barroso) 乌尔斯·霍尔兹勒(Urs H&ouml lzle) 帕塔萨拉蒂·兰加纳坦(Parthasarathy Ranganathan)丁威 周继锋
丛书名
数据科学与工程技术丛书
出版社
机械工业出版社
ISBN
9782002122156
简要
简介
内容简介书籍计算机书籍 ---------------------------数据中心一体化最佳实践:设计仓储级计算机(原书第3版)--------------------------- 本书将介绍仓储级计算机(WSC)。这种计算平台是云计算的核心,支撑着我们每天都在使用的各种强大的互联网服务。本书讨论了此类新型系统如何将数据中心本身当作一台超大规模仓储级的计算机来使用,同时又能使软硬件充分协同并提供高性能的互联网服务。书中还详细讲述了WSC的架构设计,其中不仅涵盖影响其设计、运行和成本结构的主要因素,还包括相应的基础软件的各种特性。每一章都介绍了多个真实世界的案例,其中包括详尽的分析在线服务的基础设施信息。本书主要面向当今WSC系统的架构师和程序开发人员,希望能为有志于在此重要领域发展的人才打下一个坚实的基础,同时相关的内容也适用于那些仅想了解互联网基础设施信息的人群。 ---------------------------RocketMQ技术内幕:RocketMQ架构设计与实现原理--------------------------- 内容简介 本书由RocketMQ社区早期的布道者和技术专家撰写,Apache RocketMQ创始人/Linux OpenMessaging创始人兼主席/Alibaba Messaging开源技术负责人冯嘉的高度评价并作序推荐。 源码角度,本书对RocketMQ的核心技术架构,以及消息发送、消息存储、消息消费、消息过滤、顺序消息、主从同步(HA)、事务消息等主要功能模块的实现原理进行了深入分析,同时展示了源码阅读的相关技巧;应用层面,本书总结了大量RocketMQ的使用技巧。通过本书,读者将深入理解消息中间件和底层网络通讯机制的核心知识点。 全书共10章,分三个部分: 第一部分 准备篇(第1章) 首先介绍了RocketMQ源代码的获取、结构和调试,然后介绍了RocketMQ的设计理念和目标。 第二部分 实现篇(第2~8章) 这是本书的核心部分,从源代码的角度详细分析了消息发送、消息存储、消息消费、消息过滤、顺序消息、主从同步(HA)、事务消息等主要功能模块的架构设计和实现原理。 . 第三部分 实例篇(第9-10章) 通过示例展示RocketMQ的使用技巧,并着重讲解了RocketMQ的监控命令与监控管理界面。
目录



---------------------------数据中心一体化最佳实践:设计仓储级计算机(原书第3版)---------------------------


译者序
致谢
作者简介
译者简介
第1章 绪论 1
1.1 仓储级计算机 2
1.2 规模化下的成本效益 3
1.3 不仅是服务器的简单堆砌 4
1.4 单个数据中心与多个数据中心 4
1.5 为什么WSC对你至关重要 5
1.6 WSC架构概述 6
1.6.1 服务器 6
1.6.2 存储 7
1.6.3 网络结构 8
1.6.4 建筑与基础设施 9
1.6.5 电力使用 11
1.6.6 故障与维修处理 12
1.7 本书概述 12
第2章 工作负载与基础软件 15
2.1 WSC系统栈 15
2.2 平台层软件 16
2.3 集群层基础软件 17
2.3.1 资源管理 17
2.3.2 集群基础软件 18
2.3.3 应用框架 18
2.4 应用层软件 19
2.4.1 工作负载多样性 19
2.4.2 网页搜索 20
2.4.3 视频服务 22
2.4.4 学术文章相似度搜索 23
2.4.5 机器学习 24
2.5 监控基础设施 27
2.5.1 服务层仪表盘 27
2.5.2 性能诊断工具 27
2.5.3 平台层健康监控 28
2.6 WSC软件的权衡 29
2.6.1 数据中心和台式机 29
2.6.2 性能与可用性工具箱 30
2.6.3 购买还是自建 32
2.6.4 长尾容忍 33
2.6.5 工程师应该知道的延迟数据 33
2.7 云计算 35
2.7.1 面向公有云服务的WSC和对内服务的WSC 36
2.7.2 云原生软件 36
2.8 仓储级信息安全 37
第3章 WSC硬件组件 39
3.1 服务器硬件 39
3.1.1 服务器和机架概述 40
3.1.2 大型SMP通信效率的影响 43
3.1.3 高性能服务器和低性能服务器 45
3.2 计算加速器 48
3.2.1 图形处理器 49
3.2.2 张量处理器 50
3.3 网络 52
3.3.1 集群网络 52
3.3.2 主机网络 56
3.4 存储 57
3.4.1 硬盘托盘与无盘服务器 57
3.4.2 WSC非结构化存储 58
3.4.3 WSC结构化存储 59
3.4.4 存储与网络技术相互作用 60
3.5 平衡的设计 61
3.5.1 系统平衡:存储层次结构 62
3.5.2 量化延迟、带宽及容量 62
第4章 数据中心基础:建筑、电力与冷却 65
4.1 数据中心概述 65
4.1.1 等级分类与规格 65
4.1.2 建筑基础知识 66
4.2 数据中心电力系统 68
4.2.1 不间断电源系统 68
4.2.2 配电单元 69
4.2.3 交流与直流配电架构对比 70
4.3 应用实例:冗余径向配电 71
4.4 应用实例:中压电源层 72
4.5 数据中心冷却系统 74
4.5.1 机房空调系统 76
4.5.2 冷水机组 77
4.5.3 冷却塔 77
4.5.4 自然冷却 79
4.5.5 对气流的考量 79
4.5.6 机架内冷却、行级冷却和液体冷却 81
4.5.7 基于集装箱的数据中心 82
4.6 应用实例:谷歌数据中心顶部冷却系统 84
4.7 本章小结 84
第5章 能耗与能效 85
5.1 数据中心能效 85
5.1.1 PUE指标 86
5.1.2 PUE指标的问题 88
5.1.3 数据中心能效损失来源 89
5.1.4 提升数据中心能效 90
5.1.5 基础设施之外的因素 91
5.2 计算能效 92
5.2.1 能效的测量 92
5.2.2 服务器能效 92
5.2.3 WSC使用画像 93
5.3 能耗成比例计算 95
5.3.1 能耗成比例程度低的原因 96
5.3.2 提升能耗成比例的能力 97
5.3.3 系统其他部分的能耗成比例 98
5.3.4 低功耗模式的相对有效性 99
5.3.5 软件在能耗成比例中的作用 100
5.4 通过专用定制提高能效 103
5.5 数据中心供电 105
5.5.1 部署适量的设备 105
5.5.2 数据中心超额用电 105
5.6 服务器能量使用趋势 107
5.7 本章小结 109
第6章 成本建模 111
6.1 资本成本 111
6.2 运营成本 113
6.3 案例分析 114
6.4 实际数据中心成本 116
6.5 建模部分使用的数据中心 117
6.6 公有云成本 118
第7章 故障处理与维修 119
7.1 软件容错 120
7.2 故障分类 121
7.2.1 故障严重性分级 122
7.2.2 导致服务级故障的原因 123
7.3 机器级故障 124
7.3.1 导致机器级故障的原因 127
7.3.2 故障预测 128
7.4 维修 129
7.5 容错不是隐藏错误 130
7.6 集群系统设计的故障统计 131
第8章 结束语 135
8.1 硬件 136
8.2 软件 137
8.3 经济性与能效 138
8.4 打造响应快速的大规模系统 139
8.4.1 不断演进的工作负载 139
8.4.2 残酷的阿姆达尔定律 139
8.4.3 为微秒级系统优化 140
8.4.4 长尾 140
8.5 展望 141
8.5.1 摩尔定律的终结 141
8.5.2 加速器与全局系统设计 141
8.5.3 软件定义基础设施 142
8.5.4 计算机体系结构和WSC的新纪元 143
8.6 总结 144
参考文献 145



---------------------------RocketMQ技术内幕:RocketMQ架构设计与实现原理---------------------------


推荐序
前言
第1章 阅读源代码前的准备 1
1.1 获取和调试RocketMQ的源代码 1
1.1.1 Eclipse获取RocketMQ源码 2
1.1.2 Eclipse调试RocketMQ源码 9
1.1.3 IntelliJ IDEA获取RocketMQ源码 15
1.1.4 IntelliJ IDEA调试RocketMQ源码 20
1.2 RocketMQ源代码的结构 27
1.3 RocketMQ的设计理念和目标 28
1.3.1 设计理念 28
1.3.2 设计目标 28
第2章 RocketMQ路由中心NameServer 31
2.1 NameServer架构设计 31
2.2 NameServer启动流程 32
2.3 NameServer路由注册、故障剔除 36
2.3.1 路由元信息 36
2.3.2 路由注册 38
2.3.3 路由删除 43
2.3.4 路由发现 46
2.4 本章小结 47
第3章 RocketMQ消息发送 49
3.1 漫谈RocketMQ消息发送 49
3.2 认识RocketMQ消息 50
3.3 生产者启动流程 51
3.3.1 初识DefaultMQProducer消息发送者 51
3.3.2 消息生产者启动流程 54
3.4 消息发送基本流程 56
3.4.1 消息长度验证 56
3.4.2 查找主题路由信息 56
3.4.3 选择消息队列 60
3.4.4 消息发送 65
3.5 批量消息发送 71
3.6 本章小结 74
第4章 RocketMQ消息存储 75
4.1 存储概要设计 75
4.2 初识消息存储 76
4.3 消息发送存储流程 78
4.4 存储文件组织与内存映射 83
4.4.1 MappedFileQueue映射文件队列 84
4.4.2 MappedFile内存映射文件 87
4.4.3 TransientStorePool 93
4.5 RocketMQ存储文件 94
4.5.1 Commitlog文件 95
4.5.2 ConsumeQueue文件 97
4.5.3 Index索引文件 100
4.5.4 checkpoint文件 104
4.6 实时更新消息消费队列与索引文件 105
4.6.1 根据消息更新ConumeQueue 107
4.6.2 根据消息更新Index索引文件 108
4.7 消息队列与索引文件恢复 109
4.7.1 Broker正常停止文件恢复 112
4.7.2 Broker异常停止文件恢复 114
4.8 文件刷盘机制 115
4.8.1 Broker同步刷盘 116
4.8.2 Broker异步刷盘 119
4.9 过期文件删除机制 122
4.10 本章小结 126
第5章 RocketMQ消息消费 127
5.1 RocketMQ消息消费概述 127
5.2 消息消费者初探 128
5.3 消费者启动流程 130
5.4 消息拉取 133
5.4.1 PullMessageService实现机制 133
5.4.2 ProcessQueue实现机制 136
5.4.3 消息拉取基本流程 138
5.5 消息队列负载与重新分布机制 154
5.6 消息消费过程 162
5.6.1 消息消费 163
5.6.2 消息确认(ACK) 167
5.6.3 消费进度管理 171
5.7 定时消息机制 176
5.7.1 load方法 177
5.7.2 start方法 178
5.7.3 定时调度逻辑 179
5.8 消息过滤机制 181
5.9 顺序消息 186
5.9.1 消息队列负载 187
5.9.2 消息拉取 187
5.9.3 消息消费 188
5.9.4 消息队列锁实现 195
5.10 本章小结 196
第6章 消息过滤FilterServer 198
6.1 ClassFilter运行机制 198
6.2 FilterServer注册剖析 199
6.3 类过滤模式订阅机制 202
6.4 消息拉取 205
6.5 本章小结 206
第7章 RocketMQ主从同步(HA)机制 207
7.1 RocketMQ主从复制原理 207
7.1.1 HAService整体工作机制 208
7.1.2 AcceptSocketService实现原理 208
7.1.3 GroupTransferService实现原理 210
7.1.4 HAClient实现原理 211
7.1.5 HAConnection实现原理 214
7.2 RocketMQ读写分离机制 220
7.3 本章小结 223
第8章 RocketMQ事务消息 225
8.1 事务消息实现思想 225
8.2 事务消息发送流程 226
8.3 提交或回滚事务 232
8.4 事务消息回查事务状态 233
8.5 本章小结 240
第9章 RocketMQ实战 242
9.1 消息批量发送 242
9.2 消息发送队列自选择 243
9.3 消息过滤 243
9.3.1 TAG模式过滤 244
9.3.2 SQL表达模式过滤 244
9.3.3 类过滤模式 245
9.4 事务消息 247
9.5 Spring整合RocketMQ 250
9.6 Spring Cloud整合RocketMQ 251
9.7 RocketMQ监控与运维命令 258
9.7.1 RocktetMQ监控平台搭建 258
9.7.2 RocketMQ管理命令 261
9.8 应用场景分析 280
9.9 本章小结 281
附录A 参数说明 282



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4