[套装书]用户画像:方法论与工程化解决方案+MySQL技术内幕:InnoDB存储引擎(第2版)(2册)

作者
赵宏田姜承尧
丛书名
出版社
机械工业出版社
ISBN
9782002279414
简要
简介
内容简介书籍计算机书籍 ---------------------------用户画像:方法论与工程化解决方案--------------------------- 本书从技术维度系统讲解了用户画像的方法论和一些常见的工程化解决方案。 全书共分为9个章节。 第一章 用户画像基础:讲述用户画像的一些基础概念、数据仓库架构、整个项目开发的流程、以及画像相关的表结构设计; 第二章 数据指标体系:从用户属性、用户行为、用户消费、风险控制等四个维度详细罗列了常用到的用户标签,这些标签基本涵盖了大部分场景一半以上的标签需求。同时介绍了标签的规范化命名方式; 第三章 标签数据存储:讲了为什么使用Hive、MySQL、hbase等数据库对标签数据进行存储,以及存储实现方式; 第四章 标签数据开发:本章是全书的重点章节,讲述了统计类标签、规则类标签、挖掘类标签、流式计算类标签的开发。以及用户特征库、人群计算、标签权重计算、打通数据服务层等方面的开发。; 第五章 开发性能调优:主要包括数据倾斜调优、开发中间表、读取小文件处理、redis缓存热数据等数据性能优化方面; 第六章 作业流程调度:数据的ETL调度是数据开发中的重要内容,本章主要讲了如何使用当下热门的开源调度工具Airflow进行数据的调度及场景调度异常的排查工作; 第七章 用户画像产品化:开发画像后的标签数据,如果只是“躺在”数据仓库中,并不能发挥更大的业务价值。只有将画像数据产品化后才能更方便业务方的使用。本章主要讲述了产品端的用户画像是什么样子?如何帮助业务人员进行分析,提供服务的; 第八章 用户画像应用:用户画像的应用包括用户分析、商品分析、流量分析、push、短信、邮件等营销以及站内的个性化推荐等应用场景; 第九章 实践案例详解:前面的八个章节主要从工程化开发的角度讲了如何从0到1搭建起用户画像系统及其应用场景,本章从完整的工业实践应用角度,通过两个实践案例帮助读者更好地理解画像系统是如何切入到应用场景中帮助提升工作效率、提高ROI的。 ---------------------------MySQL技术内幕:InnoDB存储引擎(第2版)--------------------------- . 《MySQL技术内幕:InnoDB存储引擎(第2版)》由国内资深MySQL专家亲自执笔,国内外多位数据库专家联袂推荐。作为国内唯一一本关于InnoDB的专著,本书的第1版广受好评,第2版不仅针对最新的MySQL 5.6对相关内容进行了全面的补充,还根据广大读者的反馈意见对第1版中存在的不足进行了完善,全书大约重写了50%的内容。本书从源代码的角度深度解析了InnoDB的体系结构、实现原理、工作机制,并给出了大量最佳实践,能帮助你系统而深入地掌握InnoDB,更重要的是,它能为你设计管理高性能、高可用的数据库系统提供绝佳的指导。 全书一共10章,首先宏观地介绍了MySQL的体系结构和各种常见的存储引擎以及它们之间的比较;接着以InnoDB的内部实现为切入点,逐一详细讲解了InnoDB存储引擎内部的各个功能模块的实现原理,包括InnoDB存储引擎的体系结构、内存中的数据结构、基于InnoDB存储引擎的表和页的物理存储、索引与算法、文件、锁、事务、备份与恢复,以及InnoDB的性能调优等重要的知识;最后对InnoDB存储引擎源代码的编译和调试做了介绍,对大家阅读和理解InnoDB的源代码有重要的指导意义。 《MySQL技术内幕:InnoDB存储引擎(第2版)》适合所有希望构建和管理高性能、高可用性的MySQL数据库系统的开发者和DBA阅读。
目录



---------------------------用户画像:方法论与工程化解决方案---------------------------


前言
第1章 用户画像基础1
1.1 用户画像是什么1
1.1.1 画像简介1
1.1.2 标签类型3
1.2 数据架构4
1.3 主要覆盖模块5
1.4 开发阶段流程7
1.4.1 开发上线流程7
1.4.2 各阶段关键产出9
1.5 画像应用的落地10
1.6 某用户画像案例11
1.6.1 案例背景介绍11
1.6.2 相关元数据12
1.6.3 画像表结构设计16
1.7 定性类画像21
1.8 本章小结22
第2章 数据指标体系23
2.1 用户属性维度23
2.1.1 常见用户属性23
2.1.2 用户性别26
2.2 用户行为维度27
2.3 用户消费维度27
2.4 风险控制维度29
2.5 社交属性维度30
2.6 其他常见标签划分方式31
2.7 标签命名方式33
2.8 本章小结34
第3章 标签数据存储35
3.1 Hive存储35
3.1.1 Hive数据仓库35
3.1.2 分区存储37
3.1.3 标签汇聚39
3.1.4 ID-MAP41
3.2 MySQL存储45
3.2.1 元数据管理45
3.2.2 监控预警数据47
3.2.3 结果集存储47
3.3 HBase存储50
3.3.1 HBase简介50
3.3.2 应用场景52
3.3.3 工程化案例52
3.4 Elasticsearch存储59
3.4.1 Elasticsearch简介59
3.4.2 应用场景60
3.4.3 工程化案例64
3.5 本章小结67
第4章 标签数据开发69
4.1 统计类标签开发69
4.1.1 近30日购买行为标签案例70
4.1.2 最近来访标签案例73
4.2 规则类标签开发74
4.2.1 用户价值类标签案例75
4.2.2 用户活跃度标签案例79
4.3 挖掘类标签开发84
4.3.1 案例背景84
4.3.2 特征选取及开发85
4.3.3 文本分词处理86
4.3.4 数据结构处理89
4.3.5 文本TF-IDF权重90
4.3.6 朴素贝叶斯分类92
4.4 流式计算标签开发95
4.4.1 流式标签建模框架95
4.4.2 Kafka简介96
4.4.3 Spark Streaming集成Kafka97
4.4.4 标签开发及工程化99
4.5 用户特征库开发104
4.5.1 特征库规划105
4.5.2 数据开发107
4.5.3 其他特征库规划111
4.6 标签权重计算112
4.6.1 TF-IDF词空间向量112
4.6.2 时间衰减系数114
4.6.3 标签权重配置115
4.7 标签相似度计算116
4.7.1 案例场景116
4.7.2 数据开发118
4.8 组合标签计算122
4.8.1 应用场景122
4.8.2 数据计算123
4.9 数据服务层开发124
4.9.1 推送至营销系统125
4.9.2 接口调用服务127
4.10 GraphX图计算用户129
4.10.1 图计算理论及应用场景129
4.10.2 数据开发案例132
4.11 本章小结135
第5章 开发性能调优137
5.1 数据倾斜调优137
5.2 合并小文件141
5.3 缓存中间数据143
5.4 开发中间表144
5.5 本章小结145
第6章 作业流程调度146
6.1 crontab命令调度146
6.2 Airflow工作平台148
6.2.1 基础概念149
6.2.2 Airflow服务构成150
6.2.3 Airflow安装151
6.2.4 主要模块功能151
6.2.5 工作流调度155
6.2.6 脚本实例155
6.2.7 常用命令行158
6.2.8 工程化调度方案158
6.3 数据监控预警161
6.3.1 标签监控预警161
6.3.2 服务层预警162
6.4 ETL异常排查164
6.5 本章小结166
第7章 用户画像产品化167
7.1 即时查询167
7.2 标签视图与标签查询169
7.3 元数据管理171
7.4 用户分群功能173
7.5 人群分析功能175
7.6 本章小结177
第8章 用户画像应用178
8.1 经营分析178
8.1.1 商品分析178
8.1.2 用户分析179
8.1.3 渠道分析180
8.1.4 漏斗分析185
8.1.5 客服话术186
8.1.6 人群特征分析186
8.2 精准营销187
8.2.1 短信/邮件营销187
8.2.2 效果分析188
8.3 个性化推荐与服务189
8.4 本章小结190
第9章 实践案例详解191
9.1 风控反欺诈预警191
9.1.1 应用背景191
9.1.2 用户画像切入点192
9.2 A/B人群效果测试193
9.2.1 案例背景194
9.2.2 用户画像切入点194
9.2.3 效果分析195
9.3 用户生命周期划分与营销195
9.3.1 生命周期划分196
9.3.2 不同阶段的用户触达策略201
9.3.3 画像在生命周期中的应用204
9.3.4 应用案例206
9.4 高价值用户实时营销209
9.4.1 项目应用背景209
9.4.2 用户画像切入点209
9.4.3 HBase应用场景小结209
9.5 短信营销用户211
9.5.1 案例背景211
9.5.2 画像切入及其应用效果211
9.6 Session行为分析应用213
9.6.1 关于用户行为分析213
9.6.2 案例背景218
9.6.3 特征构建219
9.6.4 分析方法与结论221
9.7 人群效果监测报表搭建228
9.7.1 案例背景228
9.7.2 逻辑梳理228
9.7.3 自动报表邮件237
9.8 基于用户特征库筛选目标人群239
9.8.1 案例背景239
9.8.2 应用方式及效果240
9.9 本章小结241
附录 某产品用户画像项目规划文档242



---------------------------MySQL技术内幕:InnoDB存储引擎(第2版)---------------------------


《MySQL技术内幕:InnoDB存储引擎(第2版)》
推荐序
前言
第1章 MySQL体系结构和存储引擎1
1.1 定义数据库和实例1
1.2 MySQL体系结构3
1.3 MySQL存储引擎5
1.3.1 InnoDB存储引擎6
1.3.2 MyISAM存储引擎7
1.3.3 NDB存储引擎7
1.3.4 Memory存储引擎8
1.3.5 Archive存储引擎9
1.3.6 Federated存储引擎9
1.3.7 Maria存储引擎9
1.3.8 其他存储引擎9
1.4 各存储引擎之间的比较10
1.5 连接MySQL13
1.5.1 TCP/IP13
1.5.2 命名管道和共享内存15
1.5.3 UNIX域套接字15
1.6 小结15
第2章 InnoDB存储引擎17
2.1 InnoDB存储引擎概述17
2.2 InnoDB存储引擎的版本18
2.3 InnoDB体系架构19
2.3.1 后台线程19
2.3.2 内存22
2.4 Checkpoint技术32
2.5 Master Thread工作方式36
2.5.1 InnoDB 1.0.x版本之前的Master Thread36
2.5.2 InnoDB1.2.x版本之前的Master Thread41
2.5.3 InnoDB1.2.x版本的Master Thread45
2.6 InnoDB关键特性45
2.6.1 插入缓冲46
2.6.2 两次写53
2.6.3 自适应哈希索引55
2.6.4 异步IO57
2.6.5 刷新邻接页58
2.7 启动、关闭与恢复58
2.8 小结61
第3章 文件62
3.1 参数文件62
3.1.1 什么是参数63
3.1.2 参数类型64
3.2 日志文件65
3.2.1 错误日志66
3.2.2 慢查询日志67
3.2.3 查询日志72
3.2.4 二进制日志73
3.3 套接字文件83
3.4 pid文件83
3.5 表结构定义文件84
3.6 InnoDB存储引擎文件84
3.6.1 表空间文件85
3.6.2 重做日志文件86
3.7 小结90
第4章 表91
4.1 索引组织表91
4.2 InnoDB逻辑存储结构93
4.2.1 表空间93
4.2.2 段95
4.2.3 区95
4.2.4 页101
4.2.5 行101
4.3 InnoDB行记录格式102
4.3.1 Compact行记录格式103
4.3.2 Redundant行记录格式106
4.3.3 行溢出数据110
4.3.4 Compressed和Dynamic行记录格式117
4.3.5 CHAR的行结构存储117
4.4 InnoDB数据页结构120
4.4.1 File Header121
4.4.2 Page Header122
4.4.3 Infimum和Supremum Records123
4.4.4 User Records和Free Space123
4.4.5 Page Directory124
4.4.6 File Trailer124
4.4.7 InnoDB数据页结构示例分析125
4.5 Named File Formats机制132
4.6 约束134
4.6.1 数据完整性134
4.6.2 约束的创建和查找135
4.6.3 约束和索引的区别137
4.6.4 对错误数据的约束137
4.6.5 ENUM和SET约束139
4.6.6 触发器与约束139
4.6.7 外键约束142
4.7 视图144
4.7.1 视图的作用144
4.7.2 物化视图147
4.8 分区表152
4.8.1 分区概述152
4.8.2 分区类型155
4.8.3 子分区168
4.8.4 分区中的NULL值172
4.8.5 分区和性能176
4.8.6 在表和分区间交换数据180
4.9 小结182
第5章 索引与算法183
5.1 InnoDB存储引擎索引概述183
5.2 数据结构与算法184
5.2.1 二分查找法184
5.2.2 二叉查找树和平衡二叉树185
5.3 B+树187
5.3.1 B+树的插入操作187
5.3.2 B+树的删除操作190
5.4 B+树索引191
5.4.1 聚集索引192
5.4.2 辅助索引196
5.4.3 B+树索引的分裂200
5.4.4 B+树索引的管理202
5.5 Cardinality值210
5.5.1 什么是Cardinality210
5.5.2 InnoDB存储引擎的Cardinality统计212
5.6 B+树索引的使用215
5.6.1 不同应用中B+树索引的使用215
5.6.2 联合索引215
5.6.3 覆盖索引218
5.6.4 优化器选择不使用索引的情况219
5.6.5 索引提示221
5.6.6 Multi-Range Read优化223
5.6.7 Index Condition Pushdown(ICP)优化226
5.7 哈希算法227
5.7.1 哈希表228
5.7.2 InnoDB存储引擎中的哈希算法229
5.7.3 自适应哈希索引230
5.8 全文检索231
5.8.1 概述231
5.8.2 倒排索引232
5.8.3 InnoDB全文检索233
5.8.4 全文检索240
5.9 小结248
第6章 锁249
6.1 什么是锁249
6.2 lock与latch250
6.3 InnoDB存储引擎中的锁252
6.3.1 锁的类型252
6.3.2 一致性非锁定读258
6.3.3 一致性锁定读261
6.3.4 自增长与锁262
6.3.5 外键和锁264
6.4 锁的算法265
6.4.1 行锁的3种算法265
6.4.2 解决Phantom Problem269
6.5 锁问题271
6.5.1 脏读271
6.5.2 不可重复读273
6.5.3 丢失更新274
6.6 阻塞276
6.7 死锁278
6.7.1 死锁的概念278
6.7.2 死锁概率280
6.7.3 死锁的示例281
6.8 锁升级283
6.9 小结284
第7章 事务285
7.1 认识事务285
7.1.1 概述285
7.1.2 分类287
7.2 事务的实现294
7.2.1 redo294
7.2.2 undo305
7.2.3 purge317
7.2.4 group commit319
7.3 事务控制语句323
7.4 隐式提交的SQL语句328
7.5 对于事务操作的统计329
7.6 事务的隔离级别330
7.7 分布式事务335
7.7.1 MySQL数据库分布式事务335
7.7.2 内部XA事务340
7.8 不好的事务习惯341
7.8.1 在循环中提交341
7.8.2 使用自动提交343
7.8.3 使用自动回滚344
7.9 长事务347
7.10 小结349
第8章 备份与恢复350
8.1 备份与恢复概述350
8.2 冷备352
8.3 逻辑备份353
8.3.1 mysqldump353
8.3.2 SELECT...INTO OUTFILE360
8.3.3 逻辑备份的恢复362
8.3.4 LOAD DATA INFILE362
8.3.5 mysqlimport364
8.4 二进制日志备份与恢复366
8.5 热备367
8.5.1 ibbackup367
8.5.2 XtraBackup368
8.5.3 XtraBackup实现增量备份370
8.6 快照备份372
8.7 复制376
8.7.1 复制的工作原理376
8.7.2 快照+复制的备份架构380
8.8 小结382
第9章 性能调优383
9.1 选择合适的CPU383
9.2 内存的重要性384
9.3 硬盘对数据库性能的影响387
9.3.1 传统机械硬盘387
9.3.2 固态硬盘387
9.4 合理地设置RAID389
9.4.1 RAID类型389
9.4.2 RAID Write Back功能392
9.4.3 RAID配置工具394
9.5 操作系统的选择397
9.6 不同的文件系统对数据库性能的影响398
9.7 选择合适的基准测试工具399
9.7.1 sysbench399
9.7.2 mysql-tpcc405
9.8 小结410
第10章 InnoDB存储引擎源代码的编译和调试411
10.1 获取InnoDB存储引擎源代码411
10.2 InnoDB源代码结构413
10.3 MySQL 5.1版本编译和调试InnoDB源代码415
10.3.1 Windows下的调试415
10.3.2 Linux下的调试418
10.4 cmake方式编译和调试InnoDB存储引擎423
10.5 小结424



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4