[套装书]用户画像：方法论与工程化解决方案+HBase原理与实践（2册）

作者

赵宏田胡争 范欣欣

丛书名

出版社

机械工业出版社

ISBN

9782002271033

简要

简介

内容简介书籍计算机书籍 ---------------------------用户画像：方法论与工程化解决方案--------------------------- 本书从技术维度系统讲解了用户画像的方法论和一些常见的工程化解决方案。 全书共分为9个章节。 第一章 用户画像基础：讲述用户画像的一些基础概念、数据仓库架构、整个项目开发的流程、以及画像相关的表结构设计； 第二章 数据指标体系：从用户属性、用户行为、用户消费、风险控制等四个维度详细罗列了常用到的用户标签，这些标签基本涵盖了大部分场景一半以上的标签需求。同时介绍了标签的规范化命名方式； 第三章 标签数据存储：讲了为什么使用Hive、MySQL、hbase等数据库对标签数据进行存储，以及存储实现方式； 第四章 标签数据开发：本章是全书的重点章节，讲述了统计类标签、规则类标签、挖掘类标签、流式计算类标签的开发。以及用户特征库、人群计算、标签权重计算、打通数据服务层等方面的开发。； 第五章 开发性能调优：主要包括数据倾斜调优、开发中间表、读取小文件处理、redis缓存热数据等数据性能优化方面； 第六章 作业流程调度：数据的ETL调度是数据开发中的重要内容，本章主要讲了如何使用当下热门的开源调度工具Airflow进行数据的调度及场景调度异常的排查工作； 第七章 用户画像产品化：开发画像后的标签数据，如果只是“躺在”数据仓库中，并不能发挥更大的业务价值。只有将画像数据产品化后才能更方便业务方的使用。本章主要讲述了产品端的用户画像是什么样子？如何帮助业务人员进行分析，提供服务的； 第八章 用户画像应用：用户画像的应用包括用户分析、商品分析、流量分析、push、短信、邮件等营销以及站内的个性化推荐等应用场景； 第九章 实践案例详解：前面的八个章节主要从工程化开发的角度讲了如何从0到1搭建起用户画像系统及其应用场景，本章从完整的工业实践应用角度，通过两个实践案例帮助读者更好地理解画像系统是如何切入到应用场景中帮助提升工作效率、提高ROI的。 ---------------------------HBase原理与实践--------------------------- . 本书系统介绍HBase基本原理与运行机制，融入了作者多年的开发经验与实践技巧。主要内容包括：HBase的体系结构和系统特性，HBase的基础数据结构与算法、依赖服务、客户端，RegionServer的核心模块，HBase的读写流程，Compaction实现原理和使用策略，负载均衡的实现与应用，HBase的宕机恢复原理，复制、备份与恢复原理，HBase的运维方法、系统调优与案例分析，*后介绍了HBase 2.x的核心技术，以及一些高级话题，如二级索引、单行事务、跨行事务、HBase开发与测试等。

目录

---------------------------用户画像：方法论与工程化解决方案--------------------------- 前言 第1章　用户画像基础1 1.1　用户画像是什么1 1.1.1　画像简介1 1.1.2　标签类型3 1.2　数据架构4 1.3　主要覆盖模块5 1.4　开发阶段流程7 1.4.1　开发上线流程7 1.4.2　各阶段关键产出9 1.5　画像应用的落地10 1.6　某用户画像案例11 1.6.1　案例背景介绍11 1.6.2　相关元数据12 1.6.3　画像表结构设计16 1.7　定性类画像21 1.8　本章小结22 第2章　数据指标体系23 2.1　用户属性维度23 2.1.1　常见用户属性23 2.1.2　用户性别26 2.2　用户行为维度27 2.3　用户消费维度27 2.4　风险控制维度29 2.5　社交属性维度30 2.6　其他常见标签划分方式31 2.7　标签命名方式33 2.8　本章小结34 第3章　标签数据存储35 3.1　Hive存储35 3.1.1　Hive数据仓库35 3.1.2　分区存储37 3.1.3　标签汇聚39 3.1.4　ID-MAP41 3.2　MySQL存储45 3.2.1　元数据管理45 3.2.2　监控预警数据47 3.2.3　结果集存储47 3.3　HBase存储50 3.3.1　HBase简介50 3.3.2　应用场景52 3.3.3　工程化案例52 3.4　Elasticsearch存储59 3.4.1　Elasticsearch简介59 3.4.2　应用场景60 3.4.3　工程化案例64 3.5　本章小结67 第4章　标签数据开发69 4.1　统计类标签开发69 4.1.1　近30日购买行为标签案例70 4.1.2　最近来访标签案例73 4.2　规则类标签开发74 4.2.1　用户价值类标签案例75 4.2.2　用户活跃度标签案例79 4.3　挖掘类标签开发84 4.3.1　案例背景84 4.3.2　特征选取及开发85 4.3.3　文本分词处理86 4.3.4　数据结构处理89 4.3.5　文本TF-IDF权重90 4.3.6　朴素贝叶斯分类92 4.4　流式计算标签开发95 4.4.1　流式标签建模框架95 4.4.2　Kafka简介96 4.4.3　Spark Streaming集成Kafka97 4.4.4　标签开发及工程化99 4.5　用户特征库开发104 4.5.1　特征库规划105 4.5.2　数据开发107 4.5.3　其他特征库规划111 4.6　标签权重计算112 4.6.1　TF-IDF词空间向量112 4.6.2　时间衰减系数114 4.6.3　标签权重配置115 4.7　标签相似度计算116 4.7.1　案例场景116 4.7.2　数据开发118 4.8　组合标签计算122 4.8.1　应用场景122 4.8.2　数据计算123 4.9　数据服务层开发124 4.9.1　推送至营销系统125 4.9.2　接口调用服务127 4.10　GraphX图计算用户129 4.10.1　图计算理论及应用场景129 4.10.2　数据开发案例132 4.11　本章小结135 第5章　开发性能调优137 5.1　数据倾斜调优137 5.2　合并小文件141 5.3　缓存中间数据143 5.4　开发中间表144 5.5　本章小结145 第6章　作业流程调度146 6.1　crontab命令调度146 6.2　Airflow工作平台148 6.2.1　基础概念149 6.2.2　Airflow服务构成150 6.2.3　Airflow安装151 6.2.4　主要模块功能151 6.2.5　工作流调度155 6.2.6　脚本实例155 6.2.7　常用命令行158 6.2.8　工程化调度方案158 6.3　数据监控预警161 6.3.1　标签监控预警161 6.3.2　服务层预警162 6.4　ETL异常排查164 6.5　本章小结166 第7章　用户画像产品化167 7.1　即时查询167 7.2　标签视图与标签查询169 7.3　元数据管理171 7.4　用户分群功能173 7.5　人群分析功能175 7.6　本章小结177 第8章　用户画像应用178 8.1　经营分析178 8.1.1　商品分析178 8.1.2　用户分析179 8.1.3　渠道分析180 8.1.4　漏斗分析185 8.1.5　客服话术186 8.1.6　人群特征分析186 8.2　精准营销187 8.2.1　短信/邮件营销187 8.2.2　效果分析188 8.3　个性化推荐与服务189 8.4　本章小结190 第9章　实践案例详解191 9.1　风控反欺诈预警191 9.1.1　应用背景191 9.1.2　用户画像切入点192 9.2　A/B人群效果测试193 9.2.1　案例背景194 9.2.2　用户画像切入点194 9.2.3　效果分析195 9.3　用户生命周期划分与营销195 9.3.1　生命周期划分196 9.3.2　不同阶段的用户触达策略201 9.3.3　画像在生命周期中的应用204 9.3.4　应用案例206 9.4　高价值用户实时营销209 9.4.1　项目应用背景209 9.4.2　用户画像切入点209 9.4.3　HBase应用场景小结209 9.5　短信营销用户211 9.5.1　案例背景211 9.5.2　画像切入及其应用效果211 9.6　Session行为分析应用213 9.6.1　关于用户行为分析213 9.6.2　案例背景218 9.6.3　特征构建219 9.6.4　分析方法与结论221 9.7　人群效果监测报表搭建228 9.7.1　案例背景228 9.7.2　逻辑梳理228 9.7.3　自动报表邮件237 9.8　基于用户特征库筛选目标人群239 9.8.1　案例背景239 9.8.2　应用方式及效果240 9.9　本章小结241 附录　某产品用户画像项目规划文档242 ---------------------------HBase原理与实践--------------------------- 前言 第1章HBase概述 1.1HBase 前生今世 1.2HBase数据模型 1.2.1逻辑视图 1.2.2多维稀疏排序Map 1.2.3物理视图 1.2.4行式存储、列式存储、列簇式存储 1.3HBase体系结构 1.4 HBase系统特性 第2章基础数据结构与算法 2.1 跳跃表 2.2 LSM树 2.3 布隆过滤器 2.4 设计KV存储引擎Minibase 2.5拓展阅读 第3章HBase依赖服务 3.1ZooKeeper简介 3.2HDFS简介 3.4拓展阅读 第4章HBase客户端 4.1 HBase客户端实现 4.1.1 定位Meta表 4.1.2 Scan的复杂之处 4.2 HBase客户端避坑指南 第5章RegionServer的核心模块 5.1 RegionServer内部结构 5.2 HLog 5.2.1 HLog文件结构 5.2.2 HLog文件存储 5.2.3 HLog生命周期 5.3 MemStore 5.3.1 MemStore内部结构 5.3.2 MemStore的GC问题 5.3.3 MSLAB内存管理方式 5.3.4 MemStore Chunk Pool 5.3.5 MSLAB相关配置 5.4 HFile 5.4.1 HFile逻辑结构 5.4.2 HFile物理结构 5.4.3 HFile的基础Block 5.4.4 HFile中布隆过滤器相关的Block 5.4.5 HFile中索引相关的Block 5.4.6HFile文件查看工具 5.5 BlockCache 5.5.1.LRUBlockCache 5.5.2.SlabCache 5.5.3.BucketCache 5.5.4.不同BlockCache方案性能对比 5.6拓展阅读 第6章HBase读写流程 6.1 HBase写入流程 6.1.1写入流程的三个阶段 6.1.2 Region写入流程 6.1.3 MemStore Flush 6.2 BulkLoad功能 6.2.1 BulkLoad核心流程 6.2.2 BulkLoad基础案例 6.3 HBase读取流程 6.3.1 Client-Server读取交互逻辑 6.3.2 Server端Scan框架体系 6.3.3过滤淘汰不符合查询条件的HFile 6.3.4HFile中读取待查找Key 思考与练习 6.4深入理解Coprocessor 6.4.1 Coprocessor分类 6.4.2 Coprocessor加载 第7章 Compaction实现 7.1 Compaction基本工作原理 7.1.1 Compaction基本流程 7.1.2 Compaction触发时机 7.1.3 待合并HFile集合选择策略 7.1.4 挑选合适的线程池 7.1.5 HFile文件合并执行 思考与练习 7.1.6Compaction相关注意事项 7.2 Compaction高级策略 第8章负载均衡实现 8.1 Region迁移 8.2 Region合并 8.3 Region分裂 8.4 HBase的负载均衡应用 8.5拓展阅读 第9章宕机恢复原理 9.1 HBase常见故障分析 9.2 HBase故障恢复基本原理 9.3 HBase故障恢复流程 第10章复制 10.1 复制场景及原理 10.1.1管理流程的设计和问题 10.1.2复制原理 10.2 串行复制 10.2.1非串行复制导致的问题 10.2.2串行复制的设计思路 思考与练习 10.3 同步复制 10.3.1设计思路 10.3.2同步复制和异步复制对比 10.4拓展阅读 第11章备份与恢复 11.1 Snapshot概述 11.2 Snapshot创建 11.2.1 Snapshot技术基础原理 11.2.2 在线Snapshot的分布式架构两阶段提交 11.2.3 Snapshot核心实现 11.3 Snapshot恢复 11.4 Snapshot进阶 11.5拓展阅读 第12章HBase运维 12.1 HBase系统监控 12.1.1 HBase监控指标输出方式 12.1.2 HBase核心监控指标 12.1.3 HBase表级监控 12.2 HBase集群基准性能测试 12.3 HBase YCSB 12.4 HBase业务隔离 12.5 HBase Shell 12.6 HBase HBCK 12.8 HBase核心参数配置 12.8 HBase系统相关日志 12.9 HBase表设计 第13章HBase系统调优 13.1 HBase GC调优 13.2 G1 GC性能调优 13.2.1 CMS和G1 GC的本质区别 13.2.2 测试环境 13.2.3 G1 GC核心参数 13.2.4 初始参数效果 13.3 HBase操作系统调优 13.4 HBase-HDFS调优策略 13.5 HBase读取性能优化 13.5.1HBase服务器端优化 13.5.2 HBase客户端优化 13.5.3 HBase列簇设计优化 13.6 HBase写入性能调优 13.6.1 HBase服务器端优化 13.6.2 HBase客户端优化 第14章HBase运维案例分析 14.1 RegionServer宕机 案例一：长时间GC导致RegionServer宕机 案例二：系统严重Bug导致RegionServer宕机 14.2 HBase写入异常 案例一：MemStore占用内存大小超过设定阈值导致写入阻塞 案例二：RegionServer Active Handler资源被耗尽导致写入阻塞 案例三：HDFS缩容导致部分写入异常 14.3总结: HBase运维时问题分析思路 第15章 HBase2.x核心技术 15.1 Procedure功能 15.2 In Memory Compaction 15.3 MOB对象存储 15.4 Offheap读路径和Offheap写路径 15.5异步化设计 第16章高级话题 16.1 二级索引 16.2 单行事务和跨行事务 16.3 HBase开发与测试 16.3.1 HBase社区运作机制 16.3.2项目测试 16.3.3拓展阅读 附录A HBase热门问题集锦

有问题微信扫码联系

• ※[套装书]第一特性：跨越创新的第二曲线+用户增长方法论：找到产品长盛不衰的增长曲线（2册）
• ※[套装书]智能风控：原理、算法与工程实践+量化交易之路：用Python做股票量化分析（2册）
• ※[套装书]认识决策：以模糊集和粗糙集为分析工具+灰度决策：如何处理复杂、棘手、高风险的难题（2册）
• ※[套装书]第一特性：跨越创新的第二曲线+第二曲线：跨越“S型曲线”的二次增长（2册）
• ※[套装书]智能风控：原理、算法与工程实践+Python金融数据分析（2册）
• ※[套装书]用户画像：方法论与工程化解决方案+HBase原理与实践（2册）
• ※[套装书]金融的权力：银行家创造的国际货币格局+这次不一样:八百年金融危机史(珍藏版)[图书]（2册）
• ※[套装书]认识决策：以模糊集和粗糙集为分析工具+轻战略：量子时代的敏捷决策（2册）
• ※[套装书]第一特性：跨越创新的第二曲线+公司进化论：伟大的企业如何持续创新(珍藏版)（2册）
• ※[套装书]数据仓库（原书第4版）+数据挖掘：概念与技术(原书第3版）（2册）
• ※[套装书]智能风控：原理、算法与工程实践+金融统计与数据分析（2册）

桂ICP备20004708号-4