[套装书]用户画像：方法论与工程化解决方案+数据化运营：系统方法与实践案例（2册）
| 作者 |
| 赵宏田 江丽萍 李宁 |
| 丛书名 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782003121514 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------用户画像：方法论与工程化解决方案--------------------------- 本书从技术维度系统讲解了用户画像的方法论和一些常见的工程化解决方案。 全书共分为9个章节。 第一章 用户画像基础：讲述用户画像的一些基础概念、数据仓库架构、整个项目开发的流程、以及画像相关的表结构设计； 第二章 数据指标体系：从用户属性、用户行为、用户消费、风险控制等四个维度详细罗列了常用到的用户标签，这些标签基本涵盖了大部分场景一半以上的标签需求。同时介绍了标签的规范化命名方式； 第三章 标签数据存储：讲了为什么使用Hive、MySQL、hbase等数据库对标签数据进行存储，以及存储实现方式； 第四章 标签数据开发：本章是全书的重点章节，讲述了统计类标签、规则类标签、挖掘类标签、流式计算类标签的开发。以及用户特征库、人群计算、标签权重计算、打通数据服务层等方面的开发。； 第五章 开发性能调优：主要包括数据倾斜调优、开发中间表、读取小文件处理、redis缓存热数据等数据性能优化方面； 第六章 作业流程调度：数据的ETL调度是数据开发中的重要内容，本章主要讲了如何使用当下热门的开源调度工具Airflow进行数据的调度及场景调度异常的排查工作； 第七章 用户画像产品化：开发画像后的标签数据，如果只是“躺在”数据仓库中，并不能发挥更大的业务价值。只有将画像数据产品化后才能更方便业务方的使用。本章主要讲述了产品端的用户画像是什么样子？如何帮助业务人员进行分析，提供服务的； 第八章 用户画像应用：用户画像的应用包括用户分析、商品分析、流量分析、push、短信、邮件等营销以及站内的个性化推荐等应用场景； 第九章 实践案例详解：前面的八个章节主要从工程化开发的角度讲了如何从0到1搭建起用户画像系统及其应用场景，本章从完整的工业实践应用角度，通过两个实践案例帮助读者更好地理解画像系统是如何切入到应用场景中帮助提升工作效率、提高ROI的。 ---------------------------数据化运营：系统方法与实践案例--------------------------- . 本书从方法、技术、业务、实践4个维度全面构建数据化运营的系统方法论，为数据化运营提供了接地气的、科学的指导。 作者均在数据科学和数据化运营领域工作多年，本书从实践出发，以他们在实际工作中遇到的应用场景为切入点，通过“业务分析+代码实现”的方式接地气地讲解了如何才能做好数据化运营。其中，重点对搭建数据监控指标体系、数据分析、数据挖掘、ABtest、埋点策略、用户画像建模等常见数据运营方式做了详细的介绍。 全书一共10章，分为三个部分： 基础篇（第1~3章） 首先介绍了数据运营的岗位职责和能力要求，然后重点讲解了流量运营、用户运营等常见运营常见的指标、模型和分析方法，最后介绍了各类数据管理报表（模板）； 应用篇（第4~9章） 开篇首先系统讲解了数据分析的方法论，然后通过5个综合性的案例讲解了进行数据分析、数据挖掘和数据化运营的完整流程和应用方式。在内容编排上先提出案例应用背景和目标，再阐述分析方法和建模流程，最后完成数据的处理和在业务上的应用。 提高篇（第10章） 讲解了当下热门的“用户画像建模”，从建模流程、标签开发到画像应用，并辅以案例的方式讲解如何用HQL语言建立图书电商场景下的用户标签体系，帮助读者更深入理解用户画像是如何建模打标签。 |
| 目录 |
---------------------------用户画像：方法论与工程化解决方案--------------------------- 前言 第1章 用户画像基础1 1.1 用户画像是什么1 1.1.1 画像简介1 1.1.2 标签类型3 1.2 数据架构4 1.3 主要覆盖模块5 1.4 开发阶段流程7 1.4.1 开发上线流程7 1.4.2 各阶段关键产出9 1.5 画像应用的落地10 1.6 某用户画像案例11 1.6.1 案例背景介绍11 1.6.2 相关元数据12 1.6.3 画像表结构设计16 1.7 定性类画像21 1.8 本章小结22 第2章 数据指标体系23 2.1 用户属性维度23 2.1.1 常见用户属性23 2.1.2 用户性别26 2.2 用户行为维度27 2.3 用户消费维度27 2.4 风险控制维度29 2.5 社交属性维度30 2.6 其他常见标签划分方式31 2.7 标签命名方式33 2.8 本章小结34 第3章 标签数据存储35 3.1 Hive存储35 3.1.1 Hive数据仓库35 3.1.2 分区存储37 3.1.3 标签汇聚39 3.1.4 ID-MAP41 3.2 MySQL存储45 3.2.1 元数据管理45 3.2.2 监控预警数据47 3.2.3 结果集存储47 3.3 HBase存储50 3.3.1 HBase简介50 3.3.2 应用场景52 3.3.3 工程化案例52 3.4 Elasticsearch存储59 3.4.1 Elasticsearch简介59 3.4.2 应用场景60 3.4.3 工程化案例64 3.5 本章小结67 第4章 标签数据开发69 4.1 统计类标签开发69 4.1.1 近30日购买行为标签案例70 4.1.2 最近来访标签案例73 4.2 规则类标签开发74 4.2.1 用户价值类标签案例75 4.2.2 用户活跃度标签案例79 4.3 挖掘类标签开发84 4.3.1 案例背景84 4.3.2 特征选取及开发85 4.3.3 文本分词处理86 4.3.4 数据结构处理89 4.3.5 文本TF-IDF权重90 4.3.6 朴素贝叶斯分类92 4.4 流式计算标签开发95 4.4.1 流式标签建模框架95 4.4.2 Kafka简介96 4.4.3 Spark Streaming集成Kafka97 4.4.4 标签开发及工程化99 4.5 用户特征库开发104 4.5.1 特征库规划105 4.5.2 数据开发107 4.5.3 其他特征库规划111 4.6 标签权重计算112 4.6.1 TF-IDF词空间向量112 4.6.2 时间衰减系数114 4.6.3 标签权重配置115 4.7 标签相似度计算116 4.7.1 案例场景116 4.7.2 数据开发118 4.8 组合标签计算122 4.8.1 应用场景122 4.8.2 数据计算123 4.9 数据服务层开发124 4.9.1 推送至营销系统125 4.9.2 接口调用服务127 4.10 GraphX图计算用户129 4.10.1 图计算理论及应用场景129 4.10.2 数据开发案例132 4.11 本章小结135 第5章 开发性能调优137 5.1 数据倾斜调优137 5.2 合并小文件141 5.3 缓存中间数据143 5.4 开发中间表144 5.5 本章小结145 第6章 作业流程调度146 6.1 crontab命令调度146 6.2 Airflow工作平台148 6.2.1 基础概念149 6.2.2 Airflow服务构成150 6.2.3 Airflow安装151 6.2.4 主要模块功能151 6.2.5 工作流调度155 6.2.6 脚本实例155 6.2.7 常用命令行158 6.2.8 工程化调度方案158 6.3 数据监控预警161 6.3.1 标签监控预警161 6.3.2 服务层预警162 6.4 ETL异常排查164 6.5 本章小结166 第7章 用户画像产品化167 7.1 即时查询167 7.2 标签视图与标签查询169 7.3 元数据管理171 7.4 用户分群功能173 7.5 人群分析功能175 7.6 本章小结177 第8章 用户画像应用178 8.1 经营分析178 8.1.1 商品分析178 8.1.2 用户分析179 8.1.3 渠道分析180 8.1.4 漏斗分析185 8.1.5 客服话术186 8.1.6 人群特征分析186 8.2 精准营销187 8.2.1 短信/邮件营销187 8.2.2 效果分析188 8.3 个性化推荐与服务189 8.4 本章小结190 第9章 实践案例详解191 9.1 风控反欺诈预警191 9.1.1 应用背景191 9.1.2 用户画像切入点192 9.2 A/B人群效果测试193 9.2.1 案例背景194 9.2.2 用户画像切入点194 9.2.3 效果分析195 9.3 用户生命周期划分与营销195 9.3.1 生命周期划分196 9.3.2 不同阶段的用户触达策略201 9.3.3 画像在生命周期中的应用204 9.3.4 应用案例206 9.4 高价值用户实时营销209 9.4.1 项目应用背景209 9.4.2 用户画像切入点209 9.4.3 HBase应用场景小结209 9.5 短信营销用户211 9.5.1 案例背景211 9.5.2 画像切入及其应用效果211 9.6 Session行为分析应用213 9.6.1 关于用户行为分析213 9.6.2 案例背景218 9.6.3 特征构建219 9.6.4 分析方法与结论221 9.7 人群效果监测报表搭建228 9.7.1 案例背景228 9.7.2 逻辑梳理228 9.7.3 自动报表邮件237 9.8 基于用户特征库筛选目标人群239 9.8.1 案例背景239 9.8.2 应用方式及效果240 9.9 本章小结241 附录 某产品用户画像项目规划文档242 ---------------------------数据化运营：系统方法与实践案例--------------------------- 前 言 基 础 篇 第1章 概述：数据运营基础 002 1.1 大数据时代 002 1.2 企业数据应用方式 004 1.3 数据运营的岗位职责 007 1.4 数据运营应掌握的技能 009 1.5 本章小结 013 第2章 业务：数据驱动运营 014 2.1 如何用数据驱动运营 014 2.1.1 定义数据分析目标 014 2.1.2 目标分解与聚焦 016 2.1.3 数据运营重点 019 2.2 流量运营分析 021 2.2.1 流量运营规划 021 2.2.2 流量分析 023 2.2.3 解读PV、UV 027 2.2.4 跳出率分析 029 2.2.5 漏斗图分析 030 2.2.6 A/B测试 032 2.3 用户运营分析 033 2.3.1 用户分群 034 2.3.2 用户行为分析 040 2.3.3 用户生命周期价值 047 2.4 本章小结 051 第3章 报表：数据管理模板 052 3.1 个性化数据管理报告—Excel 054 3.1.1 创建报告的准备工作 054 3.1.2 报告自动化步骤 055 3.1.3 从数据源表到数据转化表 056 3.1.4 报告正文展示 062 3.1.5 自动化报表脚本 064 3.2 搭建数据分析报告模板—PPT 066 3.2.1 业务指标梳理（搭建运营监控指标体系） 067 3.2.2 分析思路与框架 078 3.2.3 图表展现 079 3.2.4 数据与结论 080 3.2.5 报告布局与排版 081 3.2.6 PPT随Excel模板自动更新 084 3.3 本章小结 085 应 用 篇 第4章 理论：数据分析方法 088 4.1 数据分析理论模型 088 4.1.1 4P营销理论 089 4.1.2 5W2H分析法 090 4.1.3 PEST分析方法 092 4.1.4 SWOT 093 4.1.5 逻辑树 095 4.2 数据分析方法与运用场景 095 4.2.1 多维分析 095 4.2.2 趋势分析 097 4.2.3 综合评价法 101 4.2.4 转化分析 103 4.2.5 数据挖掘方法 106 4.3 可视化：常用图表的特点及适用场合 106 4.3.1 环形图 107 4.3.2 矩阵图 108 4.3.3 组合图 112 4.3.4 文字云 118 4.4 AB Test的原理与实现 125 4.4.1 AB Test的原理 126 4.4.2 AB Test的埋点与报表部署 128 4.4.3 AB Test的分析方法 129 4.4.4 AB Test的常见误区 132 4.5 埋点策略与实现 134 4.5.1 utm来源埋点 135 4.5.2 页面PV埋点 137 4.5.3 单击埋点native 139 4.5.4 单击埋点hybrid 141 4.5.5 业务埋点 142 4.5.6 曝光埋点 144 4.5.7 埋点常见问题 145 4.6 本章小结 146 第5章 案例：竞品数据对标分析 148 5.1 网络爬虫基础知识 148 5.1.1 开发环境准备 149 5.1.2 Web前端基础 149 5.1.3 解析网页 152 5.1.4 数据存储 159 5.2 网站结构分析 166 5.3 Scrapy爬虫架构 168 5.3.1 items模块 170 5.3.2 pipelines模块 171 5.3.3 settings模块 172 5.3.4 爬虫模块 173 5.4 数据爬取与解析 174 5.5 项目优化与改进 177 5.5.1 爬虫脚本部署在服务器端 178 5.5.2 分布式爬虫的实现 178 5.6 反爬手段及应对机制 179 5.6.1 禁止IP请求 180 5.6.2 禁止非浏览器访问 180 5.6.3 ajax加载目标数据 181 5.6.4 需要登录后才能访问 182 5.6.5 手机App页面数据抓取 182 5.7 本章小结 184 第6章 案例：某互联网医疗产品用户特征分析 185 6.1 应用背景与分析维度 185 6.2 基于用户细分的行为分析 186 6.3 用户来源渠道分析 190 6.4 基于前端展示的用户行为分析 191 6.5 产品改进与运营建议 195 6.6 本章小结 195 第7章 案例：RFM用户价值模型应用 196 7.1 应用背景与目标 196 7.2 基于规则的划分 198 7.3 基于聚类方法的划分 203 7.4 本章小结 209 第8章 案例：用户流失分析与预测 210 8.1 应用背景与目标 210 8.2 问题分析与模型构建 211 8.3 数据处理与结果 212 8.3.1 确定用户流失周期 212 8.3.2 抽取训练数据建立决策树模型 214 8.3.3 线上部署脚本定期监测流失用户 221 8.3.4 流失用户分析 224 8.4 问题定位与解决方案 226 8.5 本章小结 229 第9章 案例：站内文章自动分类打标签 230 9.1 应用背景与目标 230 9.2 问题分析与模型构建 231 9.3 案例中主要应用的技术 232 9.3.1 数据预处理 232 9.3.2 TF-IDF词空间向量转换 233 9.3.3 文章关键词提取 234 9.3.4 朴素贝叶斯分类 235 9.4 数据处理与模型检验 235 9.4.1 文本分词处理（数据分类与数据预处理） 236 9.4.2 数据结构处理 238 9.4.3 计算文本的TF-IDF权重矩阵 240 9.4.4 用朴素贝叶斯方法分类文章 242 9.5 本章小结 245 提 高 篇 第10章 应用：用户画像建模 248 10.1 用户画像简介 248 10.1.1 什么是用户画像 249 10.1.2 用户画像模型及应用场景 250 10.1.3 数仓架构及项目流程 254 10.2 用户画像管理 257 10.2.1 模块化开发 257 10.2.2 存储方式 259 10.2.3 更新机制 259 10.3 业务背景 262 10.3.1 案例背景介绍 262 10.3.2 数据仓库相关表介绍 262 10.4 用户画像建模 267 10.4.1 业务需求梳理 267 10.4.2 用户标签体系及开发内容 268 10.4.3 用户画像开发流程 274 10.4.4 时间衰减系数 279 10.4.5 标签权重配置 280 10.5 用户画像数据开发 282 10.5.1 建立用户属性画像 283 10.5.2 建立用户行为画像 289 10.5.3 建立用户偏好画像 303 10.5.4 建立群体用户画像 308 10.5.5 画像效果验收 313 10.5.6 画像数据质量管理 314 10.6 用户画像应用方式 317 10.6.1 业务精细化运营 317 10.6.2 数据分析 319 10.6.3 精准营销 319 10.6.4 用户个性化推荐 322 10.7 本章小结 323 |
有问题微信扫码联系