| 作者 |
| 王宇韬 钱妍竹 王青天 孔越 |
| 丛书名 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782007071456 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------Python大数据分析与机器学习商业案例实战--------------------------- 大数据分析与机器学习技术已成为各行各业实现数字化变革的关键驱动力。本书以功能强大且较易上手的Python语言为编程环境,全面讲解了大数据分析与机器学习技术的商业应用实战。 全书共16章,讲解了线性回归模型、逻辑回归模型、决策树模型、朴素贝叶斯模型、K近邻算法模型、随机森林模型、AdaBoost与GBDT模型、XGBoost与LightGBM模型、PCA(主成分分析)模型、聚类与分群模型(KMeans与DBSCAN算法)、协同过滤算法模型、Apriori关联分析模型、神经网络模型等十余种机器学习模型的原理和代码实现,每种模型都配有一到两个典型案例,涵盖金融、营销、医疗、社会科学、企业办公与管理等多个领域。 本书适合具备一定数学知识和编程基础、希望快速在工作中应用大数据分析与机器学习技术的读者阅读,也适合Python编程爱好者或对大数据分析与机器学习技术感兴趣的读者参考。 ---------------------------Python金融大数据风控建模实战:基于机器学习--------------------------- 本书的定位是一本Python金融大数据风控建模的入门级读物。全书包括4篇:背景篇旨在由浅入深地引领读者走进金融科技领域,了解智能风控,系统、全面地认识评分卡;基础篇围绕评分卡构建的全流程,向读者一一讲述每个环节的理论知识,随之进行代码实践,帮助读者获得从0至1构建评分卡模型的工程能力;进阶篇旨在从建模中可能遇到问题出发,提供一些问题解决或模型提升的思路,使建立的评分卡具有更好的业务适应及预测能力;实战篇结合真实信贷场景的数据集,带领读者完成从数据分析至评分卡生成的各个流程,旨在让读者体验真实场景,具备评分卡实战能力,亦可作为读者实际工作中构建评分卡的参考。本书适合有一定Python语言基础的金融风控相关技术人员阅读,也适合想要了解人工智能如何在金融场景应用的开发及业务人员。另外,也适合专业培训机构的学员和相关专业的学生。 |
| 目录 |
---------------------------Python大数据分析与机器学习商业案例实战--------------------------- 前言 如何获取学习资源 第1章 Python与数据科学 1.1 大数据分析与机器学习概述 1.1.1 大数据分析与机器学习的应用领域 1.1.2 机器学习的基本概念 1.1.3 Python在数据科学中的作用 1.2 Python编程环境部署与基本操作 1.2.1 Python的安装 1.2.2 Pycharm的安装与设置 1.2.3 Jupyter Notebook的使用 1.3 Python基础知识概要 第2章 数据分析利器:NumPy、pandas与Matplotlib库 2.1 NumPy库基础 2.1.1 NumPy库与数组 2.1.2 数组与列表的区别 2.1.3 创建数组的几种方式 2.2 pandas库基础. 2.2.1 二维数据表格DataFrame的创建 2.2.2 Excel工作簿等文件的读取和写入 2.2.3 数据的选取与处理 2.2.4 数据表拼接 2.3 Matplotlib库基础 2.3.1 基本图表绘制 2.3.2 数据可视化常用技巧 2.4 案例实战:股票数据读取与K 线图绘制 2.4.1 初步尝试:股票数据读取与可视化 2.4.2 进阶实战:股票K 线图绘制 第3 章 线性回归模型 3.1 一元线性回归 3.1.1 一元线性回归的数学原理 3.1.2 一元线性回归的代码实现 3.1.3 案例实战:不同行业工龄与薪水的线性回归模型 3.2 线性回归模型评估 3.2.1 模型评估的编程实现 3.2.2 模型评估的数学原理 3.3 多元线性回归 3.3.1 多元线性回归的数学原理和代码实现 3.3.2 案例实战:客户价值预测模型 第4 章 逻辑回归模型 4.1 逻辑回归模型的算法原理 4.1.1 逻辑回归模型的数学原理 4.1.2 逻辑回归模型的代码实现 4.1.3 逻辑回归模型的深入理解 4.2 案例实战:客户流失预警模型 4.2.1 案例背景 4.2.2 数据读取与变量划分 4.2.3 模型的搭建与使用 4.3 模型评估方法:ROC 曲线与KS 曲线 4.3.1 ROC 曲线的基本原理 4.3.2 案例实战:用ROC 曲线评估客户流失预警模型 4.3.3 KS 曲线的基本原理 4.3.4 案例实战:用KS 曲线评估客户流失预警模型 第5 章 决策树模型 5.1 决策树模型的基本原理 5.1.1 决策树模型简介 5.1.2 决策树模型的建树依据 5.1.3 决策树模型的代码实现 5.2 案例实战:员工离职预测模型 5.2.1 模型搭建 5.2.2 模型预测及评估 5.2.3 决策树模型可视化呈现及决策树要点理解 5.3 参数调优:K 折交叉验证与GridSearch 网格搜索 5.3.1 K 折交叉验证 5.3.2 GridSearch 网格搜索 第6 章 朴素贝叶斯模型 6.1 朴素贝叶斯模型的算法原理 6.1.1 一维特征变量下的贝叶斯模型 6.1.2 二维特征变量下的贝叶斯模型 6.1.3 n 维特征变量下的贝叶斯模型 6.1.4 朴素贝叶斯模型的简单代码实现 6.2 案例实战:肿瘤预测模型 6.2.1 案例背景 6.2.2 数据读取与划分 6.2.3 模型的搭建与使用 第7 章 K 近邻算法 7.1 K 近邻算法的原理和代码实现 7.1.1 K 近邻算法的基本原理 7.1.2 K 近邻算法的计算步骤 7.1.3 K 近邻算法的代码实现 7.2 案例实战:手写数字识别模型 7.2.1 案例背景 7.2.2 手写数字识别的原理 7.2.3 手写数字识别的代码实现 7.3 图像识别原理详解 第8 章 随机森林模型 8.1 随机森林模型的原理和代码实现 8.1.1 集成模型简介 8.1.2 随机森林模型的基本原理 8.1.3 随机森林模型的代码实现 8.2 案例实战:股票涨跌预测模型 8.2.1 股票基本数据获取 8.2.2 股票衍生变量生成 8.2.3 多因子模型搭建 8.2.4 模型使用与评估 8.2.5 参数调优 8.2.6 收益回测曲线绘制 第9 章 AdaBoost 与GBDT 模型 9.1 AdaBoost 算法原理 9.1.1 AdaBoost 算法的核心思想 9.1.2 AdaBoost 算法的数学原理概述 9.1.3 AdaBoost 算法的数学原理举例 9.1.4 AdaBoost 算法的简单代码实现 9.2 AdaBoost 算法案例实战:信用卡精准营销模型 9.2.1 案例背景 9.2.2 模型搭建 9.2.3 模型预测及评估 9.2.4 模型参数介绍 9.3 GBDT 算法原理 9.3.1 GBDT 算法的核心思想 9.3.2 GBDT 算法的数学原理概述 9.3.3 GBDT 算法的数学原理举例 9.3.4 GBDT 算法的简单代码实现 9.4 GBDT 算法案例实战:产品定价模型 9.4.1 案例背景 9.4.2 模型搭建 9.4.3 模型预测及评估 9.4.4 模型参数介绍 第10 章 机器学习神器:XGBoost 与LightGBM 算法 10.1 XGBoost 算法原理 10.1.1 XGBoost 算法的核心思想 10.1.2 XGBoost 算法的数学原理概述 10.1.3 XGBoost 算法的简单代码实现 10.2 XGBoost 算法案例实战1:金融反欺诈模型 10.2.1 案例背景 10.2.2 模型搭建 10.2.3 模型预测及评估 10.2.4 模型参数调优 10.3 XGBoost 算法案例实战2:信用评分卡模型 10.3.1 案例背景 10.3.2 多元线性回归模型 10.3.3 GBDT 回归模型 10.3.4 XGBoost 回归模型 10.4 LightGBM 算法原理 10.4.1 LightGBM 算法的核心思想 10.4.2 LightGBM 算法的数学原理概述 10.4.3 LightGBM 算法的简单代码实现 10.5 LightGBM 算法案例实战1:客户违约预测模型 10.5.1 案例背景 10.5.2 模型搭建 10.5.3 模型预测及评估 10.5.4 模型参数调优 10.6 LightGBM 算法案例实战2:广告收益回归预测模型 10.6.1 案例背景 10.6.2 模型搭建 10.6.3 模型预测及评估 10.6.4 模型参数调优 第11 章 特征工程之数据预处理 11.1 非数值类型数据处理 11.1.1 Get_dummies 哑变量处理 11.1.2 Label Encoding 编号处理 11.2 重复值、缺失值及异常值处理 11.2.1 重复值处理 11.2.2 缺失值处理 11.2.3 异常值处理 11.3 数据标准化 11.3.1 min-max 标准化 11.3.2 Z-score 标准化 11.4 数据分箱 11.5 特征筛选:WOE 值与IV 值 11.5.1 WOE 值的定义与计算 11.5.2 IV 值的定义与计算 11.5.3 WOE 值与IV 值的代码实现 11.5.4 案例实战:客户流失预警模型的IV 值计算 11.6 多重共线性的分析与处理 11.6.1 多重共线性的定义 11.6.2 多重共线性的分析与检验 11.7 过采样和欠采样 11.7.1 过采样 11.7.2 欠采样 第12 章 数据降维之PCA 12.1 数据降维 12.1.1 PCA 的基本原理 12.1.2 PCA 的代码实现 12.2 案例实战:人脸识别模型 12.2.1 案例背景 12.2.2 人脸数据读取、处理与变量提取 12.2.3 数据划分与降维 12.2.4 模型的搭建与使用 12.3 人脸识别外部接口调用 12.3.1 baidu-aip 库安装 12.3.2 调用接口进行人脸识别和打分 第13 章 数据聚类与分群分析 13.1 KMeans 算法 13.1.1 KMeans 算法的基本原理 13.1.2 KMeans 算法的代码实现 13.1.3 案例实战:银行客户分群模型 13.2 DBSCAN 算法 13.2.1 DBSCAN 算法的基本原理 13.2.2 DBSCAN 算法的代码实现 13.2.3 KMeans 算法与DBSCAN 算法的对比 13.3 案例实战:新闻聚类分群模型 13.3.1 案例背景 13.3.2 文本数据的读取与处理 13.3.3 模型的搭建与使用 13.3.4 模型优化 第14 章 智能推荐系统 14.1 智能推荐系统的基本原理 14.1.1 智能推荐系统的应用场景 14.1.2 智能推荐系统的基础:协同过滤算法 14.2 计算相似度的常用方法 14.2.1 欧氏距离 14.2.2 余弦相似度 14.2.3 皮尔逊相关系数 14.3 案例实战:电影智能推荐系统 14.3.1 案例背景 14.3.2 数据读取与处理 14.3.3 系统搭建 第15 章 关联分析:Apriori 算法 15.1 关联分析的基本概念和Apriori 算法 15.1.1 关联分析的基本概念 15.1.2 Apriori 算法的数学演示 15.1.3 Apriori 算法的代码实现 15.2 案例实战:病症关联规则分析 15.2.1 案例背景 15.2.2 数据读取与处理 15.2.3 关联规则分析 第16 章 深度学习初窥之神经网络模型 16.1 深度学习基础:神经网络模型 16.1.1 神经网络模型的基本原理 16.1.2 神经网络模型的简单代码实现 16.2 案例实战:用户评论情感分析模型 16.2.1 案例背景 16.2.2 数据读取、中文分词、文本向量化 16.2.3 神经网络模 ---------------------------Python金融大数据风控建模实战:基于机器学习--------------------------- 前言 第1篇 智能风控背景 第1章 金融科技介绍 2 1.1 金融科技的前世今生 2 1.2 金融科技正深刻地改变和塑造着金融业态 4 1.3 新兴科技不断强化金融科技的应用能力 5 1.4 金融风险控制面临着前所未有的挑战 7 1.5 智能风控和评分卡 8 1.6 评分卡模型的开发流程 11 第2章 机器学习介绍 17 2.1 机器学习的概念 17 2.2 机器学习的分类 17 2.2.1 有监督学习 18 2.2.2 无监督学习 18 2.2.3 强化学习 19 2.3 机器学习与人工智能的关系 20 2.4 机器学习与数学的关系 20 2.5 机器学习与深度学习 22 第3章 评分卡模型介绍 25 3.1 申请评分卡 25 3.1.1 数据获取 26 3.1.2 好坏样本定义 26 3.1.3 观察期与表现期确定 29 3.1.4 样本分层 32 3.1.5 数据清洗与预处理 33 3.1.6 特征工程 33 3.1.7 模型训练与优化 35 3.2 行为评分卡 36 3.2.1 数据获取 37 3.2.2 时间窗口 37 3.2.3 特征工程 38 3.3 催收评分卡 40 3.3.1 催收评分卡分类 40 3.3.2 催收策略 41 3.4 反欺诈模型 42 3.4.1 欺诈风险与信用风险比较 42 3.4.2 欺诈模型好坏样本定义 43 3.4.3 欺诈主体分析 44 3.4.4 反欺诈方法介绍 44 第2篇 评分卡理论与实战基础 第4章 数据清洗与预处理 48 4.1 数据集成 49 4.2 数据清洗 50 4.3 探索性数据分析 52 4.4 Python代码实践 54 4.4.1 数据集成 54 4.4.2 数据清洗 58 4.4.3 探索性数据分析 61 第5章 变量编码方法 66 5.1 无监督编码 66 5.1.1 One-hot编码 66 5.1.2 Dummy variable编码 68 5.1.3 Label编码 69 5.2 有监督编码 70 5.2.1 WOE编码 70 5.2.2 WOE编码与One-hot编码比较 73 5.3 Python代码实践 75 5.3.1 One-hot编码 76 5.3.2 Dummy variable编码 80 5.3.3 Label编码 82 5.3.4 WOE编码 85 第6章 变量分箱方法 89 6.1 变量分箱流程 91 6.2 最优Chi-merge卡方分箱方法 92 6.3 Best-KS分箱方法 94 6.4 最优IV分箱方法 95 6.5 基于树的最优分箱方法 95 6.6 Python代码实践 98 6.6.1 最优Chi-merge分箱 98 6.6.2 最优IV分箱 106 6.6.3 基于树的分箱 107 第7章 变量选择 109 7.1 过滤法变量选择 109 7.2 包装法变量选择 112 7.3 嵌入法变量选择 113 7.4 Python代码实践 115 7.4.1 过滤法变量选择 115 7.4.2 包装法变量选择 118 7.4.3 嵌入法变量选择 120 第8章 Logistic回归模型 123 8.1 Logistic回归模型原理 123 8.2 过拟合与欠拟合 128 8.3 Python代码实践 130 第9章 模型的评估指标 136 9.1 正负样本的选择 137 9.2 标准评估指标 139 9.3 概率密度评估指标 141 9.4 概率分布评估指标 144 9.5 Python代码实践 153 第10章 评分卡分数转化 157 10.1 由概率到分数的转换 157 10.2 变量的分值计算 159 10.3 评分卡性能评估 161 10.4 Python代码实践 163 第11章 模型在线监控 169 11.1 稳定性监控 169 11.2 单调性监控 172 11.3 性能监控指标 173 11.4 Python代码实践 174 第3篇 评分卡理论与实战进阶 第12章 样本不均衡处理 180 12.1 数据层下采样样本不均衡的处理方法 181 12.1.1 随机下采样方法 181 12.1.2 样本邻域选择的下采样方法 182 12.1.3 样本邻域清理的下采样方法 184 12.1.4 Bagging集成的下采样方法 185 12.1.5 Boosting集成的下采样方法 187 12.2 数据层上采样样本不均衡的处理方法 188 12.2.1 随机上采样方法 188 12.2.2 SMOTE样本生成方法 189 12.2.3 Borderline-SMOTE样本生成方法 190 12.3 算法层样本不均衡的处理方法 190 12.4 模型评估层样本不均衡的处理方法 191 12.5 Python代码实践 191 12.5.1 数据层下采样样本不均衡处理代码实现 192 12.5.2 数据层上采样样本不均衡处理代码实现 201 第13章 特征工程进阶 206 13.1 数据层特征工程 206 13.2 算法层特征工程 211 13.2.1 基于树模型的特征生成 211 13.2.2 FM特征交叉 215 13.3 Python代码实践 219 13.3.1 数据层特征工程代码实现 219 13.3.2 算法层特征工程代码实现 222 第14章 决策树模型 229 14.1 决策树模型的原理 229 14.2 决策树学习 229 14.3 决策树与过拟合 234 14.4 Python代码实践 236 第15章 神经网络模型 241 15.1 神经元模型 241 15.2 神经网络的网络结构 242 15.3 神经网络的学习策略 247 15.4 Python代码实践 253 第16章 支持向量机模型 257 16.1 感知器模型 257 16.1.1 感知器模型的原理 257 16.1.2 感知器与支持向量机模型 260 16.2 线性可分支持向量机 261 16.3 线性支持向量机 267 16.4 非线性支持向量机 272 16.5 感知器相关模型比较 278 16.6 Python代码实践 280 16.6.1 线性支持向量机模型代码实现 280 16.6.2 非线性支持向量机模型代码实现 282 第17章 集成学习 286 17.1 Bagging与Boosting对比 286 17.2 Random Forest模型原理 288 17.3 Adaboost模型原理 289 17.4 GBDT模型原理 292 17.5 Xgboost模型原理 297 17.6 Python代码实践 304 17.6.1 Random Forest模型 304 17.6.2 Adaboost模型 308 17.6.3 GBDT模型 310 17.6.4 Xgboost模型 313 第18章 模型融合 317 18.1 Blending方法原理 317 18.2 Stacking方法原理 320 18.3 Python代码实践 322 18.3.1 Blending模型融合代码实现 322 18.3.2 Stacking模型融合代码实现 325 第4篇 Lending Club数据集实战 第19章 完整的模型开发实现 330 19.1 数据源介绍 330 19.2 数据的获取与预处理 331 19.2.1 数据准备 331 19.2.2 好坏样本定义 334 19.2.3 数据清洗与预处理 335 19.3 特征工程 341 19.3.1 简单的特征工程 341 19.3.2 变量分箱与编码 342 19.3.3 变量选择 348 19.4 模型构建与评估 351 19.4.1 模型构建与优化 351 19.4.2 模型评估 352 19.5 评分卡生成 353 附录A 主要符号表 357 附录B 开发环境简介 358 参考文献 362 |