| 作者 |
| 王宇韬 钱妍竹 王宇韬 房宇亮 肖金鑫 |
| 丛书名 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782007071456 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------Python大数据分析与机器学习商业案例实战--------------------------- 大数据分析与机器学习技术已成为各行各业实现数字化变革的关键驱动力。本书以功能强大且较易上手的Python语言为编程环境,全面讲解了大数据分析与机器学习技术的商业应用实战。 全书共16章,讲解了线性回归模型、逻辑回归模型、决策树模型、朴素贝叶斯模型、K近邻算法模型、随机森林模型、AdaBoost与GBDT模型、XGBoost与LightGBM模型、PCA(主成分分析)模型、聚类与分群模型(KMeans与DBSCAN算法)、协同过滤算法模型、Apriori关联分析模型、神经网络模型等十余种机器学习模型的原理和代码实现,每种模型都配有一到两个典型案例,涵盖金融、营销、医疗、社会科学、企业办公与管理等多个领域。 本书适合具备一定数学知识和编程基础、希望快速在工作中应用大数据分析与机器学习技术的读者阅读,也适合Python编程爱好者或对大数据分析与机器学习技术感兴趣的读者参考。 ---------------------------Python金融大数据挖掘与分析全流程详解--------------------------- 金融从业者每天都要与海量的数据打交道,如何从这些数据中挖掘出需要的信息,并进行相应的分析,是很多金融从业者非常关心的内容。本书以功能强大且较易上手的Python 语言为编程环境,全面讲解了金融数据的获取、处理、分析及结果呈现。 全书共16 章,内容涉及Python 基础知识、网络数据爬虫技术、数据库存取、数据清洗、数据可视化、数据相关性分析、IP 代理、浏览器模拟操控、邮件发送、定时任务、文件读写、云端部署、机器学习等,可以实现舆情监控、智能投顾、量化金融、大数据风控、金融反欺诈模型等多种金融应用。无论是编程知识还是金融相关知识,本书都力求从易到难、循序渐进地讲解,并辅以商业实战案例来加深印象。 本书定位为一本金融科技入门读物,但书中的数据挖掘与分析思想对其他行业来说也具备较高的参考价值。 本书又是一个金融科技工具箱,里面的代码可以方便地速查速用,解决实际工作中的问题。 本书适合金融行业的从业人员学习。对于大中专院校金融、财会等专业的师生,以及具备一定计算机编程基础,又希望投身金融行业的读者,本书也是不错的参考读物。 |
| 目录 |
---------------------------Python大数据分析与机器学习商业案例实战--------------------------- 前言 如何获取学习资源 第1章 Python与数据科学 1.1 大数据分析与机器学习概述 1.1.1 大数据分析与机器学习的应用领域 1.1.2 机器学习的基本概念 1.1.3 Python在数据科学中的作用 1.2 Python编程环境部署与基本操作 1.2.1 Python的安装 1.2.2 Pycharm的安装与设置 1.2.3 Jupyter Notebook的使用 1.3 Python基础知识概要 第2章 数据分析利器:NumPy、pandas与Matplotlib库 2.1 NumPy库基础 2.1.1 NumPy库与数组 2.1.2 数组与列表的区别 2.1.3 创建数组的几种方式 2.2 pandas库基础. 2.2.1 二维数据表格DataFrame的创建 2.2.2 Excel工作簿等文件的读取和写入 2.2.3 数据的选取与处理 2.2.4 数据表拼接 2.3 Matplotlib库基础 2.3.1 基本图表绘制 2.3.2 数据可视化常用技巧 2.4 案例实战:股票数据读取与K 线图绘制 2.4.1 初步尝试:股票数据读取与可视化 2.4.2 进阶实战:股票K 线图绘制 第3 章 线性回归模型 3.1 一元线性回归 3.1.1 一元线性回归的数学原理 3.1.2 一元线性回归的代码实现 3.1.3 案例实战:不同行业工龄与薪水的线性回归模型 3.2 线性回归模型评估 3.2.1 模型评估的编程实现 3.2.2 模型评估的数学原理 3.3 多元线性回归 3.3.1 多元线性回归的数学原理和代码实现 3.3.2 案例实战:客户价值预测模型 第4 章 逻辑回归模型 4.1 逻辑回归模型的算法原理 4.1.1 逻辑回归模型的数学原理 4.1.2 逻辑回归模型的代码实现 4.1.3 逻辑回归模型的深入理解 4.2 案例实战:客户流失预警模型 4.2.1 案例背景 4.2.2 数据读取与变量划分 4.2.3 模型的搭建与使用 4.3 模型评估方法:ROC 曲线与KS 曲线 4.3.1 ROC 曲线的基本原理 4.3.2 案例实战:用ROC 曲线评估客户流失预警模型 4.3.3 KS 曲线的基本原理 4.3.4 案例实战:用KS 曲线评估客户流失预警模型 第5 章 决策树模型 5.1 决策树模型的基本原理 5.1.1 决策树模型简介 5.1.2 决策树模型的建树依据 5.1.3 决策树模型的代码实现 5.2 案例实战:员工离职预测模型 5.2.1 模型搭建 5.2.2 模型预测及评估 5.2.3 决策树模型可视化呈现及决策树要点理解 5.3 参数调优:K 折交叉验证与GridSearch 网格搜索 5.3.1 K 折交叉验证 5.3.2 GridSearch 网格搜索 第6 章 朴素贝叶斯模型 6.1 朴素贝叶斯模型的算法原理 6.1.1 一维特征变量下的贝叶斯模型 6.1.2 二维特征变量下的贝叶斯模型 6.1.3 n 维特征变量下的贝叶斯模型 6.1.4 朴素贝叶斯模型的简单代码实现 6.2 案例实战:肿瘤预测模型 6.2.1 案例背景 6.2.2 数据读取与划分 6.2.3 模型的搭建与使用 第7 章 K 近邻算法 7.1 K 近邻算法的原理和代码实现 7.1.1 K 近邻算法的基本原理 7.1.2 K 近邻算法的计算步骤 7.1.3 K 近邻算法的代码实现 7.2 案例实战:手写数字识别模型 7.2.1 案例背景 7.2.2 手写数字识别的原理 7.2.3 手写数字识别的代码实现 7.3 图像识别原理详解 第8 章 随机森林模型 8.1 随机森林模型的原理和代码实现 8.1.1 集成模型简介 8.1.2 随机森林模型的基本原理 8.1.3 随机森林模型的代码实现 8.2 案例实战:股票涨跌预测模型 8.2.1 股票基本数据获取 8.2.2 股票衍生变量生成 8.2.3 多因子模型搭建 8.2.4 模型使用与评估 8.2.5 参数调优 8.2.6 收益回测曲线绘制 第9 章 AdaBoost 与GBDT 模型 9.1 AdaBoost 算法原理 9.1.1 AdaBoost 算法的核心思想 9.1.2 AdaBoost 算法的数学原理概述 9.1.3 AdaBoost 算法的数学原理举例 9.1.4 AdaBoost 算法的简单代码实现 9.2 AdaBoost 算法案例实战:信用卡精准营销模型 9.2.1 案例背景 9.2.2 模型搭建 9.2.3 模型预测及评估 9.2.4 模型参数介绍 9.3 GBDT 算法原理 9.3.1 GBDT 算法的核心思想 9.3.2 GBDT 算法的数学原理概述 9.3.3 GBDT 算法的数学原理举例 9.3.4 GBDT 算法的简单代码实现 9.4 GBDT 算法案例实战:产品定价模型 9.4.1 案例背景 9.4.2 模型搭建 9.4.3 模型预测及评估 9.4.4 模型参数介绍 第10 章 机器学习神器:XGBoost 与LightGBM 算法 10.1 XGBoost 算法原理 10.1.1 XGBoost 算法的核心思想 10.1.2 XGBoost 算法的数学原理概述 10.1.3 XGBoost 算法的简单代码实现 10.2 XGBoost 算法案例实战1:金融反欺诈模型 10.2.1 案例背景 10.2.2 模型搭建 10.2.3 模型预测及评估 10.2.4 模型参数调优 10.3 XGBoost 算法案例实战2:信用评分卡模型 10.3.1 案例背景 10.3.2 多元线性回归模型 10.3.3 GBDT 回归模型 10.3.4 XGBoost 回归模型 10.4 LightGBM 算法原理 10.4.1 LightGBM 算法的核心思想 10.4.2 LightGBM 算法的数学原理概述 10.4.3 LightGBM 算法的简单代码实现 10.5 LightGBM 算法案例实战1:客户违约预测模型 10.5.1 案例背景 10.5.2 模型搭建 10.5.3 模型预测及评估 10.5.4 模型参数调优 10.6 LightGBM 算法案例实战2:广告收益回归预测模型 10.6.1 案例背景 10.6.2 模型搭建 10.6.3 模型预测及评估 10.6.4 模型参数调优 第11 章 特征工程之数据预处理 11.1 非数值类型数据处理 11.1.1 Get_dummies 哑变量处理 11.1.2 Label Encoding 编号处理 11.2 重复值、缺失值及异常值处理 11.2.1 重复值处理 11.2.2 缺失值处理 11.2.3 异常值处理 11.3 数据标准化 11.3.1 min-max 标准化 11.3.2 Z-score 标准化 11.4 数据分箱 11.5 特征筛选:WOE 值与IV 值 11.5.1 WOE 值的定义与计算 11.5.2 IV 值的定义与计算 11.5.3 WOE 值与IV 值的代码实现 11.5.4 案例实战:客户流失预警模型的IV 值计算 11.6 多重共线性的分析与处理 11.6.1 多重共线性的定义 11.6.2 多重共线性的分析与检验 11.7 过采样和欠采样 11.7.1 过采样 11.7.2 欠采样 第12 章 数据降维之PCA 12.1 数据降维 12.1.1 PCA 的基本原理 12.1.2 PCA 的代码实现 12.2 案例实战:人脸识别模型 12.2.1 案例背景 12.2.2 人脸数据读取、处理与变量提取 12.2.3 数据划分与降维 12.2.4 模型的搭建与使用 12.3 人脸识别外部接口调用 12.3.1 baidu-aip 库安装 12.3.2 调用接口进行人脸识别和打分 第13 章 数据聚类与分群分析 13.1 KMeans 算法 13.1.1 KMeans 算法的基本原理 13.1.2 KMeans 算法的代码实现 13.1.3 案例实战:银行客户分群模型 13.2 DBSCAN 算法 13.2.1 DBSCAN 算法的基本原理 13.2.2 DBSCAN 算法的代码实现 13.2.3 KMeans 算法与DBSCAN 算法的对比 13.3 案例实战:新闻聚类分群模型 13.3.1 案例背景 13.3.2 文本数据的读取与处理 13.3.3 模型的搭建与使用 13.3.4 模型优化 第14 章 智能推荐系统 14.1 智能推荐系统的基本原理 14.1.1 智能推荐系统的应用场景 14.1.2 智能推荐系统的基础:协同过滤算法 14.2 计算相似度的常用方法 14.2.1 欧氏距离 14.2.2 余弦相似度 14.2.3 皮尔逊相关系数 14.3 案例实战:电影智能推荐系统 14.3.1 案例背景 14.3.2 数据读取与处理 14.3.3 系统搭建 第15 章 关联分析:Apriori 算法 15.1 关联分析的基本概念和Apriori 算法 15.1.1 关联分析的基本概念 15.1.2 Apriori 算法的数学演示 15.1.3 Apriori 算法的代码实现 15.2 案例实战:病症关联规则分析 15.2.1 案例背景 15.2.2 数据读取与处理 15.2.3 关联规则分析 第16 章 深度学习初窥之神经网络模型 16.1 深度学习基础:神经网络模型 16.1.1 神经网络模型的基本原理 16.1.2 神经网络模型的简单代码实现 16.2 案例实战:用户评论情感分析模型 16.2.1 案例背景 16.2.2 数据读取、中文分词、文本向量化 16.2.3 神经网络模 ---------------------------Python金融大数据挖掘与分析全流程详解--------------------------- 前言 如何获取学习资源 第1章 Python基础 1.1 Python安装与第一个Python程序 12 1.1.1 安装Python 12 1.1.2 编写第一个Python程序 13 1.1.3 PyCharm的安装与使用 14 1.2 Python基础知识 18 1.2.1 变量、行、缩进与注释 18 1.2.2 数据类型:数字与字符串 20 1.2.3 数据类型:列表与字典、元组与集合 22 1.2.4 运算符 27 1.3 Python语句 29 1.3.1 if条件语句 29 1.3.2 for循环语句 30 1.3.3 while循环语句 31 1.3.4 try/except异常处理语句 32 1.4 函数与库 33 1.4.1 函数的定义与调用 33 1.4.2 函数的返回值与作用域 34 1.4.3 常用基本函数介绍 36 1.4.4 库 38 第2章 金融数据挖掘之爬虫技术基础 2.1 爬虫技术基础1—网页结构基础 41 2.1.1 查看网页源代码—F12键 41 2.1.2 查看网页源代码—右键菜单 43 2.1.3 网址构成及http与https协议 44 2.1.4 网页结构初步了解 44 2.2 爬虫技术基础2—网页结构进阶 44 2.2.1 HTML基础知识1—我的第一个网页 45 2.2.2 HTML基础知识2—基础结构 45 2.2.3 HTML基础知识3—标题、段落、链接 46 2.2.4 HTML基础知识4—区块 49 2.2.5 HTML基础知识5—类与id 49 2.3 初步实战—百度新闻源代码获取 50 2.3.1 获取网页源代码 51 2.3.2 分析网页源代码信息 53 2.4 爬虫技术基础3—正则表达式 54 2.4.1 正则表达式基础1—findall()函数 54 2.4.2 正则表达式基础2—非贪婪匹配之(.*) 55 2.4.3 正则表达式基础3—非贪婪匹配之.* 57 2.4.4 正则表达式基础4—自动考虑换行的修饰符re.S 60 2.4.5 正则表达式基础5—知识点补充 61 第3章 金融数据挖掘案例实战1 3.1 提取百度新闻标题、网址、日期及来源 63 3.1.1 获取网页源代码 63 3.1.2 编写正则表达式提取新闻信息 63 3.1.3 数据清洗并打印输出 65 3.2 批量获取多家公司的百度新闻并生成数据报告 68 3.2.1 批量爬取多家公司的百度新闻 68 3.2.2 自动生成舆情数据报告文本文件 69 3.3 异常处理及24小时实时数据挖掘实战 71 3.3.1 异常处理实战 72 3.3.2 24小时实时爬取实战 72 3.4 按时间顺序爬取及批量爬取多页内容 74 3.4.1 按时间顺序爬取百度新闻 74 3.4.2 一次性批量爬取多页内容 75 3.5 搜狗新闻与新浪财经数据挖掘实战 78 3.5.1 搜狗新闻数据挖掘实战 78 3.5.2 新浪财经数据挖掘实战 82 第4章 数据库详解及实战 4.1 MySQL数据库简介及安装 86 4.2 MySQL数据库基础 89 4.2.1 MySQL数据库管理平台phpMyAdmin介绍 89 4.2.2 创建数据库及数据表 90 4.2.3 数据表基本操作 92 4.3 Python与MySQL数据库的交互 96 4.3.1 安装PyMySQL库 96 4.3.2 用Python连接数据库 96 4.3.3 用Python存储数据到数据库 97 4.3.4 用Python在数据库中查找并提取数据 101 4.3.5 用Python从数据库中删除数据 102 4.4 案例实战:把金融数据存入数据库 103 第5章 数据清洗优化及数据评分系统搭建 5.1 深度分析—数据去重及清洗优化 105 5.1.1 数据去重 105 5.1.2 常见的数据清洗手段及日期格式统一 107 5.1.3 文本内容深度过滤—剔除噪声数据 108 5.2 数据乱码的处理 110 5.2.1 编码分析 111 5.2.2 重新编码及解码 112 5.2.3 解决乱码问题的经验方法 114 5.3 舆情数据评分系统搭建 115 5.3.1 舆情数据评分系统版本1—根据标题评分 115 5.3.2 舆情数据评分系统版本2—根据正文内容评分 117 5.3.3 舆情数据评分系统版本3—解决乱码问题 118 5.3.4 舆情数据评分系统版本4—处理非相关信息 119 5.4 完整的百度新闻数据挖掘系统搭建 121 5.4.1 将舆情数据评分存入数据库 121 5.4.2 百度新闻数据挖掘系统代码整合 123 5.4.3 从数据库汇总每日评分 127 第6章 数据分析利器:NumPy与pandas库 6.1 NumPy库基础 129 6.1.1 NumPy库与数组 129 6.1.2 创建数组的几种方式 131 6.2 pandas库基础 132 6.2.1 二维数据表格DataFrame的创建与索引的修改 133 6.2.2 Excel工作簿等文件的读取和写入 137 6.2.3 数据的读取与编辑 139 6.2.4 数据表的拼接 144 6.3 利用pandas库导出舆情数据评分 147 6.3.1 汇总舆情数据评分 148 6.3.2 导出舆情数据评分表格 150 第7章 数据可视化与数据相关性分析 7.1 用Tushare库调取股价数据 152 7.1.1 Tushare库的基本用法 152 7.1.2 匹配舆情数据评分与股价数据 154 7.2 舆情数据评分与股价数据的可视化 155 7.2.1 数据可视化基础 156 7.2.2 数据可视化实战 160 7.3 舆情数据评分与股价数据相关性分析 162 7.3.1 皮尔逊相关系数 162 7.3.2 相关性分析实战 164 第8章 金融数据挖掘之爬虫技术进阶 8.1 爬虫技术进阶1—IP代理简介 165 8.1.1 IP代理的工作原理 165 8.1.2 IP代理的使用方法 166 8.2 爬虫技术进阶2—Selenium库详解 169 8.2.1 网络数据挖掘的难点 169 8.2.2 模拟浏览器ChromeDriver的下载与安装 170 8.2.3 Selenium库的安装 172 8.2.4 Selenium库的使用 173 第9章 金融数据挖掘案例实战2 9.1 新浪财经股票实时数据挖掘实战 180 9.1.1 获取网页源代码 180 9.1.2 数据提取 181 9.2 东方财富网数据挖掘实战 182 9.2.1 获取网页源代码 183 9.2.2 编写正则表达式提取数据 183 9.2.3 数据清洗及打印输出 185 9.2.4 函数定义及调用 185 9.3 裁判文书网数据挖掘实战 186 9.4 巨潮资讯网数据挖掘实战 188 9.4.1 获取网页源代码 189 9.4.2 编写正则表达式提取数据 190 9.4.3 数据清洗及打印输出 191 9.4.4 函数定义及调用 191 第10章 通过PDF文本解析上市公司理财公告 10.1 PDF文件批量下载实战 193 10.1.1 爬取多页内容 193 10.1.2 自动筛选所需内容 197 10.1.3 理财公告PDF文件的自动批量下载 199 10.2 PDF文本解析基础 203 10.2.1 用pdfplumber库提取文本内容 203 10.2.2 用pdfplumber库提取表格内容 204 10.3 PDF文本解析实战—寻找合适的理财公告 206 10.3.1 遍历文件夹里所有的PDF文件 207 10.3.2 批量解析每一个PDF文件 209 10.3.3 将合格的PDF文件自动归档 209 第11章 邮件提醒系统搭建 11.1 用Python自动发送邮件 213 11.1.1 通过腾讯QQ邮箱发送邮件 213 11.1.2 通过网易163邮箱发送邮件 215 11.1.3 发送HTML格式的邮件 216 11.1.4 发送邮件附件 218 11.2 案例实战:定时发送数据分析报告 221 11.2.1 用Python提取数据并发送数据分析报告邮件 221 11.2.2 用Python实现每天定时发送邮件 226 第12章 基于评级报告的投资决策分析 12.1 获取券商研报网站的表格数据 229 12.1.1 表格数据的常规获取方法 229 12.1.2 用Selenium库爬取和讯研报网表格数据 232 12.2 pandas库的高阶用法 235 12.2.1 重复值和缺失值处理 235 12.2.2 用groupby()函数分组汇总数据 238 12.2.3 用pandas库进行批量处理 240 12.3 评估券商分析师预测准确度 244 12.3.1 读取分析师评级报告数据进行数据预处理 244 12.3.2 用Tushare库计算股票收益率 247 12.3.3 计算平均收益率并进行分析师预测准确度排名 251 12.4 策略延伸 253 12.4.1 涨停板的考虑 253 12.4.2 按分析师查看每只股票的收益率 254 12.4.3 计算多阶段股票收益率 255 第13章 用Python生成Word文档 13.1 用Python创建Word文档的基础知识 257 13.1.1 初识python-docx库 257 13.1.2 python-docx库的基本操作 258 13.2 用Python创建Word文档的进阶知识 261 13.2.1 设置中文字体 261 13.2.2 在段落中新增文字 261 13.2.3 设置字体大小及颜色 262 13.2.4 设置段落格式 264 13.2.5 设置表格样式 267 13.2.6 设置图片样式 268 13.3 案例实战:自动生成数据分析报告Word文档 269 第14章 基于股票信息及其衍生变量的数据分析 14.1 策略基本思路 274 14.2 获取股票基本信息及衍生变量数据 275 14.2.1 获取股票基本信息数据 275 14.2.2 获取股票衍生变量数据 279 14.2.3 通过相关性分析选取合适的衍生变量 282 14.2.4 数据表优化及代码汇总 283 14.3 数据可视化呈现 285 14.4 用xlwings库生成Excel工作簿 287 14.4.1 xlwings库的基本用法 287 14.4.2 案例实战:自动生成Excel工作簿报告 290 14.5 策略深化思路 292 第15章 云服务器部署实战 15.1 云服务器的购买与配置 295 15.2 程序的云端部署 298 15.2.1 安装运行程序所需的软件 299 15.2.2 实现程序24小时不间断运行 299 第16章 机器学习之客户违约预测模型搭建 16.1 机器学习在金融领域的应用 300 16.2 决策树模型的基本原理 300 16.2.1 决策树模型简介 300 16.2.2 决策树模型的建树依据 301 16.3 案例实战:客户违约预测模型搭建 303 16.3.1 模型搭建 303 16.3.2 模型预测及评估 306 16.3.3 模型可视化呈现 311 |