Python大数据与机器学习实战

作者
谢彦
丛书名
出版社
电子工业出版社
ISBN
9787121384257
简要
简介
内容简介书籍计算机书籍 本书结合作者十余年软件开发、系统架构、算法实战及培训经验,致力于系统地阐释Python大数据和机器学习技术。从数据的采集、存储、清洗;到建立模型、统计分析;*终用前端程序呈现给用户的数据展示;以及后台的系统服务支持。结合了Python数据工具使用、算法原理、以及典型实例各个层面,希望读者通过对本书的阅读,少走弯路,以*小的学习成本得到*的知识收益。
目录




第1章 Python大数据开发入门\t1

1.1 大数据工程师必备技能\t1

1.2 Python开发环境\t5

1.2.1 Windows环境\t5

1.2.2 Linux环境\t7

1.2.3 Docker环境\t10

1.3 Python开发工具\t16

1.3.1 Python命令行环境\t16

1.3.2 Jupyter环境\t18

1.4 Python数据类型\t23

1.4.1 数值\t24

1.4.2 字符串\t24

1.4.3 列表\t25

1.4.4 元组\t26

1.4.5 集合\t26

1.4.6 字典\t27

1.5 Python函数和类\t27

1.5.1 定义和使用函数\t28

1.5.2 lambda匿名函数\t28

1.5.3 类和继承\t28

1.6 Python常用库\t29

1.6.1 Python内置库\t29

1.6.2 Python图形图像处理\t30

1.6.3 Python自然语言处理\t31

1.6.4 Python数据分析和

处理\t32

1.6.5 Python机器学习\t33

1.7 Python技巧\t34

1.7.1 Python程序调试\t34

1.7.2 去掉警告信息\t35

1.7.3 制作和导入模块\t36

1.7.4 异常处理\t37

1.8 Python常见问题\t38

第2章 科学计算Numpy\t40

2.1 多维数组\t40

2.1.1 创建数组\t40

2.1.2 访问数组\t42

2.1.3 修改数组\t43

2.2 数组元素运算\t44

2.2.1 一元函数\t44

2.2.2 二元函数\t45

2.2.3 广播\t46

2.2.4 自定义ufunc函数\t47



2.3 常用函数\t48

2.3.1 分段函数\t48

2.3.2 统计函数\t49

2.3.3 组合与分割\t51

2.3.4 矩阵与二维数组\t52

2.3.5 其他常用函数\t54

第3章 数据操作Pandas\t55

3.1 数据对象\t55

3.1.1 Series对象\t55

3.1.2 DataFrame对象\t57

3.1.3 Index对象\t60

3.2 数据存取\t63

3.2.1 访问数据表元素\t63

3.2.2 修改数据表元素\t66

3.3 分组运算\t68

3.3.1 分组\t69

3.3.2 聚合\t70

3.3.3 转换\t71

3.3.4 过滤\t72

3.3.5 应用\t72

3.4 日期时间处理\t73

3.4.1 Python日期时间处理\t73

3.4.2 Pandas日期时间处理\t75

3.4.3 时间序列操作\t76

3.4.4 数据重排\t84

第4章 数据可视化\t86

4.1 Matplotlib绘图库\t87

4.1.1 准备工作\t87

4.1.2 散点图与气泡图\t88

4.1.3 线图\t90



4.1.4 柱图\t92

4.1.5 饼图\t95

4.1.6 箱线图和小提琴图\t96

4.1.7 三维图\t97

4.1.8 Matplotlib绘图区域\t100

4.1.9 文字显示问题\t103

4.1.10 导出图表\t104

4.1.11 Matplotlib技巧\t105

4.2 Seaborn高级数据可视化\t107

4.2.1 准备工作\t107

4.2.2 连续变量相关图\t108

4.2.3 分类变量图\t109

4.2.4 回归图\t113

4.2.5 多图组合\t115

4.2.6 热力图\t118

4.2.7 印刷品作图\t119

4.3 PyEcharts交互图\t119

4.3.1 ECharts\t119

4.3.2 准备工作\t120

4.3.3 绘制交互图\t120

4.3.4 在网页中显示图\t123

第5章 获取数据\t125

5.1 读写文件\t126

5.1.1 读写文本文件\t126

5.1.2 写日志文件\t127

5.1.3 读写XML文件\t128

5.1.4 读写Json文件\t130

5.1.5 读写CSV文件\t131

5.1.6 读写PKL文件\t132

5.1.7 读写HDF5文件\t133

5.1.8 读写Excel文件\t134



5.2 读写数据库\t135

5.2.1 数据库基本操作\t136

5.2.2 Python存取MySQL

数据库\t138

5.2.3 Python存取SQL Server

数据库\t140

5.2.4 Python存取Sqlite

数据库\t143

5.2.5 Python存取Dbase

数据库\t143

5.3 读写数据仓库\t144

5.3.1 读取ElasticSearch

数据\t144

5.3.2 读取S3云存储数据\t146

5.3.3 读取Hive数据\t148

5.4 获取网络数据\t151

5.4.1 从网络接口读取

数据\t151

5.4.2 抓取网站数据\t152

5.4.3 使用POST方法抓取

数据\t153

5.4.4 转换HTML文件\t153

5.5 选择数据存储方式\t154

第6章 数据预处理\t155

6.1 数据类型识别与转换\t155

6.1.1 基本类型转换\t156

6.1.2 数据类型识别\t157

6.2 数据清洗\t158

6.2.1 缺失值处理\t158

6.2.2 异常值处理\t160

6.2.3 去重处理\t162

6.3 数据归约\t163

6.3.1 经验筛选特征\t163

6.3.2 统计学方法筛选

特征\t163

6.3.3 模型筛选特征\t164

6.3.4 数学方法降维\t165

6.4 数据抽样\t166

6.4.1 简单随机抽样\t167

6.4.2 系统抽样\t168

6.4.3 分层抽样\t168

6.4.4 整群抽样\t168

6.5 数据组合\t169

6.5.1 merge函数\t169

6.5.2 concat函数\t170

6.6 特征提取\t171

6.6.1 数值型特征\t171

6.6.2 分类型特征\t171

6.6.3 字符型特征\t172

第7章 数据分析\t175

7.1 入门实例\t175

7.2 假设检验\t177

7.2.1 基本概念\t177

7.2.2 假设检验的步骤\t178

7.2.3 统计分析工具\t178

7.3 参数检验与非参数检验\t179

7.3.1 正态性检验\t179

7.3.2 方差齐性检验\t181

7.3.3 分析检验结果\t182

7.4 T检验\t182

7.4.1 单样本T检验\t182

7.4.2 独立样本T检验\t183



7.4.3 配对样本T检验\t183

7.5 方差分析\t184

7.6 秩和检验\t185

7.7 卡方检验\t186

7.8 相关性分析\t187

7.8.1 图形描述相关性\t188

7.8.2 正态资料的相关

分析\t189

7.8.3 非正态资料的相关

分析\t190

7.9 变量分析\t190

7.9.1 单变量分析\t190

7.9.2 多变量分析\t191

7.10 TableOne工具\t193

7.11 统计方法总结\t194

第8章 机器学习基础知识\t196

8.1 基本概念\t196

8.1.1 深度学习、机器学习、

人工智能\t197

8.1.2 有监督学习、无监督

学习、半监督学习\t197

8.1.3 训练集、验证集、

测试集\t198

8.1.4 过拟合与欠拟合\t198

8.1.5 常用术语\t199

8.2 评价模型\t199

8.2.1 方差、协方差、协

方差矩阵\t200

8.2.2 距离与范数\t204

8.2.3 回归效果评估\t207

8.2.4 分类效果评估\t210

第9章 机器学习模型与工具\t216

9.1 基于距离的算法\t217

9.1.1 K近邻算法\t217

9.1.2 聚类算法\t219

9.2 线性回归与逻辑回归\t221

9.2.1 线性回归\t222

9.2.2 逻辑回归\t225

9.3 支持向量机\t226

9.4 信息熵和决策树\t230

9.4.1 信息量和熵\t231

9.4.2 决策树\t234

9.5 关联规则\t236

9.5.1 Apriori关联规则\t237

9.5.2 FP-Growth关联

分析\t240

9.6 贝叶斯模型\t242

9.6.1 贝叶斯公式\t242

9.6.2 朴素贝叶斯算法\t244

9.6.3 贝叶斯网络\t248

9.7 隐马尔可夫模型\t250

9.8 集成算法\t254

第10章 模型选择与相关技术\t259

10.1 数据准备与模型选择\t259

10.1.1 预处理\t259

10.1.2 选择模型\t260

10.2 自动机器学习框架\t263

10.2.1 框架原理\t263

10.2.2 Auto-Sklearn\t264

10.2.3 Auto-ML\t266

10.2.4 Auto-Keras\t267



10.3 自然语言处理\t269

10.3.1 分词工具\t269

10.3.2 TF-IDF\t271

10.4 建模相关技术\t274

10.4.1 切分数据集与交叉

验证\t274

10.4.2 模型调参\t276

10.4.3 学习曲线和验证

曲线\t279

10.4.4 保存模型\t282

第11章 大数据竞赛平台\t283

11.1 定义问题\t283

11.1.1 强人工智能与弱

人工智能\t284

11.1.2 Datathon竞赛\t285

11.2 算法竞赛\t286

11.2.1 大数据竞赛平台

优势\t287

11.2.2 Kaggle大数据

平台\t288

11.2.3 实战泰坦尼克号

幸存问题\t288

11.2.4 国内大数据平台\t294

11.2.5 赛题选择\t294

11.2.6 比赛注意事项\t295

第12章 决策问题:幸福感挖掘\t296

12.1 赛题解读\t296

12.2 模型初探\t297

12.3 模型调优\t299

12.3.1 模型粗调\t299

12.3.2 模型精调\t300

12.4 模型输出\t305

12.4.1 显示决策树\t305

12.4.2 特征重要性\t306

12.5 XGBoost模型\t307

12.5.1 XGBoost参数分析\t307

12.5.2 XGBoost原理解析\t308

12.5.3 XGBoost源码分析\t312

第13章 迁移学习:猫狗图片分类\t317

13.1 深度学习神经网络\t317

13.1.1 深度学习\t318

13.1.2 卷积神经网络\t319

13.1.3 卷积神经网络

发展史\t321

13.2 使用现有的神经网络模型\t321

13.3 迁移学习\t322

13.4 解决猫狗分类问题\t323

13.4.1 数据及代码结构\t323

13.4.2 提取特征\t324

13.4.3 训练模型和预测\t325

13.4.4 训练结果分析\t326

13.4.5 代码下载\t327

第14章 图像分割:识别图中物体\t328

14.1 Mask R-CNN算法\t329

14.1.1 R-CNN\t329

14.1.2 SPP Net\t330

14.1.3 Fast R-CNN\t330

14.1.4 Faster R-CNN\t331

14.1.5 Mask R-CNN\t332

14.2 Mask R-CNN源码解析\t332

14.2.1 安装工具\t332

14.2.2 源码结构\t333

14.3 训练模型与预测\t334

14.3.1 制作训练数据\t335

14.3.2 训练模型和预测\t338

14.3.3 建模相关问题\t344

第15章 时间序列分析\t346

15.1 时序问题处理流程\t346

15.1.1 分析问题\t346

15.1.2 解决思路\t347

15.2 趋势分析工具ARIMA\t349

15.2.1 相关概念\t349

15.2.2 模型示例\t353

15.3 傅里叶和小波变换\t357

15.3.1 傅里叶变换\t358

15.3.2 小波变换\t360

15.4 Prophet时序模型\t361

15.4.1 模型介绍\t362

15.4.2 获取数据\t362

15.4.3 模型示例\t363

第16章 自然语言处理:微博互动

预测\t367

16.1 赛题分析\t367

16.1.1 数据分析\t368

16.1.2 1



有问题微信扫码联系

推荐

Understand China
桂ICP备20004708号-4