| 作者 |
| 唐松 |
| 丛书名 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9787111626879 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 使用Python编写网络爬虫程序获取互联网上的大数据是当前的热门专题。本书内容包括三部分:基础部分、进阶部分和项目实践。基础部分(第1~7章)主要介绍爬虫的三个步骤——获取网页、解析网页和存储数据,并通过诸多示例的讲解,让读者能够从基础内容开始系统性地学习爬虫技术,并在实践中提升Python爬虫水平。进阶部分(第8~13章)包括多线程的并发和并行爬虫、分布式爬虫、更换IP等,帮助读者进一步提升爬虫水平。项目实践部分(第14~17章)使用本书介绍的爬虫技术对几个真实的网站进行抓取,让读者能在读完本书后根据自己的需求写出爬虫程序。 |
| 目录 |
| 前言 第1章 网络爬虫入门 1 1.1 为什么要学网络爬虫 2 1.1.1 网络爬虫能带来什么好处 2 1.1.2 能从网络上爬取什么数据 3 1.1.3 应不应该学爬虫 3 1.2 网络爬虫是否合法 3 1.2.1 Robots协议 4 1.2.2 网络爬虫的约束 5 1.3 网络爬虫的基本议题 6 1.3.1 Python爬虫的流程 7 1.3.2 三个流程的技术实现 7 第2章 编写第一个网络爬虫 9 2.1 搭建Python平台 10 2.1.1 Python的安装 10 2.1.2 使用pip安装第三方库 12 2.1.3 使用编辑器Jupyter 编程 13 2.1.4 使用编辑器Pycharm编程 15 2.2 Python 使用入门 18 2.2.1 基本命令 18 2.2.2 数据类型 19 2.2.3 条件语句和循环语句 21 2.2.4 函数 23 2.2.5 面向对象编程 24 2.2.6 错误处理 28 2.3 编写第一个简单的爬虫 29 2.3.1 第一步:获取页面 29 2.3.2 第二步:提取需要的数据 30 2.3.3 第三步:存储数据 32 2.4 Python实践:基础巩固 33 2.4.1 Python基础试题 34 2.4.2 参考答案 35 2.4.3 自我实践题 38 第3章 静态网页抓取 39 3.1 安装Requests 40 3.2 获取响应内容 40 3.3 定制Requests 41 3.3.1 传递URL参数 41 3.3.2 定制请求头 42 3.3.3 发送POST请求 43 3.3.4 超时 44 3.4 Requests爬虫实践:TOP250电影数据 44 3.4.1 网站分析 45 3.4.2 项目实践 45 3.4.3 自我实践题 47 第4章 动态网页抓取 48 4.1 动态抓取的实例 49 4.2 解析真实地址抓取 50 4.3 通过Selenium模拟浏览器抓取 55 4.3.1 Selenium的安装与基本介绍 55 4.3.2 Selenium的实践案例 57 4.3.3 Selenium获取文章的所有评论 58 4.3.4 Selenium的高级操作 61 4.4 Selenium爬虫实践:深圳短租数据 64 4.4.1 网站分析 64 4.4.2 项目实践 66 4.4.3 自我实践题 69 第5章 解析网页 70 5.1 使用正则表达式解析网页 71 5.1.1 re.match方法 71 5.1.2 re.search方法 74 5.1.3 re.findall方法 74 5.2 使用BeautifulSoup解析网页 76 5.2.1 BeautifulSoup的安装 76 5.2.2 使用BeautifulSoup获取博客标题 77 5.2.3 BeautifulSoup的其他功能 78 5.3 使用lxml解析网页 82 5.3.1 lxml的安装 82 5.3.2 使用lxml获取博客标题 82 5.3.3 XPath的选取方法 84 5.4 总结 85 5.5 BeautifulSoup爬虫实践:房屋价格数据 86 5.5.1 网站分析 86 5.5.2 项目实践 87 5.5.3 自我实践题 89 第6章 数据存储 90 6.1 基本存储:存储至TXT或CSV 91 6.1.1 把数据存储至TXT 91 6.1.2 把数据存储至CSV 93 6.2 存储至MySQL数据库 94 6.2.1 下载安装MySQL 95 6.2.2 MySQL的基本操作 99 6.2.3 Python操作MySQL数据库 104 6.3 存储至MongoDB数据库 106 6.3.1 下载安装MongoDB 107 6.3.2 MongoDB的基本概念 110 6.3.3 Python操作MongoDB数据库 112 6.3.4 RoboMongo的安装与使用 113 6.4 总结 115 6.5 MongoDB爬虫实践:虎扑论坛 116 6.5.1 网站分析 116 6.5.2 项目实践 117 6.5.3 自我实践题 123 第7章 Scrapy框架 124 7.1 Scrapy是什么 125 7.1.1 Scrapy架构 125 7.1.2 Scrapy数据流(Data Flow) 126 7.1.3 选择Scrapy还是Requests+bs4 127 7.2 安装Scrapy 128 7.3 通过Scrapy抓取博客 128 7.3.1 创建一个Scrapy项目 128 7.3.2 获取博客网页并保存 129 7.3.3 提取博客标题和链接数据 131 7.3.4 存储博客标题和链接数据 133 7.3.5 获取文章内容 134 7.3.6 Scrapy的设置文件 136 7.4 Scrapy爬虫实践:财经新闻数据 137 7.4.1 网站分析 137 7.4.2 项目实践 138 7.4.3 自我实践题 141 第8章 提升爬虫的速度 142 8.1 并发和并行,同步和异步 143 8.1.1 并发和并行 143 8.1.2 同步和异步 143 8.2 多线程爬虫 144 8.2.1 简单的单线程爬虫 145 8.2.2 学习Python多线程 145 8.2.3 简单的多线程爬虫 148 8.2.4 使用Queue的多线程爬虫 150 8.3 多进程爬虫 153 8.3.1 使用multiprocessing的多进程爬虫 153 8.3.2 使用Pool + Queue的多进程爬虫 155 8.4 多协程爬虫 158 8.5 总结 160 第9章 反爬虫问题 163 9.1 为什么会被反爬虫 164 9.2 反爬虫的方式有哪些 164 9.2.1 不返回网页 165 9.2.2 返回非目标网页 165 9.2.3 获取数据变难 166 9.3 如何“反反爬虫” 167 9.3.1 修改请求头 167 9.3.2 修改爬虫的间隔时间 168 9.3.3 使用代理 171 9.3.4 更换IP地址 172 9.3.5 登录获取数据 172 9.4 总结 172 第10章 解决中文乱码 173 10.1 什么是字符编码 174 10.2 Python的字符编码 176 10.3 解决中文编码问题 179 10.3.1 问题1:获取网站的中文显示乱码 179 10.3.2 问题2:非法字符抛出异常 180 10.3.3 问题3:网页使用gzip压缩 181 10.3.4 问题4:读写文件的中文乱码 182 10.4 总结 184 第11章 登录与验证码处理 185 11.1 处理登录表单 186 11.1.1 处理登录表单 186 11.1.2 处理cookies,让网页记住你的登录 190 11.1.3 完整的登录代码 193 11.2 验证码的处理 194 11.2.1 如何使用验证码验证 195 11.2.2 人工方法处理验证码 197 11.2.3 OCR处理验证码 200 11.3 总结 203 第12章 服务器采集 204 12.1 为什么使用服务器采集 205 12.1.1 大规模爬虫的需要 205 12.1.2 防止IP地址被封杀 205 12.2 使用动态IP拨号服务器 206 12.2.1 购买拨号服务器 206 12.2.2 登录服务器 206 12.2.3 使用Python更换IP 208 12.2.4 结合爬虫和更换IP功能 209 12.3 使用Tor代理服务器 210 12.3.1 Tor的安装 211 12.3.2 Tor的使用 213 第13章 分布式爬虫 218 13.1 安装Redis 219 13.2 修改Redis配置 222 13.2.1 修改Redis密码 222 13.2.2 让Redis服务器被远程访问 222 13.2.3 使用Redis Desktop Manager管理 223 13.3 Redis分布式爬虫实践 223 13.3.1 安装Redis库 224 13.3.2 加入任务队列 224 13.3.3 读取任务队列并下载图片 225 13.3.4 分布式爬虫代码 226 13.4 总结 228 第14章 爬虫实践一:维基百科 229 14.1 项目描述 230 14.1.1 项目目标 230 14.1.2 项目描述 230 14.1.3 深度优先和广度优先 232 14.2 网站分析 233 14.3 项目实施:深度优先的递归爬虫 235 14.4 项目进阶:广度优先的多线程爬虫 237 14.5 总结 241 第15章 爬虫实践二:知乎Live 242 15.1 项目描述 243 15.2 网站分析 243 15.3 项目实施 245 15.3.1 获取所有Live 245 15.3.2 获取Live的听众 248 15.4 总结 251 第16章 爬虫实践三:百度地图API 252 16.1 项目描述 253 16.2 获取API秘钥 254 16.3 项目实施 255 16.3.1 获取所有拥有公园的城市 257 16.3.2 获取所有城市的公园数据 258 16.3.3 获取所有公园的详细信息 262 16.4 总结 266 第17章 爬虫实践四:畅销书籍 267 17.1 项目描述 268 17.2 网站分析 268 17.3 项目实施 270 17.3.1 获取亚马逊的图书销售榜列表 270 17.3.2 获取所有分类的销售榜 274 17.3.3 获取图书的评论 276 17.4 总结 279 |