本文是在慕课网学习Python简单爬虫后做以总结。 视频地址
一、简单爬虫架构
运行流程
1、调度器询问URL管理器，是否有待爬URL？URL管理器返回是/否；
2、如果是，调度器会从URL管理器中取出一个待爬URL；
3、调度器将URL传给下载器，下载网页内容后返回给调度器；
4、调度器再将返回的网页内容发送到解析器，解析URL内容，解析完成后返回有价值的数据和新的URL；
5、一方面，调度器将数据传递给应用进行数据的收集；另一方面，会将新的URL补充进URL管理器，若有URL管理器中含有新的URL，则重复上述步骤，直到爬取完所有的URL
6、最后，调度器会调动应用的方法，将价值数据输出到需要的格式。
二、URL管理器和实现方法
管理带抓取URL集合和已抓取URL集合
防止重复抓取、防止循环抓取
支持的功能
- 添加新URL到待爬取集合中
- 判断待添加的URL是否在容器中
- 判断是否还有带待爬取URL
- 获取待爬取URL
- 将URL从待爬取移动到已爬取
实现方式
- 将待爬取的URL和已爬取的URL存放在内容中。
- 将URL存放在关系型数据中
- 将URL存储在缓存数据库中
三、网页下载器和urllib2模块
将互联网上URL对应的网页下载到本地的工具
网页下载器类似于浏览器，会将互联网对应的网页以HTML的形式下载到本地，存储成本地文件或内存字符串，然后进行后续的分析。
Python的网页下载器
- urllib2 (Python3以后将urllib2替换为urllib.request)
- requests
urllib2
- 方法1：给定url，使用urllib2模块的urlopen方法。
import urllib2
# 直接请求
response = urllib2.urlopen('http://www.baidu.com')
# 获取状态码，如果是200表示获取成功
print response。getcode()
# 读取内容
cont = response.read()
-
方法2：添加data，http header
向服务器提交http的头信息，形成一个data，可以向服务器提交需要用户输入的数据。
添加头信息
import urllib2
# 创建Request对象
request = urllib2.Request(url)
# 添加数据
request.add_data('a', '1')
# 添加http的header，将爬虫伪装成一个Mozilla浏览器
request.add_header('User-Agent', 'Mozilla/5.0')
# 发送请求获取结果
response = urllib2.urlopen(request)
-
方法3：添加特殊情景的处理器
不同情景.png
比如需要登录才能访问的网页，要添加cookie的处理。使用HTTPCookieProcessor；
需要代理才能访问的网页使用ProxyHandler；
需要HTTPS加密访问的网站使用HTTPSHandler；
有些URL存在相互自动跳转的关系使用HTTPRedirectHandler进行处理。
将这些Handler传送给urllib2的build_opener方法创建一个opener对象，再传给urllib2的install_opener方法，urllib2这个模块就具备了进行特殊情景处理的能力。
import urllib2， cookielib
# 创建cookie容器
cj = cookielib.CookieJar()
# 创建1个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
# 给urllib2安装opener
urllib2.install_opener(opener)
# 使用带有cookie的urllib2访问网页
response = urllib2.urlopen('http://www.baidu.com/')
四、网页解析器和BeautifulSoup
从网页中提取有价值数据的工具
网页解析器从HTML网页字符串中提取出价值数据和新URL对象。
Python网页解析器
- 正则表达式
- html.parser
- Beautiful Soup
-
lxml
后面三种是以结构化解析的方式进行解析DOM(Document Object Model)树
DOM树
Beautiful Soup
- Python第三方库，用于从HTML或XML中提取数据
- 官网：https://www.crummy.com/software/BeautifulSoup/
- 中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
安装测试
安装：pip install beautifulsoup4
测试：import bs4
语法
from bs4 import BeautifulSoup
# 根据HTML网页字符串创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')
# 搜索节点 查找所有标签为a的节点
soup.find_all('a')
# 查找所有标签为a，连接符合/view/123.html形式的节点
soup.find_all('a', href='/view/123.html')
soup.find_all('a', href=re.compile(r'/view/\d+\.html'))
# 查找所有标签为div，class为abc，文字为Python的节点
soup.find_all('div', class_='abc', string='Python')
访问节点信息
# 得到节点:<a href='1.html'>Python</a>
# 获取查找到的节点的标签名称
node.name
# 获取查找到的a节点的href属性
node['href']
# 获取查找到的a节点的链接文字
node.get_text()
五、实战练习
开发爬虫的步骤
