前两讲分别讲了分布式爬虫的结构和masterSpider的实现：
简单分布式爬虫——第一弹：了解分布式爬虫结构
简单分布式爬虫——第二弹：masterSpider的实现
接下来完成分布式爬虫的最后一部分：节点爬虫的实现。
节点爬虫顾名思义就是负责爬取任务，具体来讲主要实现：
1、从网络上获取masterSpider放在task_queue队列中的任务（url）
2、爬取获取的url的内容，并解析出新的url和所要提取的数据内容
3、将解析好的数据以一定格式（字典）返还给masterSpider（放入result_queue队列）
接下来来完成各部分的功能实现：
根据模块化思想，我们将nodeSpider分为三部分：
MainSpider: 负责nodeSpider调度
HtmlDownloader: 下载网页
HtmlParser: 解析网页
## MainSpider.py
# -*- coding: utf-8 -*-
from multiprocessing.managers import BaseManager
from HtmlDownLoader import HtmlDownloader
from HtmlParser import HtmlParser
class SpiderWork(object):
'''
爬虫节点调度器:
初始化:
从主节点注册任务
初始化下载器和解析器
开始爬取:
'''
def __init__(self):
#初始化分布式进程中的工作节点的连接工作
# 实现第一步：使用BaseManager注册获取Queue的方法名称
BaseManager.register('get_task_queue')
BaseManager.register('get_result_queue')
# 实现第二步：连接到服务器:
server_addr = '127.0.0.1'
print('Connect to server %s...' % server_addr)
# 端口和验证口令注意保持与服务进程设置的完全一致:
self.m = BaseManager(address=(server_addr, 10001), authkey='python'.encode('utf-8'))
try:
self.m.connect()
# 实现第三步：获取Queue的对象:
self.task = self.m.get_task_queue()
self.result = self.m.get_result_queue()
#初始化网页下载器和解析器
self.downloader = HtmlDownloader()
self.parser = HtmlParser()
print('*********Init finished!*********')
except ConnectionRefusedError as e:
print('！！主节点未响应')
exit(-1)
def crawl(self, counter):
while True:
try:
if not self.task.empty():
url = self.task.get()
if url == 'end':
print('控制节点通知爬虫节点停止工作...')
#接着通知其它节点停止工作
self.result.put({'new_urls': 'end', 'data': 'end'})
return
print('%s节点正在解析:%s'%(counter,url.encode('utf-8')))
counter += 1
content = self.downloader.download(url)
new_urls, data = self.parser.parser(url, content)
self.result.put({"new_urls": new_urls, "data": data})
except EOFError as e:
print("连接工作节点失败")
return
except Exception as e:
print(e)
print('!!Crawled fail')
if __name__ == "__main__":
spider = SpiderWork()
spider.crawl()
## HtmlDownloader.py
# -*- coding: utf-8 -*-
import requests
class HtmlDownloader(object):
'''
HTML下载器：
一个接口：
网页下载接口: downloader(url)
'''
def download(self,url):
if url is None:
return None
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={'User-Agent': user_agent}
r = requests.get(url,headers=headers)
if r.status_code == 200:
r.encoding = 'utf-8'
return r.text
return None
## HtmlParser.py
# -*- utf-8 -*-
import re
from urllib.parse import urlparse, urljoin
from bs4 import BeautifulSoup
class HtmlParser(object):
'''
HTML内容解析器:
一个对外接口:
内容解析器: parser(url,content)
'''
def parser(self, url, content):
'''
用于解析网页内容抽取URL和数据
:param url: 下载页面的URL
:param content: 下载的网页内容
:return:返回URL和数据
'''
if url is None or content is None:
return
soup = BeautifulSoup(content, 'html.parser', from_encoding='utf-8')
new_urls = self._get_new_urls(url, soup)
new_data = self._get_new_data(url, soup)
return new_urls, new_data
def _get_new_urls(self,page_url,soup):
'''
抽取新的URL集合
:param page_url: 下载页面的URL
:param soup:soup
:return: 返回新的URL集合
'''
new_urls = set()
#抽取符合要求的a标签： 示例
links = soup.find_all('a',href=re.compile(r'/item/.*'))
for link in links:
#提取href属性
new_url = link['href']
#拼接成完整网址
new_full_url = urljoin(page_url,new_url)
new_urls.add(new_full_url)
return new_urls
def _get_new_data(self,page_url,soup):
'''
抽取有效数据: 示例
:param page_url:下载页面的URL
:param soup:
:return:返回有效数据
'''
data={}
data['url']=page_url
title = soup.find('dd',class_='lemmaWgt-lemmaTitle-title').find('h1')
data['title']=title.get_text()
summary = soup.find('div',class_='lemma-summary')
#获取到tag中包含的所有文版内容包括子孙tag中的内容,并将结果作为Unicode字符串返回
data['summary']=summary.get_text()
return data
nodeSpider的结构很清晰，根据自己需要修改Html解析类即可。
至此，我们完成了整个打造简单分布式爬虫的任务，这其中重在理清爬虫框架结构，更重要的是要自己在理解了框架的基础上动手实践。
下一讲：关于简单分布式爬虫的一点想法
参考资料：《Python爬虫开发与项目实战》
