Scrapy中使用Redis可以实现分布式爬虫的抓取。
关于Redis的原理，目前还处于入门，展开不了太多。但是在爬虫中使用Redis可以加速网页的抓取。原因是：
Redis在内存中运行，它可以将抓取的网页内容存入到内存中。因此相对于从磁盘获取数据，Redis可以大大提高爬虫爬取效率。
总结一下Scrapy使用Redis的步骤
- Ubuntu14.04下安装Redis:
sudo apt-get install redis-server
- 接着需要安装scrapy-redis :
pip install scrapy-redis
- 运行Redis服务:
sudo redis-server
成功运行后应该会显示：
- 当不需要使用Redis时，关闭Redis服务的命令为:
sudo redis-cli shutdown
Scrapy-Redis的使用
这里只作最基本的使用。在Scrapy使用Scrapy-Redis，需要在setting.py添加以下几行代码。
#确保所有的爬虫通过Redis去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 启动从reids缓存读取队列,调度爬虫
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 调度状态持久化，不清理redis缓存，允许暂停/启动爬虫
SCHEDULER_PERSIST = True
# 请求调度使用优先队列（默认)
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
#指定用于连接redis的URL（可选）
REDIS_URL = None
#指定连接到redis时使用的端口和地址
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
关于更多的scrapy-redis参数介绍可以参考这篇博客:
另外一点需要注意的是在爬虫myspiders.py使用时不再是使用
from scrapy.spider import Spider
而是更改为
from scrapy_redis.spiders import RedisSpider
代码实例
依旧是我的上一篇博客的盗墓笔记的应用例子。只做了一点更进，就是爬取小说每一章节的内容。
settings.py代码如下：
# -*- coding: utf-8 -*-
BOT_NAME = 'daomubiji'
SPIDER_MODULES = ['daomubiji.spiders']
NEWSPIDER_MODULE = 'daomubiji.spiders'
ITEM_PIPELINES = {
'daomubiji.pipelines.DaomubijiPipeline': 300 # 数字代表这个管道的优先级，取0-1000之间的任意一个数即可
}
USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36'
COOKIES_ENABLED = True
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
SCHEDULER_PERSIST = True
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379
MONGODB_HOST = '127.0.0.1'
MONGODB_PORT = 27017
MONGODB_DBNAME = 'Mydaomubiji'
MONGODB_DOCNAME = 'daomubiji_v3'
spider.py代码如下:
#-*_coding:utf8-*-
from scrapy_redis.spiders import RedisSpider
from scrapy.selector import Selector
from scrapy.http import Request
from daomubiji.items import DaomubijiItem
class daomubijiSpider(RedisSpider):
name = "daomubijiSpider"
redis_key = 'daomubijiSpider:start_urls'
start_urls = ['http://www.daomubiji.com/']
def parse_content(self,response): # 爬取每一章节的内容
selector = Selector(response)
chapter_content = selector.xpath('//article[@class="article-content"]/p/text()').extract()
item = response.meta['item']
item['content'] = '\n'.join(chapter_content)
yield item
def parse_title(self,response): # 提取子网页信息
selector = Selector(response)
book_order_name = selector.xpath('//h1/text()').extract()[0]
pos = book_order_name.find(u'：')
book_order = book_order_name[:pos] # 获取书编号
book_name = book_order_name[pos + 1:] # 获取书名
chapter_list = selector.xpath('//article[@class="excerpt excerpt-c3"]//text()').extract()
chapter_link = selector.xpath('//article[@class="excerpt excerpt-c3"]/a/@href').extract()
chapter_link_flag = 0 # 链接序号
for each in chapter_list:
pos_first = each.find(' ')
pos_last = each.rfind(' ')
chapter_first = ''
chapter_mid = ''
chapter_last = ''
if pos_first != pos_last:
chapter_first = each[:pos_first]
chapter_mid = each[(pos_first + 1): pos_last]
chapter_last = each[pos_last + 1:]
else:
chapter_first = each[:pos_first]
chapter_last = each[pos_last + 1:]
# 存储信息
item = DaomubijiItem()
item['bookOrder'] = book_order
item['bookName'] = book_name
item['chapterFirst'] = chapter_first
item['chapterMid'] = chapter_mid
item['chapterLast'] = chapter_last
yield Request(chapter_link[chapter_link_flag], callback='parse_content', meta={'item':item})
chapter_link_flag += 1
def parse(self, response): # 程序从这个函数开始执行
selector = Selector(response)
book_filed = selector.xpath('//article/div') # 抓取书标题
book_link = selector.xpath('//article/p/a/@href').extract() # 抓取盗墓笔记每本书的链接
# '//article/p/a/@href'也可以写成('//article//@href')
link_flag = 0
for each in book_filed:
book_name_title = each.xpath('h2/text()').extract()[0]
pos = book_name_title.find(u'：')
if pos == -1: # 只抓取符合我们格式规定的书
continue
yield Request(book_link[link_flag], callback='parse_title') # 调用parse_title函数
link_flag += 1
对于这句代码:
yield Request(chapter_link[chapter_link_flag], callback='parse_content', meta={'item':item})
在Request使用meta参数可以传递item对象给parse_content函数。
关于运行卡顿的说明:
在使用Redis时，可能会遇到卡顿显现，程序在python的运行窗口不断输出如下内容:
2017-05-19 20:08:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-05-19 20:08:53 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-05-19 20:09:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-05-19 20:10:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-05-19 20:11:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-05-19 20:12:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-05-19 20:13:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
...
这时候需要在Terminal输入这两行命令：
redis-cli
lpush nvospider:start_urls http://www.daomubiji.com/
这是基于我的程序代码来书写的：
redis_key = 'daomubijiSpider:start_urls'
start_urls = ['http://www.daomubiji.com/']
个人理解:
因为爬虫需要从redis中爬取网页，而redis的初始队列为空。
爬虫需要等待redis输入初始网页才能进一步从redis队列中爬取网页内容。
然后程序就能正常爬取网页了:
就这么多。当爬虫爬完网页的时候，类似如下，程序会停留在这里，这个时候我们只要退出程序即可。
结果如下:
ps: 记得每一次运行程序时要记得清空redis缓存，不然爬虫不会进行
redis-cli flushdb
附上本次代码:
好好学习天天向上~
