分布式

分布式

pip3 install scrapy-redis

修改设置文件
(1)#设置去重组件,使用的是scrapy_redis的去重组件,而不再使用scrapy框架

自己的去重组件了

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
(2)#设置调度器,使用的是scrapy_redis重写的调度器,而不再使用scrapy框架

自带的调度器了

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
(3)#可以实现断点爬取(请求的记录不会丢失,会存储在redis数据库中,

不会清除redis的任务队列)

SCHEDULER_PERSIST = True

(4)#设置任务队列的模式(三选一)

SpiderPriorityQueue是scrapy_redis默认使用的队列模式

(有自己的优先级)

SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"

使用了队列的形式,任务先进先出

SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"

采用了栈的形式,任务先进后出

SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"

(5)

实现这个管道,可以将爬虫端获取的item数据,统一保存

在redis数据库中

'scrapy_redis.pipelines.RedisPipeline': 400,

(6)

指定要存储的redis数据库的主机ip

REDIS_HOST = '127.0.0.1'

指定redis数据库主机的端口

REDIS_PORT = 6379

"xcfCrawlSpider:requests":存储的是请求的request对象
"xcfCrawlSpider:items":存储的爬虫端获取的items数据
"xcfCrawlSpider:dupefilter":存储的指纹(为了实现去重)
127.0.0.1:6379> type xcfCrawlSpider:requests
zset
127.0.0.1:6379> type xcfCrawlSpider:items
list
127.0.0.1:6379> type xcfCrawlSpider:dupefilter
set

第一中情况:只设置settings.py文件,并没有实现分布式,知识使用了sctapy_redis的数据存储和去重功能

第二中情况:实现通用爬虫的分布式爬虫
from scrapy_redis.spiders import RedisCrawlSpider

#继承制:RedisCrawlSpider
class MyCrawler(RedisCrawlSpider):
    """Spider that reads urls from redis queue (myspider:start_urls)."""
    name = 'mycrawler_redis'
    allowed_domains = ['dmoz.org']
    #缺少了start_url,多了redis_key:根据redis_key从redis
    #数据库中获取任务
    redis_key = 'mycrawler:start_urls'


启动爬虫:scrapy crawl 爬虫名称

现象:爬虫处于等待状态

需要设置起始任务:
lpush mycrawler:start_urls 目标url

第三中情况:实现scrpy.spider爬虫的分布式爬虫

from scrapy_redis.spiders import RedisSpider

#继承制:RedisSpider
class MyCrawler(RedisSpider):
    """Spider that reads urls from redis queue (myspider:start_urls)."""
    name = 'mycrawler_redis'
    allowed_domains = ['dmoz.org']
    #缺少了start_url,多了redis_key:根据redis_key从redis
    #数据库中获取任务
    redis_key = 'mycrawler:start_urls'


启动爬虫:scrapy crawl 爬虫名称

现象:爬虫处于等待状态

需要设置起始任务:
lpush mycrawler:start_urls 目标url

dmoz.py

推荐阅读更多精彩内容