关于分布式爬虫思考

这一篇,没有项目,没有教程。只不过是想记录下最近对于分布式爬虫的思考。半年前我去一家公司面试的时候,面试官问我什么是分布式爬虫,我只能回呵呵哒。在后来工作中渐渐地对这东西有了初步认识。爬虫无非两样东西

  • 网站的破解
  • 爬取的效率
    由于我很懒,爬虫就随便写写怼上服务器上跑就行了,从来不考虑效率的问题,所以用到分布式的情况很少。不过也有用到的时候,之前爬个youtube,除了爬取视频信息又要下载视频又要上传视频,还要下载缩略图上传缩略图。如果只用一个爬虫去做的话,其实也没什么,就是会失业而已。然后我就开始尝试去做分布式。我从网上看到的大部分分布式教程,都是用redis来储存任务队列,然后开启几个slave爬虫来提高爬取速度。不过我当时懒,懒得学redis,就直接用mongodb来存取任务队列。
    微信截图_20170815103745.png

    master爬虫在网站的列表页中爬取任务url去重后写入mongo,然后开启各个slave爬虫从mongo中领取任务,完成任务的就打上标签。这是我的做法,用mongo的读取速度应该比不上用储存在内存的redis。但由于我的slave爬虫不仅要完成爬取任务还要进行下载上传多种操作,mongo比redis更适合。
    不过看到网上把redis传得神乎其神,我自然也得去了解,不经意间就看到了scrapy-redis这个包 https://scrapy-redis.readthedocs.io/en/stable/ 可是它的文档内容很少,可以了解的内容不多,只能通过阅读源码去了解。我一开始心想,为什么要有这个包?因为我可以自己在我的scrapy项目里用redis来写分布式爬虫啊。无非就是一个爬虫爬任务url,其他的爬虫领任务来爬字段。然后把scrapy-redis的示例跑起来我发现了不一样的东西。使用这个包的爬虫如果没有获得任务队列,是可以挂起的,直到从redis中重新获得任务队列才会再跑起来。如果是我自己写的话,那我做不到让爬虫挂起等待任务队列。
    无意中我也看到了个celery的分布式爬虫。celery这个我之前用过,是完成异步任务的。之前在项目中是用在发邮件这个部分。我看到网上的一篇文章的分布式爬虫,只看源码我总觉得差了点什么。
1937608650-1.png
代码来源:http://p0sec.net/index.php/archives/58/
# !/usr/bin/python
# -*- coding: utf-8 -*-
from spider import getPageUrl
from spider import getUrl
from spider import getImg
import requests
import threading
x = 0
#run函数
def Run():
    pageurls = getPageUrl.delay().get()#这个是celerytask
    for i in range(1,len(pageurls)):
        html = requests.get(pageurls[i]).text
        urllist = getUrl.delay(html).get()#这个也是celerytask
        for url in urllist:
            url = 'http://umei.cc'+url
            print url
            ImgHtml = requests.get(url).text
            imglist = getImg.delay(ImgHtml).get()#这个也是celerytask
            for imgurl in imglist: 
                print imgurl
                urllib.urlretrieve(imgurl,'/test/%s.jpg' % x)  
                global x
                x += 1
if __name__ == '__main__':
    Run()

我在上面标注的三个celery task。一般的操作都是 task.delay(),直接异步完成任务,不返回结果。可是这个爬虫有个返回结果的操作get()。这我就看不懂了,这等待结果返回才开始下一步,不成了堵塞么?
继续拿我的Youtube爬虫来探讨,按我的理解,celery的任务都是异步完成的。也就是说,我的视频爬取,下载上传全部异步完成。我只要写个爬虫爬取任务队列,然后建立写异步task(下载视频,上传视频,下载图片,上传图片),画个图吧

图片.png

通过task.delay()这个操作让任务自己在后台执行并完成,完美!原来celery分布式爬虫是这样使用!
现在思路清晰了,也知道怎么做了。但素!我不想写代码去验证思路和效率!

因为我懒

推荐阅读更多精彩内容

  • Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化...
    Evtion阅读 3,923评论 16 18
  • 前言 本系列文章计划分三个章节进行讲述,分别是理论篇、基础篇和实战篇。理论篇主要为构建分布式爬虫而储备的理论知识,...
    resolvewang阅读 11,705评论 9 54
  • 引言 在上篇使用Scrapy爬取知乎用户信息我们编写了一个单机的爬虫,这篇记录了使用Scrapy-Redis将其重...
    朱晓飞阅读 4,080评论 1 24
  • 十多年没写文章了,记得第一次写文章的时候在中专,那个时候没办法每天班上要交几份文章参加通讯部评选,好笑也很幸运...
    倪梁倪阅读 49评论 0 0
  • 题目一:计算两个班的人数 题目二:取余运算 题目三:求差值 题目四:输入操作
    大yu鱼阅读 30评论 0 0