Scrapy-4.Middleware

本文地址:https://www.jianshu.com/p/2f80c0fb818e

众所周知Scrapy有一个非常强大的优点,就是其结构非常模块化,想要自定义的扩展功能非常方便。而其模块化的思想很大一部分体现在其Middleware组件上。

Middleware其实是一个轻量级、较底层的钩子框架,用来全局的去处理相对应的内容。得益于其模块化的结构,编写和添加一个Middleware是非常轻松方便的。

Scrapy中主要有两种Middleware,一种是Downloader Middleware,一种是Spider Middleware


下载中间件(Downloader Middleware)

如简介中的流程图所示,Downloader Middleware处于Downloader和引擎之间,所以它可以处理进出Downloader的Request和Response。

启用下载中间件(Downloader Middleware)

首先,我们要启用一个Downloader Middleware,需要在settings中进行相应的设置,如下是一个简单例子:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

这个字典的键名是Downloader Middleware类的路径,值是其优先级。

DOWNLOADER_MIDDLEWARES设置将会与默认的DOWNLOADER_MIDDLEWARES_BASE混合,然后按照对应的优先级进行排序。优先级数值越小,越靠近引擎这边,数值越大,越靠近Downloader一端。

换句话说,Downloader Middleware中的process_request()方法,将按照优先级逐渐增大的顺序依次调用,而process_response()方法调用顺序正好相反。

DOWNLOADER_MIDDLEWARES_BASEScrapy中默认已经启用的一些默认的下载中间件:

{
    'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
    'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware': 300,
    'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
    'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
    'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560,
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
    'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
    'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
    'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
    'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}

如果你想要将自定义的Downloader Middleware插入到指定的位置,那么你需要将优先级设置为相对应的中间件优先级之间。

如果想要关闭DOWNLOADER_MIDDLEWARES_BASE中某些中间件,那么你可以在DOWNLOADER_MIDDLEWARES中将其值设置为None。如下所示:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}

自定义下载中间件(Downloader Middleware)

每个Middleware都是一个定义了以下一个或多个方法的Python类。

class scrapy.downloadermiddlewares.DownloaderMiddleware
  • process_request(request, spider)

    当request通过这个Downloader Middleware时,将会调用这个函数来处理request。

    参数:

    • request(Request对象) - 被处理的request。
    • spider(Spider对象) - 这个reuqest所对应的spider。

    这个方法应该返回以下四种结果之一:

    • None

      如果返回None,那么Scrapy会继续往下处理这个request,执行接下来的其他Middleware,最终下载这个request并获得response。

    • Response

      如果返回的是Response的话,那么Scrapy会中断对这个Request的后续处理,不再调用后续的process_request()process_exception()Scrapy会调用所有启用的Middleware中的process_response()来处理这个Response。

    • Request

      如果返回的是Request,那么Scrapy同样会中断这个Request的后续处理,然后把返回的Request重新进行调度。

    • IgnoreRequest

      如果在这个方法中抛出了一个IgnoreRequest异常,那么启用的Middleware中的process_exception()将会被调用。如果没有一个方法处理这个异常,那么Request自带的异常处理函数(Request.errback)会被调用。如果没有任何代码处理这个异常,那么这个Request将被忽略并且不会被记录。

  • process_response(request, response, spider)

    Downloader生成的Response在通过Downloader时,用来处理Response的方法。

    参数:

    • request(Request对象) - response所对应的request。
    • response(Response对象) - 要处理的response。
    • spider(Spider对象) - 这个response所对应的spider。

    这个方法应该返回以下三种结果之一:

    • Response

      如果返回的是Response,那么Scrapy将会继续调用下一个Middleware中的process_response()方法进行处理。

    • Request

      如果返回的是Request,那么Scrapy将会中断对Response的处理,并将返回的Request重新进行调度。与process_request()中返回Request的处理方式是一样的。

    • IgnoreRequest

      如果在方法中抛出了一个IgnoreRequest异常,那么Request自带的异常处理函数(Request.errback)会被调用。如果没有任何代码处理这个异常,那么这个Request将被忽略并且不会被记录。

  • process_exception(request, exception, spider)

    如果在Download或者process_request()过程中抛出一个异常,那么将会调用此方法来处理异常。

    参数:

    • request(Request对象) - 产生异常的request。
    • exception(Exception对象) - 抛出的异常。
    • spider(Spider对象) - request对应的Spider

    这个方法应该返回以下三种结果之一:

    • None

      如果返回的是None,Scrapy将会继续调用启用的Middleware中的process_exception()来处理异常。当所有剩下的process_exception()都调用完毕后,会使用默认的异常处理。

    • Response

      如果返回的是一个Response对象,那么Scrapy将会中断异常的处理,重新调用所有启用的Middleware中的process_response()来处理返回的这个Response

    • Request

      如果返回的是一个Request对象,那么Scrapy将会中断异常的处理,重新调用所有启用的Middleware中的process_request()来处理返回的这个Request


爬虫中间件(Spider Middleware)

爬虫中间件与下载中间件的作用都是对经过的数据进行处理,只不过爬虫中间件的位置处于Spider与引擎之间,主要处理Spider的输入和输出。相对于下载中间件来说,爬虫中间件使用的较少。

爬虫中间件(Spider Middleware)与下载中间件(Downloader Middleware)最主要的区别是,下载中间件处理的是进出Downloader的Request和Response,爬虫中间件处理的,主要是从Downloader返回的Response和Spider生成的Request和Item。

可以看到,在处理Response这里,下载中间件和爬虫中间件是有一定的功能重叠的。但是在处理Request的时候,两者之间其实还间隔着一个调度器(Scheduler),所以这里处理的Request还有着未经调度器处理,和已经经过调度器处理的区别。并且,爬虫中间件还能处理Spider生成的Item。

爬虫中间件同样有一部分已经默认启用的基础中间件SPIDER_MIDDLEWARES_BASE

{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}

启用爬虫中间件的方式也和下载中间件基本一致。

SPIDER_MIDDLEWARES = {
    'myproject.middlewares.CustomSpiderMiddleware': 543,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
}

自定义爬虫中间件(Spider Middleware)

每个爬虫中间件都是一个类:

class scrapy.spidermiddlewares.SpiderMiddleware

其中定义了以下一个或多个方法:

  • process_spider_input(response, spider)

    这个方法将会在Response传入Spider之前调用,来处理这个Response。

    参数:

    • response(Response对象) - 处理的response。
    • spider(Spider对象) - response对应的spider。

    process_spider_input()需要返回一个None或者抛出一个异常。

    • None

      如果返回的是None的话,Scrapy将会调用接下来的Middleware继续处理Response。

    • 抛出异常

      如果这个方法抛出的是一个异常的话,Scrapy将会停止处理这个Response。并调用Request对应的异常处理函数。

  • process_spider_output(response, result, spider)

    这个方法会在Spider返回结果时调用,用来处理Spider返回的Request,dict或者Item。

    参数:

    • response(Response对象) - Spider用来生成返回结果的Response。
    • result(Request, dict或者Item对象) - Spider生成的返回结果。
    • spider(Spider对象) - 处理结果的Spider
  • process_spider_exception(response, exception, spider)

    Spider或者process_spider_input()中抛出异常时,将会调用此方法来处理异常。

    参数:

    • response(Response对象) - 异常抛出时被处理的Response。
    • exception(Exception对象) - 抛出的异常。
    • spider(Spider对象) - 抛出异常的Spider

    这个方法返回的结果有两种选择:

    • None

      如果返回的是None,那么Scrapy将会继续调用接下来的Midleware中的process_spider_exception()方法来处理异常。

    • 包含Request,dict或者Item的可迭代对象

      如果返回的是一个包含Request,dict或者Item的可迭代对象,那么异常处理将会被中断。转而开始调用process_spider_output()方法。

  • process_start_requests(start_requests, spider)

    Spider访问的是最初始的start_requests时,将会调用这个方法来进行处理Spider的输出,这个方法的使用与process_spider_output()大致相同,区别只是处理的目标不同。

    而且这个方法只能返回一个包含Request的可迭代对象。


系列文章:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,716评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,558评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,431评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,127评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,511评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,692评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,915评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,664评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,412评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,616评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,105评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,424评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,098评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,096评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,869评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,748评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,641评论 2 271