Scrapy爬虫框架解析

Scrapy 爬虫框架解析

scrapy_architecture

工作流程

  • 根据需要爬取的开始链接,engine交给downloader下载网页。

  • downloader将下载的网页交给engine, engine交给spiders进行解析处理。提取数据及新的url。 并交给engine。

  • engine将数据交给ITEM PIPELINES 进行数据处理,讲url交给scheduler处理。

  • engine从scheduler提取url交给downloader处理。并重复以上过程,直到scheduler中没有待处理的url。


  • Engine:Scrapy爬虫框架的控制中心

    • 控制所有模块之间的数据流

    • 根据条件触发事件

    • 不需要用户修改

  • Downloader:Scrapy爬虫框架的下载中心,根据发送过来的url下载网页

    • 根据请求下载网页

    • 不需要用户修改

  • Scheduler:Scrapy爬虫框架的url管理中心,如调度url的爬取顺序等

    • 对所有爬取请求进行调度管理

    • 不需要用户修改

  • Downloader Middleware

    • 目的:实施Engine, Scheduler和Downloader之间进行用户可配置的控制

    • 功能:修改、丢弃、新增请求或响应

    • 用户可编写配置代码

  • Spider:最重要的模块,需要自己编写,解析请求网页返回的内容。

    • 解析Downloader返回的响应(response)

    • 产生爬取项(scraped item)

    • 产生额外的爬取请求(Request), 指新的url

    • 需要用户编写配置代码

  • Item Pipelines:对爬取的数据进行数据处理

    • 以流水线方式处理Spider产生的爬取项

    • 由一组操作顺序组成,每个操作是一个Item Pipeline类型

    • 可能操作包括:清理和检查爬取项中的HTML数据、将数据存储到数据库

    • 需要用户边写代码

  • Spider Middleware

    • 目的:对请求和爬取项的再处理

    • 功能:修改、丢弃、新增请求或爬取项

    • 用户可编写配置代码

  • Item: 定义用户需要爬取的数据形式

推荐阅读更多精彩内容