Scrapy抓取在不同级别Request之间传递参数

先来看一下需求,以抓取简书用户信息为例:

  • 用户主页左侧显示的信息:(用户主要信息)
    • 用户昵称(nickname)
  • 关注数(subs)
  • 粉丝(fans)
  • 文章(articles)
  • 字数(words)

以上数据从用户首页可以获取(/latest_articles),其他页面(/timeline, /followers...)都有这些数据。

用户主页可以得到的数据
  • 我们还关注的信息:(反映用户活跃度的其他数据)
  • 用户文章总阅读量(read_nums)
  • 用户获得打赏数量(rewards)
  • 用户获得评论数量(comments)
  • 用户发表的评论数量(pub_comments)
  • 用户注册时间(regtime)

以上数据在包含在两个(类)页面中:
1)阅读量、打赏量、评论数量3个数据在latest_articles页面上,需要汇总得到,每页中每条(每篇文章)汇总,然后分页汇总所有文章的这3个数据。

2)用户发表的其他评论和注册时间,在timeline页面上,其中用户发表的评论需要在timeline页面上每页汇总,注册时间在timeline最后一页。

timeline页面上要抓取的数据

一个用户完整的信息要在多个Request中获取,需要在请求之间传递参数。

直到该用户所有页面数据汇总完成,提交item。

Scrapy采用的是回调(callback)的方式,把请求处理交给下一次请求,在请求时用meta传递参数。Request(url=item_details_url, meta={'item': item},callback=self.parse_details),可传递简单类型参数或对象类型参数。

    def parse(self, response):
        # collect `item_urls`
        for item_url in item_urls:
            yield Request(url=item_url, callback=self.parse_item)

    def parse_item(self, response):
        item = MyItem()
        # populate `item` fields  收集处理一部分数据
        yield Request(url=item_details_url, meta={'item': item},
            callback=self.parse_details)

    def parse_details(self, response):
        item = response.meta['item']
        # populate more `item` fields  再收集处理另外的数据
        return item

这样完成一个用户所有数据收集,注意以上示例代码没有包含分页递归调用。


PS:

  1. 传递多个参数:
yield Request(url, meta={'item': item, 'rdt': rdt, 'comments':cmt,'rewards':rewards,'total': total, 'curpage': cur}, callback=self.parse)

取出多个参数。如果不同url过来的加上判断。(如针对分页)

           item = response.meta['item']
           rdt = response.meta['rdt']
           total = response.meta['total']
           cur = int(response.meta['curpage'])
           cmt = int(response.meta['comments'])
           rewards= int(response.meta['rewards'])

推荐阅读更多精彩内容