python爬虫的最佳实践(九)--Scrapy的items和pipeline

不想当将军的士兵不是好士兵,同理,不想当主程的程序员不是好程序员~

上一节我们讲了Scrapy的初步用法,我们已经学会了如何创建scrapy工程,如何编写简单的爬虫。

本节目标

  • 学会Scrapy item的创建及使用
  • 使用Scrapy将抓取到的数据存入json
  • 使用Scrapy Pipeline做数据处理
  • 学会暂停工程与重新开始工程

代码预览

  • items.py
class TutorialItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass

class xianyuItem(scrapy.Item):
    title = scrapy.Field()
    url = scrapy.Field()
    pass
  • pipelines.py
import pymongo

class TutorialPipeline(object):
    def open_spider(self, spider):
        self.client = pymongo.MongoClient('localhost', 27017)
        self.test = self.client['test']
        self.testData = self.test['testData']
        pass

    def process_item(self, item, spider):
        data = {
            'title': item['title'],
            'url': item['url']
        }
        self.testData.insert_one(data)
        return item

    def close_spider(self, spider):
        pass
  • spider.py
#coding:utf-8
import scrapy
from bs4 import BeautifulSoup
from ..items import xianyuItem

class testSpider(scrapy.Spider):
    name = 'test'
    start_urls = ['http://tj.ganji.com/fang1/']

    def parse(self, response):
        print 'lalala'
        for title in response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "js-title", " " ))]'):
            url = title.xpath('@href').extract()[0]
            if url.find('http')==-1:
                url = 'http://tj.ganji.com'+url
            yield scrapy.Request(url, self.detail)

    def detail(self, response):
        data = BeautifulSoup(response.body, 'lxml')
        title = data.select('div.content.clearfix > div.leftBox > div.col-cont.title-box > h1')
        item = xianyuItem()
        item['title'] = title[0].get_text()
        item['url'] = response.url
        return item
  • settings.py
ITEM_PIPELINES = {
   'tutorial.pipelines.TutorialPipeline': 300,
}

代码剖析

今天的代码由三部分主体构成,首先来看items.py

class xianyuItem(scrapy.Item):
    title = scrapy.Field()
    url = scrapy.Field()
    pass

其实很好理解力,定义一个我们自己的item结构,里面有两个field,一个是title用来存储抓来的标题,一个是url用来存储抓来的url,我们直接跳到使用部分。

看spider.py,首先:

from ..items import xianyuItem

这里需要注意的是,因为items.py和我们的spider.py并不在同级目录,如果要import需要在前面加上..表示上级目录,当然也可以这样

from tutorial.items import xianyuItem

但是这样会在pycharm里面报错,我个人不喜欢看到红字~推荐用上面的方式。我们来看detail函数:

def detail(self, response):
        data = BeautifulSoup(response.body, 'lxml')
        title = data.select('div.content.clearfix > div.leftBox > div.col-cont.title-box > h1')
        item = xianyuItem()
        item['title'] = title[0].get_text()
        item['url'] = response.url
        return item

我们先创建一个xianyuItem对象,然后给里面每个field赋值,最后return这个对象。这样,item就会被pipeline抓到。接下来我们用命令把抓来的数据导入到json文件中。进入tutorial项目跟目录,执行

scrapy crawl test -o test.json -t json

-o表示文件写入目录 -t 表示格式,执行完后打开test.json结果如图:


1.png

这样就可以把数据存入json中,接下来我们看看pipelines.py

def open_spider(self, spider):
def process_item(self, item, spider):
def close_spider(self, spider):

三个函数,第一个open_spider在spider开始的时候执行,在这个函数中我们一般会连接数据库,为数据存储做准备,上面代码中我连接了mongo数据库。process_item函数在捕捉到item的时候执行,一般我们会在这里做数据过滤并且把数据存入数据库。close_spider在spider结束的时候执行,一般用来断开数据库连接或者做数据收尾工作。

写好pipeline之后我们需要到settings.py中开启pipeline:

ITEM_PIPELINES = { 
  'tutorial.pipelines.TutorialPipeline': 300,
}

找到ITEM_PIPELINES 选项,把我们pipeline的路径配置进去,后面的数字表示的是pipeline的执行顺序,我们可以写多个pipeline用来过滤数据。执行结果如下:

I)VX)ETO86N08}8USYSG8VW.png

至此,我们本次代码解析完毕。你们应该已经会使用item和pipeline了吧。如果还有困惑可以去看官方文档~

小技巧

当我们一个爬虫项目量非常大时候,我们可能不能一次执行完毕,需要分好几次执行,这时候,我们只需要在启动爬虫的时候键入命令

scrapy crawl xxx -s JOBDIR=job1

这时候我们可以看到任务开始执行了,当我们想要暂停的时候按下ctrl+c。当我们想要恢复的时候键入:

scrapy crawl xxx -s JOBDIR=job1

这样就可以继续执行了~~
这样,我们今天所有的目标都达成了,鼓掌~~

写在最后

这一章我们学习了一些进阶技巧,那么下一章我们还是Scrapy,下一章我们会讲如何使用CrawlSpider做多网页扒取,同时也会讲一些小技巧,比如,如何动态更改User-Agent进行反扒,如何设置扒取间隔等等~

有兴趣的同学可以加群498945822一起交流学习哦~~
发现问题的同学欢迎指正,直接说就行,不用留面子,博主脸皮厚!

推荐阅读更多精彩内容