Python爬虫框架Scrapy快速入门

一、Scrapy是什么?

先看官网上的说明,http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/overview.html

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Scrapy是一个非常好用的爬虫框架,它不仅提供了一些开箱即用的基础组件,还提供了强大的自定义功能。

框架学习的规律就是修改配置文件,填充代码就可以了。复杂之处就是一开始代码很多,不同的功能模块,scrapy也是这样的吗?

二、Scrapy安装

看了一个网上的文章,说windows下安装的比较多,Scrapy前置需要安装很多包,也有各种各样的问题,我是在mac下安装的,安装了两次都比较顺利。(python的版本是2.7.10 系统自带)

    pip install scrapy

提示six 需要升级,用命令升级失败,提示一个文件夹没有权限,修改文件夹权限后仍然不行,查看是一个临时文件。想卸载后six再安装也行。直接去下载six源码安装,就好了。再 pip install scrapy ,顺利!

pip 安装 scrapy

三、Scrapy创建项目

Scrapy 提供了一个命令来创建项目 scrapy 命令,在命令行上运行:

     scrapy startproject jianshu

我们创建一个项目jianshu用来爬取简书首页热门文章的所有信息。

jianshu/
    scrapy.cfg
    jianshu/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

spiders文件夹下就是你要实现爬虫功能(具体如何爬取数据的代码),爬虫的核心。在spiders文件夹下自己创建一个spider,用于爬取简书首页热门文章。
scrapy.cfg是项目的配置文件。
settings.py用于设置请求的参数,使用代理,爬取数据后文件保存等。

四、Scrapy爬取简书首页热门文章

1)新建jianshuSpider
class Jianshu(CrawlSpider):
    name='jianshu'   # 运行时这个爬虫的名字
    start_urls=['http://www.jianshu.com']
    url = 'http://www.jianshu.com'

    def parse(self, response):
        selector = Selector(response)
        #.... 
        # response就是返回的网页数据
        # 处理好的数据放在items中,在items.py设置好你要处理哪些数据字段,这里我们抓取文章标题,url,作者,阅读数,喜欢,打赏数
        ## 解析处理数据的地方,用xpath解析处理数据

要解析处理哪些数据,在items.py中定义好,相当于Java中的实体类:

from scrapy.item import Item,Field

class JianshuItem(Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = Field()
    author = Field()
    url = Field()
    readNum = Field()
    commentNum = Field()
    likeNum = Field()
2)xpath的数据解析:
articles = selector.xpath('//ul[@class="article-list thumbnails"]/li')

        for article in articles:
            title = article.xpath('div/h4/a/text()').extract()
            url = article.xpath('div/h4/a/@href').extract()
            author = article.xpath('div/p/a/text()').extract()

解析的数据保存:

            item['title'] = title
            item['url'] = 'http://www.jianshu.com/'+url[0]
            item['author'] = author

这时数据经解析处理好了,还有最重要一步,提交:

            yield item

OK! 万事俱备,数据保存在哪里,以什么格式?
在settings.py中加入两行代码:

FEED_URI=u'/Users/apple/Documents/jianshu-hot.csv'
FEED_FORMAT='CSV'

如何运行这个爬虫?命令行:

     scrapy crawl jianshu

是不是把简书首页上的文章信息都爬取到本地的csv文件里来了。

等等还有一个问题,首页热门还有更多文章,点击“点击查看更多”就可以加载。怎样才能一网打尽把所有信息都爬取下来呢?就是要递归调用parse()方法。

第一步,找到“点击查看更多”对应的url

        next_link = selector.xpath('//*[@id="list-container"]/div/button/@data-url').extract()[0]

第二步,递归调用,将新的url传给parse方法,直到最后一页为止。

        if next_link :
            next_link = self.url+ str(next_link)
            print next_link
            yield Request(next_link,callback=self.parse)  #递归调用并提交数据

大功告成,来看看成果。

首页热门文章

PS:
1、增加所有文章的缩略图下载。一行代码:

                urllib.urlretrieve(image[0], '/Users/apple/Documents/images/%s-%s.jpg' %(author[0],title[0]))

注意:1)此处取出来的作者、标题还是集合,需要加上索引。2)有些文章是没有缩略图的。

下载的热门文章图片

2、提供源码下载
https://github.com/ppy2790/jianshu.git

推荐阅读更多精彩内容