Scrapy——入门基础

没有金刚钻别揽瓷器活，当我们在深度爬取时和海量数据采集时，就需要一把利器帮助我们来完成，这时的scrapy就闪亮登场了！！！

开始接触一个新的东西我们一般会从who? what?where?how?来解析它——废话有点多啊，还是开始吧！

一：scrapy概述

用python开发的主要进行数据采集的一个应用程序框架，底层使用了twisted异步模块，实现了快速，高层次采集数据

二：安装

windows环境下安装（需要两步完成）
首先安装scrapy
pip install scrapy
easy_install scrapy
然后安装win32
pip install pypiwin32
ps:为什么要安装win32？
因为安装了scrapy之后，在Windows可以正常的项目开发，但是运行项目会出现报错类似于winerror这样的问题，安装了pypiwin32模块，可以是scrapy模块调用win底层C库进行函数操作

三：scrapy项目开发

1.创建项目：通过命令来完成

scrapy startproject +项目名称

如：创建一个myspider项目，创建成功后会出现如下的项目结构

image.png

|--myspider/ 项目根目录
    |--scrapy.cfg项目配置文件
    |--myspider/ 爬虫程序开发模块
        |--spiders/爬虫程序所在的目录
            |---demo
        |--items.py采集的数据，定义封装模型类
        |--pipelines.py采集完成后对数据进行验证和存储模块
        |--middlewares.py中间件定义模块
        |--setting.py项目设置模块

2.在spiders文件下开始爬虫程序的开发

1.分析要爬取的url地址

'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&p=6',
'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&p=7',
'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&p=8',

ps:采集网站上的三页数据，分析自己想要采集的数据，并自定义字段名称
职位：job
公司：company
薪水：salary

2.将自定义的字段封装在items.py模块中，创建item类

import scrapy 

#定义一个类
class ZhaopinItem(scrapy.Item)

    #定义属性字段
    job = scrapy.Field()
    company = scrapy.Field()
    salary = scrapy.Field()

3.在spiders文件下创建爬虫程序

import scrapy
from .. import items

class ZhiLian(scrapy.Spider):

    #定义爬虫的名称，用于在命令中调用
    name = 'zl'

    #定义域名限制，只能爬取xxx域名下的数据
    allowed_domains = ['zhaopin.com']
  
    #定义url地址
    start_urls =(
 
        'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&p=6',
        'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&p=7',
        'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&p=8',
    )

    def parse(self, response):

        '''
        采集到数据后，自动执行的函数，主要进行如下功能
                数据筛选——》封装Item对象——》传递数据给Pipelines
                    采集到的数据封装在response
        '''
        #将数据保存到文件中
        filename = response.url.split('&')[-1] + '.html'
        with open(filename, 'w') as f:
            #爬虫采集到的数据，会封装在response.body属性中，可以直接获取
            f.write(response.body)

4.数据处理
在pipelines.py模块中定义处理Item数据的pipelines，将数据存储到数据库中（后续操作）

3.运行项目程序

在命令行里切换到项目根目录文件路径下，然后在命令行里运行：
scrapy crawl + name 定义爬虫的名称
如：scrapy crawl zl 这样项目就启动了

看到这里应该对scrapy框架的应用有了初步的了解，欲知后事且看下回分解.....

最后编辑于：2018.01.17 11:59:52