python爬虫的最佳实践(八)--初探Scrapy

0.053字数 1259阅读 5522

程序员可以让步,却不可以退缩,可以羞涩,却不可以软弱,总之,程序员必须是勇敢的

本节目标

  1. 配置scrapy环境,创建第一个scrapy项目
  2. 了解scrapy项目结构。
  3. 使用scrapy成功编写一个爬虫。

小插曲

有人说,virtualenvpip是pythonner的两大神器。pip我们在之前的项目中用过很多次了,今天来告诉大家virtualenv怎么使用。

所谓virtualenv,你可以简单的理解为创建一个虚拟的python环境,这个python环境是和本机的其他python环境互不干扰的,所以随你怎么玩~玩坏了删除了重新创建就好了。

首先,打开pycharm。选择file->Default Setting,如图:

1.png

单击左上角setting标准,选择Create VirtualEnv,如图:


2.png

给你的virtyalEnv起个名字,然后选择基础的python环境,记得勾选下面的Inhert global site-packages选项,这回复制你安装的第三方库到你的虚拟环境中,就不用再安装一次了。

这样,一个虚拟环境便创建好了,你到指定的位置可以看到一个虚拟环境的文件夹,进入可以看到一个完整的python环境,python的第三方库都在Scripts文件夹下可以找到,如果要给虚拟环境安装第三方库,可以从pycharm安装,也可以直接运行 虚拟环境根目录\Scripts\pip.exe install packageName。好了这样我们的虚拟环境变创建好了。

安装scrapy

建议用python2.x的版本安装。
打开pycharm,选择 file->Default Setting,选中刚刚创建的虚拟环境,点击+,在搜索框中输入scrapy。如图:

3.png

点击安装等待安装完毕即可。

创建项目

首先把刚刚创建的虚拟环境的Scripts文件夹加入到环境变量中,然后运行scrapy startproject tutorial,执行完毕后可以看到tutorial项目已经被创建在根目录下,目录结构如下:

4.png

下面来简单介绍一下各个文件的作用:

  • scrapy.cfg:项目的配置文件
  • items.py:项目的items文件,用来定义数据结构
  • pipelines.py:项目的pipelines文件,用来处理数据
  • settings.py:项目的设置文件
  • spiders/:存储爬虫的目录

接下来我们创建第一个scrapy爬虫

第一个scrapy爬虫

在spiders目录下创建一个新的python文件命名为test.py,然后代码如下:

#coding:utf-8
import scrapy
from scrapy.spiders import BaseSpider
from bs4 import BeautifulSoup

class testSpider(scrapy.Spider):
    name = 'test'
    start_urls = ['https://s.2.taobao.com/list/list.htm?spm=2007.1000337.0.0.RrSiSG&catid=50100398&st_trust=1&page=1&ist=0']

    def parse(self, response):
        for title in response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a'):
            yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)

    def detail(self, response):
        data = BeautifulSoup(response.body, 'lxml')
        area = data.select('#J_Property > h1')
        print area[0].get_text()

首先引入库scrapy,紧接着引入库beautifulsoup,没错,scrapy可以和beautifulsoup结合起来使用

name = 'test'定义了这个爬虫的名称,这个名称必须是唯一的,以便用来区分其他爬虫。
start_urls = ['https://s.2.taobao.com/list/list.htm?spm=2007.1000337.0.0.RrSiSG&catid=50100398&st_trust=1&page=1&ist=0']
定义了开始的url,这个和pyspider类似,可以填入多个url。

def parse(self, response):
        for title in response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a'):
            yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)

parse这个函数是我们继承的scrapy.Spiderclass里面内置的函数,我们对它进行重写,当我们的spider开始运行的时候会首先请求start_urls里面的链接并调用parse函数,给其返回一个response对象。

response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a')

上面这句是使用xpath定位标签,scrapy支持xpath,还记得上节介绍的infolite么,刚好可以结合起来使用。如图得到了我们要的title的xpath:

5.png

我们选择咸鱼网的列表的title,然后创建一个yield迭代器去遍历每个title里面的url,代码如下:

yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)

scrapy.Request函数第一个参数传入url,第二个参数传入callback。对于我们已经取出来的title的a标签,我们依然可以通过xpath取出里面的属性title.xpath('@href'),如果要取出文字,则使用title.xpath('text()')

接下来我们进入到detail函数:

def detail(self, response):
        data = BeautifulSoup(response.body, 'lxml')
        area = data.select('#J_Property > h1')
        print area[0].get_text()

一如我们之前讲解的,在这里,我们用beautifulsoup解析response.body,然后通过csspath取出我们想要的信息。

至此,我们第一个scrapy爬虫就写完了,是不是比想象中的简单呢?

写在最后

今天,我们简单介绍了scrapy并实现了一个scrapy爬虫,下一节是scrapy的进阶篇,我们将介绍scrapy中items 与pipelines的用法。小伙伴们可以用scrapy把我们之前写过的爬虫再重新试试,看看效率如何~

有兴趣的同学可以加群498945822一起交流学习哦~~
发现问题的同学欢迎指正,直接说就行,不用留面子,博主脸皮厚!

推荐阅读更多精彩内容