采集川大公管学院教师信息

一、采集前的准备

首先进入四川大学公共管理学院官网,查看其师资队伍师资队伍板块对教师信息的陈列方式。未来采集将从这里开始。
从网站陈列的方式可以看到:

教师分为三类:全职教师、客座教师、退休教师、博士后流动站。

通过点击每个版块的教师查看具体信息,每个老师的信息包括(教师的图片包含进入具体页的链接):

姓名、职称、专业、邮箱。
姓名、职称、简短简历、代表性研究成果、获奖情况、科研项目、人才培养

师资队伍开始采集全职教师的姓名、职称、专业、邮箱、图片,并进行翻页。对每个老师而言,进入详细页面继续采集简短简历、代表性研究成果、获奖情况、科研项目、人才培养的内容。

对于部分教师,其信息没有上传到官网.应考虑没有信息的默认采集格式。

二、开始采集

在这一次才采集过程,依然按照scrapy教程的步骤进行采集实践。
首先建立这一次的采集项目,项目名称是jsinfo(教师信息):

jsinfo

可以看到在jsinfo项目之下的内容目录呈以下结构:


jsinfo项目的内容目录

在正式采集之前,现在items.py这个文件中定义即将采集的字段(实际上定义了之后,感觉太难也没用)。


items.py定义采集字段

在spiders下建立jsinfo_spider.py文件,开始写第一个爬虫(这部分并没有什么意义。。。)。
import scrapy


class JsInfoSpider(scrapy.Spider):
   name = "infos"

   def start_requests(self):
       urls = [
           'http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18'
       ]
       for url in urls:
           yield scrapy.Request(url=url, callback=self.parse)

   def parse(self, response):
       page = response.url.split("/")[-2]
       filename = 'infos-%s.html' % page
       with open(filename, 'wb') as f:
           f.write(response.body)
       self.log('Saved file %s' % filename)

然后执行infos爬虫,可以得到师资队伍的html文件。
root@iZwz9bmo44a33isf69hxp5Z:~/venv/jsinfo# scrapy crawl infos
接着提取师资队伍页面的部分内容,如下:

打开师资队伍页面

提取教师名字

提取教师的职称

这时我想继续提取教师的专业以及他们各自的邮箱,这时发现专业与邮箱都相同标签下的文本内容,如何在同一标签下分条目抓取内容我未遇到过。考虑通过定位p[0],p[1]将同一标签下的字段截断,试过之后结果是第一个字段没有数据,而第二个字段的数据都采集下来的数据是原本第一个字段的数据。

p标签下的数据

于是推测,在这里,数据字段是从“1”开始的。修改代码之后,可以得到正确的结果。

 'jsmajor': info.xpath("//div[@class='desc']/p[1]/text()").extract_first(),
                    'jsmail': info.xpath("//div[@class='desc']/p[2]/text()").extract_first()
p标签数据分段
相同标签下的专业+邮箱

在解决这个问题之前,我是将专业和邮箱采集到一起。当然还是分开采集更加显著了。

第一页采集结果

这时爬虫infos的代码如下:

    start_urls = [
            'http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18&page_1_page=1'
        ]

    def parse(self, response):
            for info in response.xpath("//div[@class='r fr']"):
                yield {
                    'jsname': info.xpath("//h3[@class='mb10']/text()").extract_first(),
                    'jstitle': info.xpath("//p[@class='color_main f14']/text()").extract_first(),
                    'jsmajormail': info.xpath("//div[@class='desc']/p/text()").extract(),
                }

第一页的采集下来了,接下来没有去采集子页面的内容,打算先实现翻页功能。于是,先尝试用指导文档中的翻页设置:


next_page = response.xpath("//li[@href]/@href").extract_first()
        if next_page is not None:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(next_page, callback=self.parse)

结果翻页是不成功的,或者出现将首页重复两次的情况。多次试验,依然失败。于是考虑到公共管理学院师资队伍就16页,或许可以以循环的方式将url全部写出来。然后照着其他资料提示,改了spider内容。

    start_urls = []

    def start_requests(self):
        i = 1
        while i <= 16:
            url = "http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18&page_1_page=%d" % i
            yield self.make_requests_from_url(url)
            i += 1

然后运行爬虫‘infosone’,可以发现已经成功实现了翻页。结果发现将每个页面重复爬取多次(貌似重复8次,也是不懂为什么了)。后面尝试修改代码以避免重复页面抓取,但是始终修改不对。

翻页结果1

教师基本信息的显示的xml

于是我就先把这个问题放到一边。然后先去采集详情页的内容,预想直接加入基本页代码之中,看能不能连接到一起。并且没有加入翻页的结构,只是在第一页进行试验。

import scrapy


class JsInfoSpider(scrapy.Spider):
    name = "infostwo"
    start_urls = [
        'http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18'
        ]

    def parse(self, response):
            for info in response.xpath('//li[@class="f1"]'):
                yield {
                    'jsname': info.xpath("//h3[@class='mb10']/text()").extract_first(),
                    'jstitle': info.xpath("//p[@class='color_main f14']/text()").extract_first(),
                    'jsmajor': info.xpath("//div[@class='desc']/p[1]/text()").extract_first(),
                    'jsmail': info.xpath("//div[@class='desc']/p[2]/text()").extract_first()
                }
            for href in response.xpath('//li[@class="f1"]/div[@class="1 f1"]/a/@href').extract():
                yield scrapy.Request(response.urljoin(href),
                                       callback=self.parse_txxinfo)

    @staticmethod
    def parse_txxinfo(self, response):
        for intro in response.xpath('//div[@class="r fr"]'):
            yield {
                'jsname': intro.xpath('h3/text()').extract_first(),
                'jsresume': intro.xpath('div[@class="desc"]/text()').extract_first(),
            }

然而结果不是想象那样,我就觉得是我逻辑出了错,于是问了其他同学,发现逻辑差不多。难道是代码错了,比对了一下,大体机构相似。后来甚至改成相同的,结果人家的能出来详情页结果,然而我的就是出来不了。不行。。。
然后我就单独写了一个爬虫去爬取详情页内容。因为上面的循环url不能 使用,依然采取了教程中的“下一页”方式。
分页的代码:

import scrapy


class JsInfoSpider(scrapy.Spider):
    name = 'infosthree'

    start_urls = ['http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18'
                  ]

    def parse(self, response):
        # follow links to author pages
        for href in response.xpath('//li[@class="f1"]/div[@class="1 f1"]/a/@href').extract():
            yield scrapy.Request(response.urljoin(href),
                                 callback=self.parse)
            # follow pagination links
            next_page = response.xpath('//div[@class="pager cf tc pt10 pb10 mobile_dn"]/li/a/@href').extract_first()
            if next_page is not None:
                next_page = response.urljoin(next_page)
                yield scrapy.Request(next_page, callback=self.parse_moreinfos)

        def parse_moreinfos(self, response):
            def extract_with_xpath(query):
                return response.xpath(query).extract_first ().strip ()
            yield {
                'jsname': extract_with_xpath('//div[@class="r fr"]/h3/text()'),
                'jsresume': extract_with_xpath('//div[@class="r fr"]/div[@class="desc"]/text()'),
            }

不分页的代码:

import scrapy


class JsInfoSpider(scrapy.Spider):
    name = 'infosthree'
    start_urls = ['http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18']

    def parse(self, response):
        # follow links to author pages
        for href in response.xpath('//div[@class="1 f1"]/a/@href'):
            yield response.follow(href, self.parse_infosthree)
    @staticmethod
    def parse_infosthree(response):
        def extract_with_xpath(query):
                return response.xpath(query).extract_first().strip()
        yield {
                'jssrc': extract_with_xpath('//div[@class="1 f1"]/img/src'),
                'jsname': extract_with_xpath('//div[@class="r fr"]/h3/text()'),
                'jsresume': extract_with_xpath('//div[@class="r fr"]/div[@class="desc"]/text()'),
         }

结果依然不行啊。于是决定只是爬取第一页的详情页内容看看,这时发现反复报的是同样的错。


错误报告

页面不存在?

推荐阅读更多精彩内容