一、采集前的准备
首先进入四川大学公共管理学院官网，查看其师资队伍师资队伍板块对教师信息的陈列方式。未来采集将从这里开始。
从网站陈列的方式可以看到：
教师分为三类：全职教师、客座教师、退休教师、博士后流动站。
通过点击每个版块的教师查看具体信息，每个老师的信息包括（教师的图片包含进入具体页的链接）：
姓名、职称、专业、邮箱。
姓名、职称、简短简历、代表性研究成果、获奖情况、科研项目、人才培养
从师资队伍开始采集全职教师的姓名、职称、专业、邮箱、图片，并进行翻页。对每个老师而言，进入详细页面继续采集简短简历、代表性研究成果、获奖情况、科研项目、人才培养的内容。
对于部分教师，其信息没有上传到官网.应考虑没有信息的默认采集格式。
二、开始采集
在这一次才采集过程，依然按照scrapy教程的步骤进行采集实践。
首先建立这一次的采集项目，项目名称是jsinfo（教师信息）：
可以看到在jsinfo项目之下的内容目录呈以下结构：
在正式采集之前，现在items.py这个文件中定义即将采集的字段（实际上定义了之后，感觉太难也没用）。
在spiders下建立jsinfo_spider.py文件，开始写第一个爬虫(这部分并没有什么意义。。。）。
import scrapy
class JsInfoSpider(scrapy.Spider):
name = "infos"
def start_requests(self):
urls = [
'http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18'
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
page = response.url.split("/")[-2]
filename = 'infos-%s.html' % page
with open(filename, 'wb') as f:
f.write(response.body)
self.log('Saved file %s' % filename)
然后执行infos爬虫，可以得到师资队伍的html文件。
root@iZwz9bmo44a33isf69hxp5Z:~/venv/jsinfo# scrapy crawl infos
接着提取师资队伍页面的部分内容，如下：
这时我想继续提取教师的专业以及他们各自的邮箱，这时发现专业与邮箱都相同标签下的文本内容，如何在同一标签下分条目抓取内容我未遇到过。考虑通过定位p[0]，p[1]将同一标签下的字段截断，试过之后结果是第一个字段没有数据，而第二个字段的数据都采集下来的数据是原本第一个字段的数据。
于是推测，在这里，数据字段是从“1”开始的。修改代码之后，可以得到正确的结果。
'jsmajor': info.xpath("//div[@class='desc']/p[1]/text()").extract_first(),
'jsmail': info.xpath("//div[@class='desc']/p[2]/text()").extract_first()
在解决这个问题之前，我是将专业和邮箱采集到一起。当然还是分开采集更加显著了。
这时爬虫infos的代码如下:
start_urls = [
'http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18&page_1_page=1'
]
def parse(self, response):
for info in response.xpath("//div[@class='r fr']"):
yield {
'jsname': info.xpath("//h3[@class='mb10']/text()").extract_first(),
'jstitle': info.xpath("//p[@class='color_main f14']/text()").extract_first(),
'jsmajormail': info.xpath("//div[@class='desc']/p/text()").extract(),
}
第一页的采集下来了，接下来没有去采集子页面的内容，打算先实现翻页功能。于是，先尝试用指导文档中的翻页设置：
next_page = response.xpath("//li[@href]/@href").extract_first()
if next_page is not None:
next_page = response.urljoin(next_page)
yield scrapy.Request(next_page, callback=self.parse)
结果翻页是不成功的，或者出现将首页重复两次的情况。多次试验，依然失败。于是考虑到公共管理学院师资队伍就16页，或许可以以循环的方式将url全部写出来。然后照着其他资料提示，改了spider内容。
start_urls = []
def start_requests(self):
i = 1
while i <= 16:
url = "http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18&page_1_page=%d" % i
yield self.make_requests_from_url(url)
i += 1
然后运行爬虫‘infosone’，可以发现已经成功实现了翻页。结果发现将每个页面重复爬取多次（貌似重复8次，也是不懂为什么了）。后面尝试修改代码以避免重复页面抓取，但是始终修改不对。
于是我就先把这个问题放到一边。然后先去采集详情页的内容，预想直接加入基本页代码之中，看能不能连接到一起。并且没有加入翻页的结构，只是在第一页进行试验。
import scrapy
class JsInfoSpider(scrapy.Spider):
name = "infostwo"
start_urls = [
'http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18'
]
def parse(self, response):
for info in response.xpath('//li[@class="f1"]'):
yield {
'jsname': info.xpath("//h3[@class='mb10']/text()").extract_first(),
'jstitle': info.xpath("//p[@class='color_main f14']/text()").extract_first(),
'jsmajor': info.xpath("//div[@class='desc']/p[1]/text()").extract_first(),
'jsmail': info.xpath("//div[@class='desc']/p[2]/text()").extract_first()
}
for href in response.xpath('//li[@class="f1"]/div[@class="1 f1"]/a/@href').extract():
yield scrapy.Request(response.urljoin(href),
callback=self.parse_txxinfo)
@staticmethod
def parse_txxinfo(self, response):
for intro in response.xpath('//div[@class="r fr"]'):
yield {
'jsname': intro.xpath('h3/text()').extract_first(),
'jsresume': intro.xpath('div[@class="desc"]/text()').extract_first(),
}
然而结果不是想象那样，我就觉得是我逻辑出了错，于是问了其他同学，发现逻辑差不多。难道是代码错了，比对了一下，大体机构相似。后来甚至改成相同的，结果人家的能出来详情页结果，然而我的就是出来不了。不行。。。
然后我就单独写了一个爬虫去爬取详情页内容。因为上面的循环url不能 使用，依然采取了教程中的“下一页”方式。
分页的代码：
import scrapy
class JsInfoSpider(scrapy.Spider):
name = 'infosthree'
start_urls = ['http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18'
]
def parse(self, response):
# follow links to author pages
for href in response.xpath('//li[@class="f1"]/div[@class="1 f1"]/a/@href').extract():
yield scrapy.Request(response.urljoin(href),
callback=self.parse)
# follow pagination links
next_page = response.xpath('//div[@class="pager cf tc pt10 pb10 mobile_dn"]/li/a/@href').extract_first()
if next_page is not None:
next_page = response.urljoin(next_page)
yield scrapy.Request(next_page, callback=self.parse_moreinfos)
def parse_moreinfos(self, response):
def extract_with_xpath(query):
return response.xpath(query).extract_first ().strip ()
yield {
'jsname': extract_with_xpath('//div[@class="r fr"]/h3/text()'),
'jsresume': extract_with_xpath('//div[@class="r fr"]/div[@class="desc"]/text()'),
}
不分页的代码：
import scrapy
class JsInfoSpider(scrapy.Spider):
name = 'infosthree'
start_urls = ['http://ggglxy.scu.edu.cn/index.php?c=article&a=type&tid=18']
def parse(self, response):
# follow links to author pages
for href in response.xpath('//div[@class="1 f1"]/a/@href'):
yield response.follow(href, self.parse_infosthree)
@staticmethod
def parse_infosthree(response):
def extract_with_xpath(query):
return response.xpath(query).extract_first().strip()
yield {
'jssrc': extract_with_xpath('//div[@class="1 f1"]/img/src'),
'jsname': extract_with_xpath('//div[@class="r fr"]/h3/text()'),
'jsresume': extract_with_xpath('//div[@class="r fr"]/div[@class="desc"]/text()'),
}
结果依然不行啊。于是决定只是爬取第一页的详情页内容看看，这时发现反复报的是同样的错。
