我们先观察要爬取的网页：" http://quotes.toscrape.com/ "，下方有一个翻页按钮：
它的 HTML 代码如下：
<ul class="pager">
<li class="next">
<a href="/page/2/">Next <span aria-hidden="true">→</span></a>
</li>
</ul>
我们需要提取 < a> 标签的 href 的值来构造下一页的连接，我们先在 shell 中尝试一下：
>>> response.css('li.next > a::attr(href)').extract_first()
'/page/2/'
利用 ::attr() 方法能提取标签中的值。
显然，这并非我们最终想要获得的 url，我们可以利用 urljoin() 方法来构建 url：
>>> next_page = response.css('li.next > a::attr(href)').extract_first()
>>> next_page = response.urljoin(next_page)
>>> next_page
'http://quotes.toscrape.com/page/2/'
现在我们在我们的爬虫里面运用翻页的方法，抓取数据：
#!/usr/bin/python
# -*- coding: utf-8 -*-
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
"http://quotes.toscrape.com/page/1/",
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').extract_first(),
'author': quote.css('small.author::text').extract_first(),
'tags': quote.css('div.tags a.tag::text').extract(),
}
# 获取下一页 <a> 标签中的 href 属性
next_page = response.css('li.next > a::attr(href)').extract_first()
# 判断下一页的 url 是否存在
if next_page is not None:
# 用 urljoin() 方法构造完整的 url
next_page = response.urljoin(next_page)
# 回调函数继续处理下一页的 url
yield scrapy.Request(next_page, callback=self.parse)
利用以下命令爬取：
scrapy crawl quotes -o items.json
该网页所有数据都被我们获取成功保存到 json 文件里了。
