参考资料:
Scrapy中文文档 http://scrapy-chs.readthedocs.io/zh_CN/stable/index.html
Scrapy研究探索系列 http://blog.csdn.net/u012150179/article/details/32343635
scrapy使用相较于之前的urllib和requests两个爬虫库的使用还是要复杂很多,感觉一些简单的爬虫直接用requests+BeautifulSoup来的更简单更快,为什么不用urllib?又是decode又是encode的挺麻烦,而requests则简单了许多.而scrapy学会了之后使用起来感觉也比requests简单方便些,难点是对于一些网站反爬虫的解决方案,现在这方面还是学的很差,接下来以一个例子简单了解记录下学习过程,具体scrapy学习还请参考上面给出的参考资料以及Google吧.
1. 创建爬虫项目
scrapy startproject collectips #创建一个爬取http://www.xicidaili.com/nn/上面代理ip的项目
创建项目后会自动生成一个目录,大致如下,其中ips.csv是最后爬取的ip存储的文件,一开始是没有的
├── collectips
├── collectips
│ ├── __init__.py
│ ├── items.py #设置要爬取的项目的内容部分
│ ├── middlewares.py #中间部件
│ ├── pipelines.py #对生成的item进行处理,若不设置,则默认为原网页爬取到的内容
│ ├── __pycache__
│ │ ├── __init__.cpython-35.pyc
│ │ ├── items.cpython-35.pyc
│ │ └── settings.cpython-35.pyc
│ ├── settings.py #每个项目都有这个文件,可对爬虫进行相关设置,如cookies,User-Agent等
│ └── spiders #编写爬虫主代码,此文件下可编写多个爬虫
│ ├── __init__.py
│ ├── ips.csv #这是最后生成的文件,创建项目时是没有的
│ ├── __pycache__
│ │ ├── __init__.cpython-35.pyc
│ │ └── xici.cpython-35.pyc
│ └── xici.py #编写爬虫代码的文件,非自动生成
└── scrapy.cfg
2. 编辑items.py文件,填入想要爬取内容的名称
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class CollectipsItem(scrapy.Item):
IP = scrapy.Field() #要爬取的代理ip
PORT = scrapy.Field() #ip端口
DNS_POSITION = scrapy.Field() #服务器地址
TYPE = scrapy.Field() #ip类型,http或者https
SPEED = scrapy.Field() #ip响应速度
LAST_CHECK_TIME = scrapy.Field() #ip最后更新时间
3. 编写主要爬虫
编写爬虫时可使用默认模板来生成爬虫文件,命令行命令为scrapy genspider [options] <name> <domain>
# -*- coding: utf-8 -*-
import scrapy
from collectips.items import CollectipsItem
from scrapy.selector import Selector
class XiciSpider(scrapy.Spider):
name = "xici" #爬虫名称
allowed_domains = ["http://www.xicidaili.com"] #允许爬取的范围
#重写start_requests()函数,生成多个要爬取的页面
def start_requests(self):
reqs = []
for i in range(1, 21):
req = scrapy.Request(
'http://www.xicidaili.com/nn/{}'.format(i))
reqs.append(req)
return reqs
#编写parse()函数对爬取的网页内容进行分析,提取出想要的部分
def parse(self, response):
item = CollectipsItem()
sel = Selector(response)
#使用xpath选择器来选取我们想要的网页标签内容
for i in range(2, 102):
item['IP'] = sel.xpath(
'//*[@id="ip_list"]/tr[{}]/td[2]/text()'.format(i)).extract_first()
item['PORT'] = sel.xpath(
'//*[@id="ip_list"]/tr[{}]/td[3]/text()'.format(i)).extract_first()
item['DNS_POSITION'] = sel.xpath(
'//*[@id="ip_list"]/tr[{}]/td[4]/a/text()'.format(i)).extract_first()
item['TYPE'] = sel.xpath(
'//*[@id="ip_list"]/tr[{}]/td[6]/text()'.format(i)).extract_first()
item['SPEED'] = sel.xpath(
'//*[@id="ip_list"]/tr[{}]/td[7]/div/@title'.format(i)).extract_first()
item['LAST_CHECK_TIME'] = sel.xpath(
'//*[@id="ip_list"]/tr[{}]/td[10]/text()'.format(i)).extract_first()
yield item
编写爬虫提取标签时可采用scrapy自带的shell工具进行调试,命令行命令为scrapy shell 'website',若爬取成功,则会返回一个类似ipython的工具,可使用response.headers来查看返回的headers,采用response.xpath('//some/path/title/text()')来调试提取的内容
4. 防止爬虫被ban的一些方法
- 更改设置文件settings.py,禁止cookies
- 延长爬取间隔时间delay
- 使用多个User-Agent
- 使用代理ip
5. 使用chrome插件xpath helper快速获取目的内容的标签
使用xpath方法获取目的内容标签时,有点地方浏览器会对源html进行更改,加入一个tbody标签,如果我们使用的xpath标签中含有tbody,将无法获取正确内容,需要手动删除tbody这个标签.
xpath helper能帮助我们快速获得目的内容的标签,方便提取.使用方法为:打开目的网页后,Ctrl+shift+X调出xpath helper的控制台,将鼠标移至任何目的内容位置,按下shift键即可在控制台中查看鼠标所在内容的标签以及其内容.
