热门标签下名人名言的采集

96
dami_tian
2017.05.16 02:21* 字数 209

采集过程:
在已建立的quotes项目下编写爬虫,并执行,同时保存为xml或者json格式。本次采集尝试使用两种方法,一个是css选择器,另一个是xpath选择器。
1、利用css编写爬虫tag1_spider.py

热门标签名人名言css.png

抓取结果:


名人名言css抓取结果.png

共获得101条数据
保存为xml:scrapy crawl tag1 -o tag1.xml


保存为xml格式.png
cssxml.png

在这个过程中遇到的问题是无法设置xml的层级结构,也就是说不能将相应的名人名言归在对应的所属的tag的标签里面,如上图所示,不能将tag为reading的名人名言放在reading对应的标签之下。
2.利用xpath编写爬虫tag3_spider.py

热门标签的名人名言xpath.png
名人名言xpath抓取结果.png

同样获得了101条数据
保存为xml:scrapy crawl tag3 -o tag3.xml

xpathxml.png
日记本
Web note ad 1