果壳问答.jpg
一：前言
继续练习Scrapy框架，这次抓取的果壳问答网站的热门问答和精彩问答相关信息，信息如下：标题，关注量，回答数目，简介等。之后保存到mongodb和json文件中以备后续使用。代码地址：https://github.com/rieuse/ScrapyStudy
二：运行环境
- IDE：Pycharm 2017
- Python3.6
- pymongo 3.4.0
- scrapy 1.3.3
三：实例分析
1.首先进入果壳问答http://www.guokr.com/ask/ ，我这次爬取的是热门问答和精彩问答的全部信息。
果壳
2.进入热门问答和精彩问答，他们的页面结构是一样的。网址是www.guokr.com/ask/hottest 和www.guokr.com/ask/highlight 然后他们都有很多页面，点击下一页后页面地址就会加上后缀?page=数字，后面的数字就是页面的数目，随后我们将使用列表迭代生成我们爬取的页面地址。
start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + ['http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]
3.抓取内容：问答的关注，回答，标题，简介。
抓取内容
4.网页结构分析：全部问答内容在class="ask-list-cp"的ul下的li中，
所以对应的xpath地址如下，问答的单个信息的xpath取值是在全部信息的基础上取的。这里xpath选取比较灵活，可以使用属性，不同的相对位置。很多方式都可以选择到我们需要的数据，一种不成功就换其他的。比如这里的几个div都有自己单独的属性，就可以利用这个去选择。
全部信息：/html/body/div[3]/div[1]/ul[2]/li
关注：//div[@class="ask-hot-nums"]/p[1]/span/text()
回答：//div[1]/p[2]/span/text()
标题：//div[2]/h2/a/text()
简介：//div[2]/p/text()
链接：//div[2]/h2/a/@href
GIF.gif
四：实战代码
分析好页面结构和数据位置就可以使用scrapy框架来抓取数据了。完整代码地址：github.com/rieuse/ScrapyStudy
1.首先使用命令行工具输入代码创建一个新的Scrapy项目，之后创建一个爬虫。
scrapy startproject Guoke
cd Guoke\Guoke\spiders
scrapy genspider guoke guokr.com
2.打开Guoke文件夹中的items.py，改为以下代码，定义我们爬取的项目。
import scrapy
class GuokeItem(scrapy.Item):
title = scrapy.Field()
Focus = scrapy.Field()
answer = scrapy.Field()
link = scrapy.Field()
content = scrapy.Field()
3.配置middleware.py配合settings中的User_Agent设置可以在下载中随机选择UA有一定的反ban效果，在原有代码基础上加入下面代码。这里的user_agent_list可以加入更多。
import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
class RotateUserAgentMiddleware(UserAgentMiddleware):
def __init__(self, user_agent=''):
self.user_agent = user_agent
def process_request(self, request, spider):
ua = random.choice(self.user_agent_list)
if ua:
print(ua)
request.headers.setdefault('User-Agent', ua)
user_agent_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
]
4.明确一下目标，这是抓取的数据保存到mongodb数据库中和本地json文件。所以需要设置一下Pipeline
import json
import pymongo
from scrapy.conf import settings
class GuokePipeline(object):
def __init__(self):
self.client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT'])
self.db = self.client[settings['MONGO_DB']]
self.post = self.db[settings['MONGO_COLL']]
def process_item(self, item, spider):
postItem = dict(item)
self.post.insert(postItem)
return item
class JsonWriterPipeline(object):
def __init__(self):
self.file = open('guoke.json', 'w', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item), ensure_ascii=False) + "\n"
self.file.write(line)
return item
def spider_closed(self, spider):
self.file.close()
5.然后设置里面也要修改一下，这样才能启动Pipeline相关配置，最后可以保存相关数据。
BOT_NAME = 'Guoke'
SPIDER_MODULES = ['Guoke.spiders']
NEWSPIDER_MODULE = 'Guoke.spiders'
# 配置mongodb
MONGO_HOST = "127.0.0.1" # 主机IP
MONGO_PORT = 27017 # 端口号
MONGO_DB = "Guoke" # 库名
MONGO_COLL = "Guoke_info" # collection
# pipeline文件的入口,这里进
ITEM_PIPELINES = {
'Guoke.pipelines.JsonWriterPipeline': 300,
'Guoke.pipelines.GuokePipeline': 300,
}
# 设置随机User_Agent
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'Guoke.middlewares.RotateUserAgentMiddleware': 400,
}
ROBOTSTXT_OBEY = False # 不遵循网站的robots.txt策略
DOWNLOAD_DELAY = 1 # 下载同一个网站页面前等待的时间，可以用来限制爬取速度减轻服务器压力。
COOKIES_ENABLED = False # 关闭cookies
6.最后就是重点了，打开spiders文件夹中的guoke.py，改为以下代码，这个是爬虫主程序。这里面的开始链接就是热门回答和精彩回答结合。
# -*- coding: utf-8 -*-
import scrapy
from Guoke.items import GuokeItem
class GuokeSpider(scrapy.Spider):
name = "guoke"
allowed_domains = ["guokr.com"]
start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + [
'http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]
def parse(self, response):
item = GuokeItem()
i = 0
for content in response.xpath('/html/body/div[3]/div[1]/ul[2]/li'):
item['title'] = content.xpath('//div[2]/h2/a/text()').extract()[i]
item['Focus'] = content.xpath('//div[@class="ask-hot-nums"]/p[1]/span/text()').extract()[i]
item['answer'] = content.xpath('//div[1]/p[2]/span/text()').extract()[i]
item['link'] = content.xpath('//div[2]/h2/a/@href').extract()[i]
item['content'] = content.xpath('//div[2]/p/text()').extract()[i]
i += 1
yield item
五：总结
先来看看抓取后的效果如何，mongodb我使用的可视化客户端是robomongodb，日常打开代码的工具是notepad++，atom，vscode都还不错推荐一波。代码都放在github中了，有喜欢的朋友可以点击 start follw，https://github.com/rieuse 。
mongodb：
mongodbg
json文件：
json文件
不断学习，继续加油！
