【复盘】使用Scrapy模拟登录知乎

前一阵子完成了第一阶段Python基础知识的学习,从最近开始学习使用Scrapy框架抓数据。不得不说学习进度十分缓慢啊啊啊,王者农药真害(shang)人(yin)。顺便吐槽下,买了一堆书没有看,真是买书如山倒,看书如抽丝,不过最近确实花在研究Scrapy的时间很多。废话不多说,下面切回正题。

学习过程中有一些参考文章,先贴出来以示尊重:
【CSDN】用scrapy 模拟知乎的登录过程
【GitHub】fuck-login/zhihu

创建项目

在命令行中切换到要创建scrapy项目的目录,并使用以下命令:

scrapy startproject zhihu_login

之后进入项目的根目录(scrapy.cfg文件所在的目录),使用以下命令创建spider:

scrapy genspider zhihu zhihu.com

其中,zhihu为spider的名字,zhihu.com为spider的allow_domain和start_urls。
项目目录类似如下所示结构:

tutorial/
    scrapy.cfg            # deploy configuration file

    tutorial/             # project's Python module, you'll import your code from here
        __init__.py

        items.py          # project items definition file

        pipelines.py      # project pipelines file

        settings.py       # project settings file

        spiders/          # a directory where you'll later put your spiders
            __init__.py

至此,项目创建完成,接下来就是实现代码细节了。

spider大致工作流程

  • 由start_requests发起第一个request,如果不重写start_requests的话,请求的是start_urls中的URL,回调函数是parse,如果重写start_requests,那么请求的URL和回调函数都可以自定义;
  • 回调函数里,可以继续发起请求,也可以对爬取页面内容,比如可以爬取下一个URL;
  • 最后就是把爬到的内容持久化(存储)就万事大吉了,winner winner。
    详细可以参考【英文】Scrapy文档,中文文档可自行百度。

此时,尝试以下命令:

scrapy crawl zhihu

得到如下结果:

2017-09-08 14:44:06 [scrapy.core.engine] DEBUG: Crawled (500) <GET http://zhihu.com/> (referer: None)
2017-09-08 14:44:06 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <500 http://zhihu.com/>: HTTP status code is not handled or not allowed

参考文章中说这是因为未设置UA,在settings.py文件下,取消DEFAULT_REQUEST_HEADERS的注释并添加UA属性即可。

DEFAULT_REQUEST_HEADERS = {
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept-Language': 'en',
   'User-Agent' : 'Mozilla/5.0 (Linux; Android 5.1.1; Nexus 6 Build/LYZ28E) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Mobile Safari/537.36'
}

执行crawl命令把页面下载下来了,需要分析知乎的登录接口以及提交的参数。
回忆下登录知乎的过程,在页面输入帐号、密码(有时候还有验证码),点击登录按钮,发生错误会有提示,正确则跳转到首页。先随便输入看看ajax请求:

登录分析

我在这里用的邮箱,登录接口为:https://www.zhihu.com/login/email,同时表单提交了四项数据,email和password很好理解,captcha为验证码,_xsrf在页面中有:

_xsrf

再观察下验证码的请求接口:

验证码

参数r是当前时间的时间戳。
齐活儿,由此分析可知:

  1. 请求登录页面,从页面提取_xsrf;
  2. 请求验证码并下载,人工查看并输入;
  3. 构造登录请求

完整spider代码如下:

# -*- coding: utf-8 -*-
import scrapy, json, time, os, requests
from scrapy import FormRequest, Request
try:
    from PIL import Image
except:
    pass

class ZhihuSpider(scrapy.Spider):
    name = 'zhihu'
    allowed_domains = ['zhihu.com']
    start_urls = ['https://www.zhihu.com/signin?next=/']
    headers = {
        'Host':'www.zhihu.com',
        'Referer':'https://www.zhihu.com/',
        'User-Agent':'Mozilla/5.0 (Linux; Android 5.1.1; Nexus 6 Build/LYZ28E) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Mobile Safari/537.36',
    }
    #使用验证码登录
    def captcha_login(self, response):
        with open('captcha.jpg', 'wb') as f:
            f.write(response.body)

        try:
            im = Image.open('captcha.jpg')
            im.show()
            im.close()
        except:
            print(u'请到 %s 目录找到captcha.jpg 手动输入' % os.path.abspath('captcha.jpg'))

        captcha = input('请输入验证码\n:')
        formdata = response.meta['formdata']
        formdata['captcha'] = captcha
        yield FormRequest(url='https://www.zhihu.com/login/email', formdata=formdata, headers=self.headers, meta={'formdata':formdata}, callback=self.check_login)
    #构造参数,不使用验证码直接登录
    def parse(self, response):
        #xsrf = response.css('[name=_xsrf]::attr(value)').extract_first()
        xsrf = response.xpath("//input[@name='_xsrf']/@value").extract_first()
        self.headers['X-Xsrftoken'] = xsrf
        self.headers['X-Requested-With'] = 'XMLHttpRequest'
        formdata = {
            '_xsrf':xsrf,
            'email':'jasonharnic@gmail.com',
            'password':'hujunjay'
        }
        yield FormRequest(url='https://www.zhihu.com/login/email', formdata=formdata, headers=self.headers, meta={'formdata':formdata}, callback=self.check_login)
    #检查直接登录是否成功,若失败则尝试使用验证码登录
    def check_login(self, response):
        formdata = response.meta['formdata']
        msg = json.loads(response.text)
        print(msg)
        #scrapy.shell.inspect_response(response,self)
        if msg['r']==1:
            t = str(int(time.time() * 1000))
            captcha_url = 'https://www.zhihu.com/captcha.gif?r=' + t + "&type=login&lang=en"
            yield Request(url=captcha_url, headers=self.headers, meta={'formdata':formdata}, callback=self.captcha_login)
        elif msg['r']==0:
            yield Request(url='https://www.zhihu.com', headers=self.headers, callback=self.check_login)

中间遇到的最大的坑在于,开始的时候获取验证码并没有使用scrapy,而是使用的Request,导致一直是验证码错误,因为scrapy会处理cookoies,所以中间突然用其他方式获取,导致我获取的验证码不是我当前登录所用的。

推荐阅读更多精彩内容

  • scrapy学习笔记(有示例版) 我的博客 scrapy学习笔记1.使用scrapy1.1创建工程1.2创建爬虫模...
    陈思煜阅读 11,727评论 4 45
  • scrapy是python最有名的爬虫框架之一,可以很方便的进行web抓取,并且提供了很强的定制型,这里记录简单学...
    bomo阅读 1,595评论 1 12
  • Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化...
    Evtion阅读 5,287评论 12 18
  • 说起Python,我们或许自然而然的想到其在爬虫方面的重大贡献。Python的流行在于其语言的优美以及良好的氛围。...
    TrancyDeng阅读 4,395评论 12 40
  • 诗人实践活动与写诗· 田 秀 诗来自于我们的生产生活,我们的基本工就是我们的社会实践活动.因而,我们既是社会活动的...
    兴安居士阅读 104评论 0 2