Python爬虫cookie 免密登录,今天与大家聊一聊

我们都知道 HTTP 是无状态的,用户每次打开 web 页面时,服务器都打开新的会话,而且服务器也不会自动维护客户的上下文信息,那么服务器是怎么识别用户的呢?

这就是本文今天要讲解的内容。当服务端需要记录用户的状态时,就需要用某种机制来识具体的用户,这个机制就是 session 和 cookie。

Session 和 Cookie

session 是保存在服务器端的,用于标识用户,并且跟踪用户的一种上下文保持机制。当服务器创建了一个 Session 时,给客户端发送的响应报文包含了 Set-Cookie 字段,其中有一个名为 sid 的键值对,这个键值对就是 Session ID。客户端收到后就把 Cookie 保存在浏览器中,并且之后发送的请求报文都包含 Session ID

Cookie 由服务器生成,发送给浏览器,浏览器把 Cookie 以 kv 形式保存到某个目录下的文本文件内。是客户端保存用户信息的一种机制,用来记录用户的一些信息,它是实现 Session 的一种方式。

浏览器会根据响应报文里的一个叫做 Set-Cookie 的首部字段信息,将其保存在本地。

当下一次请求时会把该 Cookie 发送给服务器,之后服务端发现客户端发送过来的 Cookie 后,会检查是那个客户端发送过来的请求,然后根据服务器上的记录,最后得到了之前的状态信息。

我们经常看到登录的时候,有个下次自动登录的选项,就是根据这个原理来实现的。既然浏览器能实现免密登录的功能,那么我们用代码如何来实现呢?

这里有两个登录案例,看完之后你就知道如何实现了。

案例一:豆瓣登录

在这里我们使用 Python 中的 LWPCookieJar ,它是管理 cookie 的工具,可以将 cookie 保存到文件,在文件中读取本地 cookie 数据到程序中,一般用到以下两种方法:

源码

1. 将登录成功的 cookie 写入到本地文件

# 实例化一个 LWPCookieJar 对象,并设置保存 cookie 的文件

session = requests.session()

session.cookies = LWPCookieJar(filename='DouBanCookies.txt')

在使用代码登录成功之后,使用 session.save() 将自动将 cookie 写入到设置的 cookie 文件中

deflogin():

name = input("输入账户:")

password = input("输入密码:")

url ="https://accounts.douban.com/j/mobile/login/basic"

data = {

"ck":"",

"name": name,

"password": password,

"remember":"True",

"ticket":"",

}

response = session.post(url, data=data)

print(response.text)

session.cookies.save()# 保存 cookie

写入之后,会在当前目录生成 DouBanCookies.txt 的文件,如下图所示:

2. 直接使用该文件中的 cookie 实现免密登录

直接使用 load 方法,从文件中获取 cookie 到代码中。其中 load 方法有两个可选值,ignore_discard 主要是忽略关闭浏览器丢失, ignore_expires 是忽略 cookie 失效。可根据自己的实际场景自由选择。

session.cookies.load(ignore_discard=True)

使用 cookie 登录之后,可以自主验证一下是否登录成功。一般选择访问个人主页,查看响应内容,判读是否登录成功。完整代码如下:

# coding: utf-8

importrequests

fromscrapyimportSelector

fromhttp.cookiejarimportLWPCookieJar

session = requests.session()

headers = {

"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"

}

session.headers = headers

session.cookies = LWPCookieJar(filename='DouBanCookies.txt')# 实例化一个LWPCookieJar对象

deflogin():

name = input("输入账户:")

password = input("输入密码:")

url ="https://accounts.douban.com/j/mobile/login/basic"

data = {

"ck":"",

"name": name,

"password": password,

"remember":"True",

"ticket":"",

}

response = session.post(url, data=data)

print(response.text)

session.cookies.save()

verify_login()

defverify_login():

mine_url ="https://www.douban.com/mine/"

mine_response = session.get(mine_url)

selector = Selector(text=mine_response.text)

user_name = selector.css(".info h1 ::text").extract_first("")

print(f"豆瓣用户名:{user_name.strip()}")

defcookie_login():

try:

# 从文件中加载cookies(LWP格式)

session.cookies.load(ignore_discard=True)

print(session.cookies)

exceptException:

print("Cookies未能加载,使用密码登录")

login()

else:

verify_login()

if__name__ =="__main__":

cookie_login()

案例二:新榜登录

除了使用 Python 中自带的 cookie 管理工具之外,我们还可以自己创建 cookie 文件,写入到本地文件或者 Redis 中。

例如,新榜的登录,通过我的测试发现,主要是校验 token 和用户名这两个参数。而 token 在登录成功后,可以在响应内容中找到。那么我们就可以自己创建 cookie 文件,一般是 .txt 或者.json 文件。

cookies = {

"name": self.account,

"token": token,

"useLoginAccount":"true"

}

withopen("XinBangCookies.txt",'w')asf:# 将cookies保存到本地

f.write(str(cookies))

然后读取 cookie 加载到代码中

withopen("XinBangCookies.txt","r")asf:

cookies = f.read()

cookies = eval(cookies)

cookie ="; ".join((key +"="+ value)forkey, valueincookies.items())

self.session.headers.update({"Cookie": cookie})

使用本地 cookie 登录后,可以选择访问登录之后才能访问的地址进行验证,具体代码就不贴了,逻辑和上面的案例差不多,只是处理方法不一样。

总结

本文主要是介绍 session 和 cookie 的一些基本概念,以及两者之间的区别。同时给大伙介绍了两种用代码处理 cookie 的案例,这里要注意一下 cookie 存在时效性,如果失效了需要重新用密码登录。感兴趣的朋友可以根据以上两个案例去练练手噢。如果觉得本文不错,帮忙点下右下方的好看吧~~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容

  • 无限江山!梅红柳绿风光旎, 叹为观止!灿烂千秋史。 指点山河,今古英雄几?兴衰已!过功成纸,焉论谁人始!
    桃点英心阅读 517评论 0 0
  • 【幸福男孩,郏县,张易,坚持分享第185天,2018.5.19】 冬天,山上盖满了雪。小白兔没有东西吃,只好出去寻...
    简单男孩阅读 576评论 0 1
  • 姓名:李睿 公司:海南美兰美购城实业有限公司 组别:第420期谦虚四组 【日精进打卡第167天】 【知~学习】 《...
    木子灬睿睿阅读 105评论 0 0
  • 今天下午,我告诉孩子我报名参加他们的运动会了! 晚上, 完成作业后 ,我让他陪我练习跑步,为运动会做准备...
    黛丽丝阅读 132评论 0 0