python爬虫之掘金首页（自动登陆）

前言

掘金自动登陆
爬取首页数据

环境以及工具

pyCharm 2018.3.3
Python 3.7.2

效果展示

整理后的数据，保存在xx.json文件中，如下所示

[
    {
        "username":"Jensen95",
        "tag_title":"微信小程序",
        "jobTitle":"打杂",
        "contentTitle":"微信，支付宝小程序实现原理概述",
        "summaryInfo":"上图为微信小程序的项目结构，pages下面包含了小程序中的每一个页面，每一个页面由页面结构，页面样式，页面配置和逻辑代码四部分组成。 页面结构文件为index.wxml，通过微信自定义的标签来写。 页面逻辑通过JavaScript来书写。 类似CSS文件，来定义页面内元素的样式。 小程序的定位特点...",
        "collectionCount":72
    },
    Object{...},
    {
        "username":"HanDrush",
        "tag_title":"Android",
        "jobTitle":"Android",
        "contentTitle":"Walle —— Android多渠道打包神器",
        "summaryInfo":"Walle为了android多渠道打包而生的工具，废话不多说直接上用法 在项目的build.gradle文件中添加walle插件依赖 按照以上配置，基本上这里就可以使用了，还有一个小问题，build的时候会出现这样的错误 这是因为release变体的构建没有开启v2签名的原因，在build.gra...",
        "collectionCount":14
    },
    Object{...},
    {
        "username":"左小左",
        "tag_title":"Android",
        "jobTitle":"Android高级工程师",
        "contentTitle":"PickerView 2.0版本强势来袭",
        "summaryInfo":"如果你错过了1.X版本，没关系，2.0带你认识最好用的PICKERVIEW。",
        "collectionCount":17
    },
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...},
    Object{...}
]

自动登陆

1. 打开网页调试模式，分析网页相关接口

通过分析，接口名，请求类型，请求体都知道了。

2. python代码实现

def juejin_login(phonenumber, password):  # 登陆掘金

    login_data = {
        'phoneNumber': phonenumber,
        'password': password,
    }
    url = 'https://juejin.im/auth/type/phoneNumber'  # 登陆接口

    login_response = session.post(url, headers=headers, data=login_data)

接下来的故事，你们来吧。

获取掘金首页文章

1. 打开网页调试模式，分析网页相关接口

分析后的结果

    index_data = {
        'src': 'web',
        'uid': login_json['user']['uid'],
        'device_id': login_json['clientId'],
        'token': login_json['token'],
        'limit': '20',
        'category': 'all',
        'before': pams_rankIndex,
        'recomment': '1',
    }

uid、device_id、token都是登陆接口返回的。
src 指的是web前端发起的请求
category 首页文章所有类别
recomment 推荐级别
before 这个比较关键，上拉加载更多传入的参数，关于分页加载有好几种方案，掘金就是用了游标分页方案，上传列表最后一个位置的xxID。

需要注意的是，掘金主页的接口有一定变化规律，也算是一种反爬手段。

2. python代码实现

def juejin_index(login_json, pams_rankIndex):  # 爬取掘金首页内容
    global rankIndex
    index_data = {
        'src': 'web',
        'uid': login_json['user']['uid'],
        'device_id': login_json['clientId'],
        'token': login_json['token'],
        'limit': '20',
        'category': 'all',
        'before': pams_rankIndex,
        'recomment': '1',
    }
    index_response = session.get('https://timeline-merger-ms.juejin.im/v1/get_entry_by_rank?',
                                 headers=headers,
                                 params=index_data)

接下来的故事，你们来吧。

源码位置

献上我的Github的链接，下载Python代码即可运行，欢迎star
https://github.com/cb858504

Python爬虫系列分享教程

Python爬虫之旅之豆瓣音乐
 Python爬虫之旅之Selenium库的使用

Kotlin重构系列分享教程

Kotlin环境搭建
 Kotlin重构初体验之告别FindViewById
Kotlin重构如何兼容原先的ButterKnife、EventBus3.1
当ButterKnife8.8.1碰到AndroidX怎么办

最后编辑于：2019.03.28 22:29:56