本系列文章共十篇：
【爬虫成长之路】（一）爬虫系列文章导读
【爬虫成长之路】（二）各篇需要用到的库和工具
【爬虫成长之路】（三）【大众点评】selenium爬虫
【爬虫成长之路】（四）【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】（五）【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】（六）【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】（七）【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】（八）【大众点评】安卓APP爬虫
一、各篇文章所用到的库和工具
| 序号 | 章节 | 库 | 工具 |
|---|---|---|---|
| 1 | 第一章 | 无 | 无 |
| 2 | 第二章 | 无 | 无 |
| 3 | 第三章 | selenium |
chromedriver |
| 4 | 第四章 |
selenium、requests
|
Fiddler、chromedriver
|
| 5 | 第五章 | Django |
Fiddler、油猴 |
| 6 | 第六章 |
requests、Django
|
Fiddler、油猴 |
| 7 | 第七章 |
requests、Django、mitmproxy
|
Fiddler、mitmproxy
|
| 8 | 第八章 | requests |
Fiddler |
| 9 | 第九章 | requests |
Fiddler、Frida、Objection、IDA、JADX-GUI
|
| 10 | 第十章 | 无 | 无 |
注：只列出关键库和工具，全系列文章更新完成后更新此表格！
二、相关库安装及使用教程
selenium：
pip install selenium
selenium-python中文文档：包含库的安装方法和使用说明requests:
pip install requestsmitmproxy:
pip install mitmproxy-
frida:
pip install frida- Frida 是什么？
- Frida官网
- [简书]Frida详细安装教程
- [CSDN]Hook神器: frida超详细安装教程
-
objection:
pip install frida -
Django:
pip install django
三、相关工具下载及使用教程
注：这里提醒一下，下载软件时的顺序如下：
- 官方下载
- 国内镜像下载
- 论坛或网盘下载
- 不要去国内那些综合下载站下载！！！
1. chromedriver
- chromedriver淘宝镜像下载(推荐)
- chromedriver下载(地址1)
-
chromedriver下载(地址2)
chromedriver的版本和Chrome的版本要对应上，否则也是没用的。
[CSDN]ChromeDriver与Chrome版本对应参照表及ChromeDriver下载链接、官方参照表
2. Fiddler
- Fiddler 是什么？
Fiddler是一款抓包工具，同类抓包工具还有postman、burpsuite，任选一款适合自己的就好了，这里我选择我习惯的Fiddler。如果是简单的场景，也可以直接浏览器内F12解决。 - 官方下载地址（网站略卡，打不开的可以去论坛找找）
- [博客园]Fiddler教程
3. mitmproxy
- mitmproxy是什么？
mitmproxy是一款代理工具，其作用类似于Fiddler，不同之处在于mitmproxy可定制程度高。
mitmproxy官方下载地址
[简书]mitmproxy的下载及证书配置
4. JADX-GUI
- 这个软件可以将APK直接反编译成JAVA代码，绝大部分都能够还原回来，还支持跳转，很好用。
- JADX-GUI github 下载地址
5. IDA
- 这个软件去吾爱论坛下载，里面有大佬分享了。
FQA
如果你在学习过程中遇到任何问题，可在评论中留言、私信或发送邮件给我，看到会回复
注：
- 如果您不希望我在文章提及您文章的链接，或是对您的服务器造成了损害，请联系我对文章进行修改；
- 本文仅爬取公开数据，不涉及到用户隐私；
