使用Charles对Android App的https请求进行抓包

本文背景

公司新项目要求抓取目前市面上一些热门App的数据,经过研究发现很多App的网络请求都使用https进行数据传输,这样问题就来了,http使用明文传输所有请求都能拦截到,而https请求无法拦截。
所以这里我们要使用Charles来抓取https,但是笔者看了网上很多使用iOS设备进行抓取https的文章,经测试iOS8/10/11均无法进行正常抓取,即使信任证书也不行。
经过笔者的不断尝试,终于在Android5.0上成功抓取了https。研究后发现,在Android7.0以下可以正常使用Charles抓取。Android7.0以上应该是默认屏蔽了此种方法。

Charles安装

Charles配置

配置电脑端的根证书

  1. 打开Charles,我这里使用的是v4.2.5版本:


    image
  2. 安装根证书


    image
  3. Mac需要设置信任证书

    1. 安装后会弹出钥匙串访问界面,如图:


      image
    2. 双击证书,弹出证书详细界面,点击『信任』选项,然后将所有设置为始终信任,如图:


      image

在手机端配置根证书

  1. 在电脑端选择安装移动端的证书:


    image
  2. 选择后会显示IP与端口号,用于手机设置http代理:


    image
  3. 手机的网络上设置成电脑的http代理:
    此时必须保证手机和电脑在同一网络,并且手机可以访问电脑的ip与端口

    image

  4. 设置完成后访问网络时,服务端会弹出提示,点击Allow(同意连接):


    image
  5. 手机浏览器(笔者使用Chrome)访问chls.pro/ssl,下载证书并安装(证书名任意):


    image

配置电脑端的抓取规则

  1. 进入Charles的SSL代理设置:


    image

2.勾上启动SSL代理,并添加一个抓取规则,比如这里加上一个抓取所有https(443端口)的请求:


image

3.此时手机上打开https请求的应用,应该就可以正常看到https请求的数据了:如图:


image

常见问题

1. 配置好后无法打开APP

在我们抓取时碰到个别APP在配置代理后无法打开,这个主要是因为该APP做了防止抓取处理,比如校验https的证书是否合法等,这种解决方法可以通过反编译APP,查看源码解决,难度较大。

2. 抓取到的内容为乱码

有的APP为了防止抓取,在返回的内容上做了层加密,所以从Charles上看到的内容是乱码。这种情况下也只能反编译APP,研究其加密解密算法进行解密。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 128,897评论 19 550
  • 用两张图告诉你,为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料? 从这篇文章中你...
    hw1212阅读 6,943评论 1 38
  • 首先准备工具 1> Charles (下载对应操作系统的安装包进行安装,本文使用 macOS 进行演示) 2> i...
    iWe阅读 21,351评论 15 23
  • 骨感美人,这个国际称赞的名词来自赫本。 一波一波的减肥热潮直到21世纪也从没有停止过。不少报道,很多女性追求形体的...
    小红花美乐儿阅读 53评论 0 3
  • 到楠溪江边去过无数次,原本以为已经写尽了楠溪江的美,熟悉了楠溪江所有的景致,却原来还遗漏了很多很多。这一回的见面,...
    凌子子阅读 242评论 27 19