项目实战 - 使用Fiddler抓取bilibili安卓客户端口数据并分析(http、https)

一、简述

经过了一个多星期的时间(自2017/10/16开始),到目前(2017/10/24)为止,项目框架的搭建已基本完成、还完成了首页中「直播」与「推荐」Fragment的数据填充,可以说相仿度很高,说这么多不如先看看效果。

仿「直播」界面
仿「推荐」界面

很6吧,但这不是重点,本篇要记录的,是使用fiddler来抓取app客户端的数据(包括http和https的数据抓取),并记录下对接口与数据的分析结果,下面就直入主题吧。

二、使用Fiddler抓http包

1、Fiddler设置

要使用Fiddler来给手机app抓包,需要进行一次设置。

通过Tools->Fiddler Options进入设置界面:

切换到Connections标签,填写要监听的端口(如:8888),将下方3个钩勾上,最后点击OK关闭设置界面。

2、手机设置

打开设置,找到WLAN,长按当前连接的wifi,设置代理主机与端口。

  • 要注意,你的手机必须和运行Fiddler的电脑在同个局域网内。
  • 不同的手机设置界面有所不同,这里以模拟器为例,其他手机请参考后自己在对应位置进行设置。

3、开始抓包

经过上面的2步设置后,下面就可以来抓包了。

此时如果在Fiddler中有太多请求记录,不方便我们查看接下来要抓的数据,可以进行如下操作将这些记录清除。

仔细看,当我从「推荐」切换到「直播」时,app发起来数据请求,同时Fiddler中捕获到了12条数据。这其中,只有带有Json图标的记录是我们要的(即序号为3,4,5的数据)。

分别点击这3条json数据请求记录,发现序号5的请求是我们想要的

Fiddler自带的json查看窗口可以很方便的帮我们理清返回的数据结构,但可惜的是,它提供的可操作性实在是太弱了,连复制都不行,所以这个窗口的作用也就是让我们方便的查看下抓取到的数据请求是不是我们想要的而已了。

4、使用HiJson代替Fiddler自带的json查看窗口

很多时候,我都会使用HiJson来帮助我完成对接口返回数据的分析,我相信大多数安卓开发者对该工具应该不会陌生。不过,HiJson不支持直接数据请求,所以需要从别处将json数据复制到HiJson中,Fiddler的WebView窗口可以帮到我们。

初次点击WebView
点击淡黄色提示后的WebView

将WebView窗口中的数据全选,右键,复制。打开HiJson,粘贴到左窗口后点击“格式化JSON字符串”。

好了,http的数据包抓取就到这了,不难,下面来看看https的抓包流程。

三、使用fiddler抓https包

参考上面http的抓包配置,确定配置无误后,开始抓一次「推荐」版块的包看看。

有没有发现什么问题?在Fiddler中没找不到带有Json图标的请求记录,但有2个带锁的请求,而且Host显示"Tunnel To",这就说明「推荐」版块采用的是https请求,这种加密请求,没办法这样直接查看,还需要进行以下配置。

1、Fiddler设置

打开Fiddler设置界面,切换到HTTPS标签,将"Capture HTTPS CONNECTs"、"Decrypt HTTPS traffic"、"Ignore server certificate errors(unsafe)"都勾上,将中间的下拉菜单选择为"from all processes",最后点击OK关闭设置界面。

2、手机设置

打开手机浏览器,输入运行Fiddler的主机ip与监听的端口,可以打开一个Fiddler的证书下载页面。

点击最后一行的"FiddlerRoot certificate"下载并安装证书。

最后,重启Fiddler。

可能在安装证书的时候会要求你为手机设置锁屏密码,随便设置一个你能记住的密码就好了,如Pin码:1234。

3、开始抓包

经过上面的配置后,下面就可以来抓https的包了。

重复之前的操作,在「推荐」版块中刷新一下看看(留意下Protocol列)。

这次抓取到了2条https记录,一眼就看出来了,序号1那条就是我们想要的(带着json图标)。

下面我们来验证下,这是不是就是刷新时服务器返回的json数据呢?

没错,就是服务器返回的json数据。

要注意,现在的多数app都会有数据缓存功能,如果你在使用Fiddler抓包的过程中遇到app在启动加载数据时,捕获不到你想要看到的数据请求记录,那很有可能就是app使用了之前的数据缓存,你要做的就是到系统的设置中,找到应用管理列表中对应的app,然后手动清空app的缓存数据即可。

到这里,使用Fiddler抓取app的http、https数据包的过程及注意事项就都说完了。接下来就记录下我对bilibili首页的「推荐」版块数据的分析吧。

四、接口与数据分析

1、接口

对比了几个不同时机的接口数据(开启app时,下拉刷新时,上拉加载更多时),我发现!!!

url中的几个关键参数作用分别如下:

  • idx:第一次加载数据时为0(此时,open_event=cold),若是加载更多,则是之前数据中的最后一个idx,或是刷新,则是之前数据中一开始的idx。
  • pull:刷新为true,加载更多为false。
  • login_event:为1时会加载banner,为0时则不加载banner(细节有待考究)
  • 其他参数,亲测不用也无所谓~

2、数据

这部分图片过多,可能看官大爷没什么耐心看,文章的最后有附上该界面的实现代码链接,可直接拉到最后查看。

通过仔细观查的bilibili手机APP的界面设计,并分析对应返回的数据的结构,我又发现!!!

安卓开发者一眼就能看出来,这个「推荐」版块绝对是采用多布局列表设计,那这个列表到底有多少布局呢,答案是至少有12种(根据数据的goto字段区分)。就我找出的这12种布局大致可分为2大类:「大布局」和「小布局」。

1)「大布局」

大布局包括的goto值有:banner、coverge、special、topic、rank、tag。

goto = banner
goto = coverge
goto = special
goto = topic
goto = rank
goto = tag

2)「小布局」

小布局包括的goto值有:av、av(带有rcmd_reason)、bangumi、login、ad_web_s、article_s。

goto = av
goto = av(带有rcmd_reason)
goto = ad
goto = article
goto = bangumi
goto = login

最后附上该界面的主要实现代码

  1. RecommendFragment.java
  2. RecommendMultiItem.java
  3. RecommendMultiItemAdapter.java
  4. RecommendPresenter.java
欢迎关注微信公众号:全栈行动
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 141,621评论 1 298
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 60,780评论 1 254
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 93,376评论 0 211
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 40,770评论 0 174
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 48,482评论 1 252
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 38,637评论 1 172
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,297评论 2 267
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,094评论 0 165
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 28,855评论 6 228
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 32,420评论 0 213
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,200评论 2 213
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 30,521评论 1 224
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 24,181评论 0 31
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,065评论 2 213
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 31,424评论 3 202
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,590评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 25,947评论 0 163
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 33,406评论 2 230
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 33,509评论 2 229

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 170,365评论 25 707
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 133,997评论 18 139
  • 发现 关注 消息 iOS 第三方库、插件、知名博客总结 作者大灰狼的小绵羊哥哥关注 2017.06.26 09:4...
    肇东周阅读 11,452评论 4 58
  • 犹豫了很久,终于决定参加写作训练营。不是害怕自已是一个写作的素人,拙劣的文字羞于示人,而是担心没有足够的时间去完成...
    黑小跳阅读 1,173评论 2 2
  • 那是高三上学期的事情,本来学习成绩就不太好的我,在高三上学期时候遇到了部队招兵,感觉一下子有了新的出路,和家里面联...
    娶了一个帅气的外号阅读 195评论 0 0