iOS 流量监控分析(1)

网络监控前言

项目开发中,对于app 浏览的监控有几方面方式 ,包括第三方平台监控这样可以有一个比较友好的后台来进行观察。自己接口请求地方打tag 这样可以再自己项目中掩埋下请求的起点和返回的结束。还有一种就是利用iOS 开发中 语言的编译运行机制来确认请求方法的调用获取请求的详情。

In the project development, there are several ways to monitor the app browsing, including third-party platform monitoring, which can have a friendly background for observation. The own interface requests the place to tag, so that you can bury the start of the request and the end of the return in your own project. Another is to use the compile and run mechanism of the language in iOS development to confirm the details of the call request of the request method.

网络监控

需求详情:

  1. Request 基本详情

  2. 上行流量

  3. 下行流量

  4. response 的数据

  5. 数据归类的功能划分

  6. 图片 音视频 的download upload 数据监听

  7. 错误数据的分析

    。。。。

知道app 的流量,衡量app 指标之一,相比平台级别的监控,和测试环境的app 绑定一起的工具功能 利用率会高一些。对于客户端开发者更为方便。

在这样的需求下,开始开发这个功能

image-20190411185331577.png

.png)

这里是第一版本的简单处理,后期的版本迭代数据项依靠Charles 的数据项来进行数据细分和丰富

Method SwizzlingNSProxyFishhook

方法 NSUrlProtocol

NSRULProtocol 通过 注册的方式来监控 数据的

https://tech.meituan.com/2016/12/19/hertz.html 美团的团队Hertz 在2016年利用这个理论来获取外卖app 的数据请求情况

只支持 FTPHTTPHTTPS 等几个应用层协议

架构图
image-20190507141627960.png
1 建立 protocol subClass
+ (void)injectNSURLSessionConfiguration{
    Class cls = NSClassFromString(@"__NSCFURLSessionConfiguration") ?: NSClassFromString(@"NSURLSessionConfiguration");
    Method originalMethod = class_getInstanceMethod(cls, @selector(protocolClasses));
    Method stubMethod = class_getInstanceMethod([self class], @selector(protocolClasses));
    if (!originalMethod || !stubMethod) {
        [NSException raise:NSInternalInconsistencyException format:@"Couldn't load NEURLSessionConfiguration."];
    }
    method_exchangeImplementations(originalMethod, stubMethod);
}

- (NSArray *)protocolClasses {
    return @[[TBNetUrlProtocol class]];
}

进行method_exchange NSURLSessionConfiguration protocolClasses exchange CustomClass .

2 截获request

基本在CustomClass 写的是 NSURLSession 方法实现

- (void)startLoading {
    NSURLRequest *request = [[self class] canonicalRequestForRequest:self.request];
    self.connection = [[NSURLConnection alloc] initWithRequest:request delegate:self startImmediately:YES];
    self.dm_request = self.request;
}

对于request 的甄别 还是依靠

SummaryReturns a canonical version of the specified request.
+ (NSURLRequest *)canonicalRequestForRequest:(NSURLRequest *)request;
SummaryDetermines whether the protocol subclass can handle the specified request.
+ (BOOL)canInitWithRequest:(NSURLRequest *)request;
3 数据的抓取
SummaryA protocol that most delegates of a URL connection implement to receive data associated with the connection.
Declaration@protocol NSURLConnectionDataDelegate

这里很灵活 ,因为大部分用的是NSURLSession 要用

SummaryA protocol defining methods that NSURLSession instances call on their delegates to handle session-level events, like session life cycle changes.
Declaration@protocol NSURLSessionDelegate

delegate 不一样,但是 逻辑是一样,对于respones 和request 的获取,完全是在对应 的回调里面

4 数据处理

为了分开 数据接口的抓取 监听 和 数据处理 + 数据UI 汇总 ,数据处理这个看项目的具体情况来处理

分层 也为后期 不同的数据抓取 不同的数据处理逻辑 坐了准备,不同的UI 展示,更可以定制显示。

image-20190507142042675.png
5 UI

为了直观的体现UI

UI 的罗列了网络接口情况的 情况,上下行的数据 /URL 请求记录/响应时间/请求类型/等等

遇到问题
  1. 数据不全
  2. 自定义有限

这里遇到两个问题 WKWebView 的数据无法获取,解决方法如下

#import "NSURLProtocol+WKWebVIew.h"
#import <WebKit/WebKit.h>
//FOUNDATION_STATIC_INLINE 属于属于runtime范畴,你的.m文件需要频繁调用一个函数,可以用static inline来声明。从SDWebImage从get到的。
FOUNDATION_STATIC_INLINE Class ContextControllerClass() {
    static Class cls;
    if (!cls) {
        cls = [[[WKWebView new] valueForKey:@"browsingContextController"] class];
    }
    return cls;
}

FOUNDATION_STATIC_INLINE SEL RegisterSchemeSelector() {
    return NSSelectorFromString(@"registerSchemeForCustomProtocol:");
}

FOUNDATION_STATIC_INLINE SEL UnregisterSchemeSelector() {
    return NSSelectorFromString(@"unregisterSchemeForCustomProtocol:");
}

@implementation NSURLProtocol (WebKitSupport)

+ (void)wk_registerScheme:(NSString *)scheme {
    Class cls = ContextControllerClass();
    SEL sel = RegisterSchemeSelector();
    if ([(id)cls respondsToSelector:sel]) {
    // 放弃编辑器警告
#pragma clang diagnostic push
#pragma clang diagnostic ignored "-Warc-performSelector-leaks"
        [(id)cls performSelector:sel withObject:scheme];
#pragma clang diagnostic pop
    }
}

+ (void)wk_unregisterScheme:(NSString *)scheme {
    Class cls = ContextControllerClass();
    SEL sel = UnregisterSchemeSelector();
    if ([(id)cls respondsToSelector:sel]) {
     // 放弃编辑器警告
#pragma clang diagnostic push
#pragma clang diagnostic ignored "-Warc-performSelector-leaks"
        [(id)cls performSelector:sel withObject:scheme];
#pragma clang diagnostic pop
    }
}

另外一个问题:Header 数据 不够健全相比较 Charles 数据header 数据项

image-20190507182314734.png
image-20190507182334879.png

其他数据项要靠task 里面的属性 url 来想办法获取,目前根据需求 还在探索。

https://juejin.im/post/5a37d039518825256362c6ce

https://github.com/LiuShuoyu/HybirdWKWebVIew

这两个方案解决 wk 抓取问题,但是还是无法满足复杂项目中所有的网络请求

目前看到https 的解决方式也有很多

- (void)URLSession:(NSURLSession *)session task:(NSURLSessionTask *)task didReceiveChallenge:(NSURLAuthenticationChallenge *)challenge completionHandler:(void (^)(NSURLSessionAuthChallengeDisposition disposition, NSURLCredential *credential))completionHandler {
    assert([NSThread currentThread] == self.clientThread);
    //判断服务器返回的证书类型, 是否是服务器信任
    if ([challenge.protectionSpace.authenticationMethod isEqualToString:NSURLAuthenticationMethodServerTrust]) {
        //强制信任
        NSURLCredential *card = [[NSURLCredential alloc]initWithTrust:challenge.protectionSpace.serverTrust];
        completionHandler(NSURLSessionAuthChallengeUseCredential, card);
    }
}

这个是didi 的强行信任 但是如果服务器对证书有的认证要求 就无法抓取。还有很多方法,核心问题在于 如果项目中请求的url 有双向验证,或者有加密数据请求,就无法对response 获取。

这样解决本质问题的swizzed 方式 成为第二个解决方案。

参考资料

http://zhoulingyu.com/2018/05/30/ios-network-traffic/
https://github.com/didi/DoraemonKit
https://github.com/aozhimin/iOS-Monitor-Platform

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268