如何自动识别APK中使用了哪些SDK

      大家在开发过程中一般会遇到技术选型问题:我应该使用哪些第三方SDK来实现我想要的功能呢?我们在开发商用的APP时肯定希望选择一些成熟的SDK,不会在网上随便找一个demo中的代码就使用,那样可能会引起很多Bug。现在就有这么一款工具让你查看主流APP使用的SDK情况,相信大厂使用的SDK都是经过严格验证的,相对比较放心。


       前段时间我们正准备做分析同行APP使用第三方SDK情况的事情,开始想着下载几个同行主流的APP然后反编译,然后一个个检查使用了哪些SDK。想想一个个手动下载,反编译APK并检查SDK使用情况挺麻烦的。喜欢“偷懒”的我就想能不能做一个自动化的工具,自动去完成这些工作或者大部分工作有程序自动化完成呢?如果使用自动化程序的话就不需要局限于几款同行APP了,可以自动采集应用市场TOP100,TOP500或者TOP1000的APP了,只要自动化工具写好了,后续要采集多少APP都不是个事,工作量不会增加多少,于是就按着这个想法开始折腾了…。

一、准备工作

由于后端技术我熟悉的是JAVA,所以这个程序我是使用JAVA写的。写工具之前需要先准备以下工具:
SpringMVC:Spring MVC框架是有一个MVC框架,通过实现Model-View-Controller模式来很好地将数据、业务与展现进行分离。
Hibernate:是一个基于元数据的轻量级的ORM框架。
Mysql:用来存储APP信息以及第三方SDK信息
APKTool:反编译APK的利器
HttpClient:是用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包,并且它支持 HTTP 协议最新的版本和建议。
HTMLparser:HTML解析工具
SAX:SAX(simple API for XML)是一种XML解析的替代方法。相比于DOM,SAX是一种速度更快,更有效的方法。

二、设计思路

以下只介绍这个工具的设计思路,没有贴具体代码,思路清晰以后写代码很简单。

1. 数据库设计

我们采集数据就需要设计数据库表,这个很简单,我设计了6个表:
tools_app_category:保存APP的分类信息
tools_app_info:保存APP基本信息
tools_app_packages:保存APP包名信息及SDK信息
tools_app_packages_relat:APP和第三方SDK关联表
tools_app_perm:APP权限信息表
tools_app_perm_relat:APP与权限的关联表

2. 获取APP安装包

      各大应用市场都有TOP xx应用列表,这些APP一般是用户使用比较多APP,这些APP使用的第三方SDK一般是比较成熟的SDK,值得我们是参考。
我选择从小米应用市场下载热门APP作为数据分析样本,选择应用排行靠前的1000余款APK,我只选择分析应用类APP,把游戏类的过滤掉了。

       应用排行榜界面的url格式是这种:http://app.mi.com/topList?page=xx,使用HttpClient获取这些页面网页源码,再使用HTMLparser解析网页源码获取每一个APP的详情url地址,APP详情地址的格式是这种:http://app.mi.com/details?id=app包名,然后在APP详情页面解析出APK的下载地址并下载该APK。除了APK的下载地址以外还可以通过这个界面获取APP的其他基本信息,如有需要可以保存到数据库,我的是存在tools_app_info表中。

3. 反编译APK

下载完APK以后要做的工作就是反编译APK了,这里我们就要用到抢到的APKTool。这一步其实很简单,大家知道JAVA里面可以直接运行脚本命令的,使用一下命令即可反编译APK。

Runtime.getRuntime().exec("java -jar apktool.jar d -f "+apkPath+" -o "+outPath)

这里可能有人会问,反编译出来的是smali文件,有什么用处呢?反编译以后有两部分内容对我们有用smali为前缀的目录以及AndroidManifest.xml。通过AndroidManifest.xml可以获取apk的基本信息,如有需要可以使用XML解析工具解析,我这里是使用SAX计息AndroidManifest.xml并且获取每个APP的进程数、广播接收器的数量以及权限等信息。以smali为前缀的目录是我们主要使用的数据。大家知道每一个SDK的包名基本上是唯一的,很少有重复,而java文件的包名和目录名是有对应关系的,通过获取smali文件所在的路径即可知道这个APK的所有包名。就这样把APK的包名全部收集起来存放到数据库中备用。这里大家要注意的是在收集包名的时候可以做一下初步筛选,把一些没有用的或者是APK本身的包名直接过滤,可提高采集效率并且避免采集一些垃圾数据。把这些信息存在tools_app_packages表中。

4.关联SDK

这一步真的是苦力活,是一不干着想吐的活,是这个SDK采集过程中唯一需要人工完成的。上一步我们已经搜集了所有APP使用的包名,这一步我们需要检查这些包名,如果是非第三方SDK则删掉,如果是SDK则备注SDK名称以及备注,方便后续查找。

5.前端界面

后台已经搭建好了,大家可以根据需要稍微完善,比如我们已经记录了每个app的下载地址,可以定时更新。现在我们这里要做的就是开发一个前端界面,用于可视化操作查询,这一部分没什么讲的,就是写接口调接口而已,直接上效果图:
搜索界面

详情界面:

6. 其他

以上哪里写的不对或者有待赶紧,欢迎大家提意见,谢谢!
SDK查询地址:http://www.soshuba.com/searchApp.do
转载请注明出处:http://www.luoxudong.com/?p=210

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,829评论 1 331
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,603评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,846评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,600评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,780评论 3 272
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,695评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,136评论 2 293
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,862评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,453评论 0 229
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,942评论 2 233
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,347评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,790评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,293评论 3 221
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,839评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,448评论 0 181
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,564评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,623评论 2 249

推荐阅读更多精彩内容