DexDiff:基于dex文件反编译生成dex增量包

前段时间微信分享了一篇文章——微信Android热补丁实践演进之路, 这篇文章主要讲了目前流行的Android热修复方案,同时微信在QZone方案的基础上优化出一套dex全量替换的热修复方案(Tinker)。个人认为微信的这套方案尽管规避掉了Qzone方案中插桩导致的问题,但是由于需要在运行时加载全量的dex,这可能会在运行时内存占用上有一定的影响,目前这个仅仅是猜测,有待调研。

GitHub上已有Tinker方案仿版——Tinker_imitator,但带有个人感情色彩且不负责任地说,这套方案基本是堆砌各项技术然后封装成套装,应该属于比较糙的仿版,方案在生成差分dex的时候采用的是现成的bsdiff算法,这个通用的二进制差分算法很牛逼,但由于不能很好的利用dex本身的结构,因此会导致可能仅仅添加一句代码也需要下发不小的增量包(参考chrome增量更新小胡瓜中的见解),相对于微信文章中提到的自研DexDiff算法来说,这个就相对弱一点了。

这么一大段背景介绍,我想表达的是我认为微信这篇文章对我而言最关键的价值在于DexDiff的概念,看完这篇文章之后,我去学习了bsdiff算法,学习完发现bsdiff算法用于apk的增量更新或许不错,但是用来做dex的增量包的确是少了许多对dex进行量身定制的优势,于是我尝试去思考如何根据dex的数据格式来实现DexDiff,本文主要分享我的一些思路,希望起到抛砖引玉的作用。

dex文件格式

dex文件是运行在Dalvik中的字节码文件,类似于运行于JVM中的class文件,熟悉class文件格式的同学应该很容易理解,dex文件的布局可以用下图来进行说明:

dex文件布局

如果想更细致地了解dex文件中每部分数据的具体格式以及意义,请移步至官方文档Dalvik Executable format,建议可以使用010 Editor学习dex文件,当打开dex文件时该编辑器会自动推荐安装解析dex文件的插件,安装完插件便能与dex文件愉快地玩耍了。

反编译dex文件

了解了dex文件的基本格式之后,就可以开始dex文件的反编译之旅了,Android反编译套装(apktool、smail、dex2jar、jd-gui)现在基本是居家必备了,而今天要出场的大牌就是dex2jar(~~Orz),dex2jar采用了跟asm一样的套路,摇身一变便成了解析和生成dex文件的神器,建议没看过asm源码的Android开发小伙伴,可以直接撸一把dex2jar的源码,相信会有不少收获,至少对了解dex文件的内部数据格式来讲,会得到量与质的提升。源码都亮出来了,似乎没必要在解释下去了,但是为了能够圆润地过渡,我决定还是说明下dex2jar解析完dex文件后的数据结构:

dex2jar解析完dex文件后的数据结构

dex2jar实际上是依据Java中Class的属性来设计数据结构的,自上而下,一目了然。同时,数据结构中的各项数据都能在dex文件找到对应的数据块:比如className对应于dex文件格式中的type_id_item,而type_id_item指向的是string_id_item,通过string_id_item中的偏移便可以定位到data section中相应的string_data_item,从而解析出类字符串;再比如annotations对应于dex中的annotation_set_item,而annotation_set_item包含多个annotation_item,每一个annotation_item都可以通过其encoded_annotation解析出对应的type_id_item以及包含的key-value对,从而可以得到修饰类、字段或方法的注解数据。如果想要更全面更细致地了解如何解析dex文件得到上述数据结构集,请撸dex2jar

dex文件的差分与合成

前奏终于结束了,可以开始正题了,不过不要担心,因为正二八经的内容会比你想象的少很多。DexDiff的目的在于对比新旧dex生成补丁数据,然后利用补丁数据和旧dex合成新dex,目前DexDiff的实现中,我的思路是这样的:

  1. 基于dex2jar库反编译新旧dex
  2. 逐个对比新旧dex中的class:
    • 若class仅存在于旧dex,保存旧dex中的class至deleteClasses
    • 若class仅存在于新dex,保存新dex中的class至replaceClasses
    • 若class存在于新旧dex,但class数据不一致,保存新dex中的class至replaceClasses
  3. 编译得到的replaceClasses得到replace.dex
  4. 记录deleteClasses中类的标识字符串得到delete.data
  5. 根据replace.dex、delete.data以及旧dex便可以使用dex2jar编译得到新dex

其中对比新旧dex中两个对应的class以确定其是否一致时,采用的方式是逐个对比class中的属性(accessFlags,superClass,interfaces,fields,methods等),若有一项属性不一致则定义该class为需要用新dex中数据替换旧dex中对应数据。通过这样的方式可以实现class粒度上的dex差分,这样程度的差分可以应用于生成QZone方案中的热修复补丁包了,如果做增量更新的话,class粒度下的增量包大小也是可以接受的。实现DexDiff的思路就是这么简单粗暴,但是在实现的过程中还是也还是一波三折,尤其是在比较method中的指令部分时遇到了不少坑,项目源码已经上传至GitHub DexDiff

优化思路

目前版本中做差分的粒度是class,但是实际上同样的思路可以实现method粒度以及instruction粒度的差分。方法级别的差分做法应该可以完全照搬class级别的差分做法;而instruction粒度的差分需要做适当的调整和改进,因为instruction级别不能像class或method一样可以直接整个替换,我们需要对比指令的语义,并且记录指令的删除或插入位置偏移,初步的想法是可以设计自己的数据格式来存储这些指令差异,但这在我估计总体的实现难度跟class粒度方案比应该不在一个量级,并且应用instruction粒度方案时的整体的稳定性、兼容性等都将是较大的挑战,单从技术上来讲还是值得试的,如果后续完成实践再分享。

GitHub

DexDiff:求围观_

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,425评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,058评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,186评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,848评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,249评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,554评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,830评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,536评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,239评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,505评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,004评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,346评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,999评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,060评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,821评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,574评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,480评论 2 267

推荐阅读更多精彩内容