美团热更新方案 ASM 实践

作者:李楠,环信 Android 工程师

从《Android热更新方案 Robust》一文可知,美团热更新使用的是 Instant Run 的方案。本文将着重于分享美团热更新方案中没讲到的部分,包含以下几个方面:

作为云服务提供厂商,需要提供给客户 SDK,SDK 发布后同样要考虑 Bug 修复问题。此处将介绍作为 SDK 发布者的热更新方案选型,即为什么使用美团方案&Instant Run 方案。

美团方案实现的大致结构;

ASM 插桩的过程,字节码导读,以及遇到的各种坑。

方案选择

我们公司提供即时通讯服务,同时需要提供给用户方便集成的即时通讯 SDK,每次 SDK 发布的同时也面临 SDK 发布后紧急 Bug 的修复问题。现在市面上的热更新方案普遍不适用 SDK 提供方使用。以阿里的AndFix和微信的Tinker为例,都是直接修改并合成新的 Apk。这样做对于普通 App 没有问题,但是对于 SDK 提供方是不可以的,SDK 发布者不能够直接修改 Apk,这个事情只能由 App 开发者来进行。

Tinker 方案如图:

女娲(Nuwa)方案,由大众点评 Jason Ross 实现并开源,其在classLoader过程中,将自己的修改后的patch类所在的dex, 插入到dex队列前面,这样在classloader按照类名字加载的时候会优先加载patch类。

女娲方案如图:

Nuwa 方案有一个条件约束,就是每个类都要插桩,插入一个类的引用,并且这个被引用类需要打包到单独的dex文件中,这样保证每个类都没有被打上CLASS_ISPREVERIFIED标志。

具体详细描述在早期的 hotpatch 方案:《Android App 热补丁动态修复技术介绍》。

作为 SDK 提供者,只能提供 jar 包给用户,无法约束用户的dex生成过程,所以 Nuwa 方案无法直接应用。女娲方案是开源的,而且其中提供了 ASM 插桩示例,对于后面应用美团方案有很好参考意义。

美团& Instant Run 方案

美团方案也就是 Instant Run 的方案基本思路就是在每个函数都插桩,如果一个类存在 Bug,需要修复,就将插桩点类的changeRedirect字段从null值变成patch类。基本原理在美团方案中有讲述,但是美团文中没有讲最重要的一个问题,就是如何在每一个函数前面插桩,下面会详细讲一下。Patch 应用部分,这里忽略,因为是 Java 代码,大家可以反编译 Instant Run.jar,看一下大致思路,基本都能写出来。

插桩

插桩的动作就是在每一个函数前面都插入PatchProxy.isSupport...PatchProxy.accessDisPatch这一系列代码(参看美团方案)。插桩工作直接修改class文件,因为这样不影响正常代码逻辑,只有最后打包发布的时候才进行插桩。

插桩最常用的是 asm.jar。接下来的部分需要用户先了解 asm.jar 的大致使用流程。了解这个过程最好是找个实例实践一下,光看介绍文章是看不懂的。

ASM 有两种方式解析class文件,一种是 core API, “provides an event based representation of classes”,类似解析 XML 的 SAX 的事件触发方式、遍历类以及类的字段,类中的方法,在遍历的过程中会依次触发相应的函数,比如遍历类函数时,触发visitMethod(name, signature...),用户可以在这个方法中修改函数实现。

另外一种是 tree API, “provides an object based representation”,类似解析 XML 中的 DOM 树方式。本文中,这里使用了 core API 方式。asm.jar 有对应的 manual asm4-guide.pdf,需要仔细研读,了解其用法。

使用 asm.jar 把 java class 反编译为字节码

反编译为字节码对应的命令是

java -classpath"asm-all.jar"org.jetbrains.org.objectweb.asm.util.ASMifierState.class

这个地方有一个坑,官方版本 asm.jar 在执行 ASMifier 命令的时候总是报错,后来在 Android Stuidio 的目录下面找一个 asm-all.jar 替换再执行就不出问题了。但是用 asm.jar 插桩的过程,仍然使用官方提供的 asm.jar。

插入前代码:

classState{longgetIndex(intval) {return100;    }}

ASMifier 反编译后字节码如下:

mv = cw.visitMethod(0,"getIndex","(I)J", null, null);mv.visitCode();mv.visitLdcInsn(new Long(100L));mv.visitInsn(LRETURN);mv.visitMaxs(2,2);mv.visitEnd();

插桩后代码:

longgetIndex(inta) {if($patch !=null) {if(PatchProxy.isSupport(newObject[0],this, $patch,false)) {return((Long) com.hyphenate.patch.PatchProxy.accessDispatch(newObject[] {a},this, $patch,false)).longValue();        }    }return100;}

ASMifier 反编译后代码如下:

mv = cw.visitMethod(ACC_PUBLIC,"getIndex","(I)J", null, null);mv.visitCode();mv.visitFieldInsn(GETSTATIC,"com/hyphenate/State","$patch","Lcom/hyphenate/patch/PatchReDirection;");Label l0 = new Label();mv.visitJumpInsn(IFNULL, l0);mv.visitInsn(ICONST_0);mv.visitTypeInsn(ANEWARRAY,"java/lang/Object");mv.visitVarInsn(ALOAD,0);mv.visitFieldInsn(GETSTATIC,"com/hyphenate/State","$patch","Lcom/hyphenate/patch/PatchReDirection;");mv.visitInsn(ICONST_0);mv.visitMethodInsn(INVOKESTATIC,"com/hyphenate/patch/PatchProxy","isSupport","([Ljava/lang/Object;Ljava/lang/Object;Lcom/hyphenate/patch/PatchReDirection;Z)Z", false);mv.visitJumpInsn(IFEQ, l0);mv.visitIntInsn(BIPUSH,1);mv.visitTypeInsn(ANEWARRAY,"java/lang/Object");mv.visitInsn(DUP);mv.visitIntInsn(BIPUSH,0);mv.visitVarInsn(ILOAD,1);mv.visitMethodInsn(INVOKESTATIC,"java/lang/Integer","valueOf","(I)Ljava/lang/Integer;", false);mv.visitInsn(AASTORE);mv.visitVarInsn(ALOAD,0);mv.visitFieldInsn(GETSTATIC,"com/hyphenate/State","$patch","Lcom/hyphenate/patch/PatchReDirection;");mv.visitInsn(ICONST_0);mv.visitMethodInsn(INVOKESTATIC,"com/hyphenate/patch/PatchProxy","accessDispatch","([Ljava/lang/Object;Ljava/lang/Object;Lcom/hyphenate/patch/PatchReDirection;Z)Ljava/lang/Object;", false);mv.visitTypeInsn(CHECKCAST,"java/lang/Long");mv.visitMethodInsn(INVOKEVIRTUAL,"java/lang/Long","longValue","()J", false);mv.visitInsn(LRETURN);mv.visitLabel(l0);mv.visitFrame(Opcodes.F_SAME,0, null,0, null);mv.visitLdcInsn(new Long(100L));mv.visitInsn(LRETURN);mv.visitMaxs(4,2);mv.visitEnd();

对于插桩程序来说,需要做的就是把差异部分插桩到代码中。

需要将全部入参传递给patch方法,插入的代码因此会根据入參进行调整,同时也要处理返回值.

可以观察上面代码,上面的例子显示了一个int型入参 a,装箱变成Integer,放在一个Object[]数组中,先后调用isSupport和accessDispatch,传递给patch类的对应方法,patch返回类型是Long,然后调用longValue,拆箱变成long类型。

对于普通的 Java 对象,因为均派生自 Object,所以对象的引用直接放在数组中;对于primitive类型(包括 int, long, float….)的处理,需要先调用Integer,Boolean,Float等 Java 对象的构造函数,将primitive类型装箱后作为 object 对象放在数组中。

如果原来函数返回结果的是primitive类型,需要插桩代码将其转化为primitive类型。还要处理数组类型,和void类型。Java 的primitive类型在Java Virtual Machine Specification中有定义。

这个插入过程有两个关键问题,一个是函数 signature 的解析,另外一个是适配这个参数变化插入代码。下面详细解释下:

@OverridepublicMethodVisitor visitMethod(int access,Stringname,Stringdesc,Stringsignature,String[] exceptions){

这个函数是 asm.jar 访问类函数时触发的事件,desc 变量对应 Java jni 中的signature,比如这里是'(I)J', 需要解析并转换成primitive类型、类、数组、void。这部分代码参考了 Android 底层的源码libcore/luni/src/main/java/libcore/reflect,和 Sun Java 的SignatureParser.java,都有反映了这个遍历过程。

关于 Java 字节码的理解,汇编指令主要是看Java bytecode instruction listings

理解 Java 字节码,需要理解 JVM 中的栈的结构。JVM 是一个基于栈的架构。方法执行的时候(包括main方法),在栈上会分配一个新的帧,这个栈帧包含一组局部变量。这组局部变量包含了方法运行过程中用到的所有变量,包括this引用,所有的方法参数,以及其它局部定义的变量。对于类方法(也就是static方法)来说,方法参数是从第 0 个位置开始的,而对于实例方法来说,第 0 个位置上的变量是 this 指针。(引自:Java 字节码浅析

分析中间部分字节码实现:

com.hyphenate.patch.PatchProxy.accessDispatch(new Object[] {a}, this, $patch, false))

对应字节码如下,请对照Java bytecode instruction listings中每条指令观察对应栈帧的变化,下面注释中'[]'中表示栈帧中的内容。

mv.visitIntInsn(BIPUSH,1);# 数字 1 入栈,对应 new Object[1]数组长度 1。 栈:[1]mv.visitTypeInsn(ANEWARRAY,"java/lang/Object");# ANEWARRY:count(1) → arrayref, 栈:[arr_ref]mv.visitInsn(DUP);# 栈:[arr_ref, arr_ref]mv.visitIntInsn(BIPUSH,0);# 栈:[arr_ref, arr_ref, 0]mv.visitVarInsn(ILOAD,1);# 局部变量位置 1 的内容入栈, 栈:[arr_ref, arr_ref, 0, a]mv.visitMethodInsn(INVOKESTATIC,"java/lang/Integer","valueOf","(I)Ljava/lang/Integer;",false);# 调用 Integer.valueOf, INVOKESTATIC: [arg1, arg2, ...] → result, 栈:[arr_ref, arr_ref, 0, integerObjectOf_a]mv.visitInsn(AASTORE);# store a reference into array: arrayref, index, value →, 栈:[arr_ref]mv.visitVarInsn(ALOAD,0);# this 入栈,栈:[arr_ref, this]mv.visitFieldInsn(GETSTATIC,"com/hyphenate/State","$patch","Lcom/hyphenate/patch/PatchReDirection;");#$patch 入栈,栈:[arr_ref, this, $patch]mv.visitInsn(ICONST_0);#false 入栈, # 栈:[arr_ref, this, $patch, false]mv.visitMethodInsn(INVOKESTATIC,"com/hyphenate/patch/PatchProxy","accessDispatch","([Ljava/lang/Object;Ljava/lang/Object;Lcom/hyphenate/patch/PatchReDirection;Z)Ljava/lang/Object;",false);# 调用 accessDispatch, 栈包含返回结果,栈:[longObject]

熟悉上面的字节码以及对应的栈帧变化,也就掌握了插桩过程。

ClassVisitor.visitMethod()中access如果是ACC_SYNTHETIC或者ACC_BRIDGE,插桩后无法正常运行。ACC_SYNTHETIC表示函数由 JAVAC 自动生成的,enum类型就会产生这种类型的方法,不需要插桩,直接略过。因为观察到模版类也会产生ACC_SYNTHETIC,所以插桩过程跳过了模版类。

ClassVisitor.visit()函数对应遍历到类触发的事件,access如果是ACC_INTERFACE或者ACC_ENUM,无需插桩。简单说就是接口和enum不涉及方法修改,无需插桩。

静态方法的实现和普通类成员函数略有出入,对于汇编程序来说,本地栈的第一个位置,如果是普通方法,会存储this引用,static方法没有this,这里稍微调整一下就可以实现的。

不定参数由于要求连续输入的参数类型相同,被编译器直接变成了数组,所以对本程序没有造成影响。

大小

插桩因为对每个函数都插桩,反编译后看实际上增加了大量代码,甚至可以说插入的代码比原有的代码还要多。但是实际上最终生成的 jar 包增长了大概 20% 多一点,并没有想的那么多,在可接受范围内。因为class所占的空间不止是代码部分,还包括类描述、字段描述、方法描述、const-pool等,代码段只占其中的不到一半。可以参考The class File Format

讨论

前面代码插桩的部分和美团热更文章中保持一致,实际上还有些细节还可以调整。isSupport这个函数的参数可以调整如下:

if(PatchProxy.isSupport(“getIndex”,"(I)J",false)) {

这样能减小插桩部分代码,而且可以区分名字相同的函数。

PatchProxy.isSupport最后一个参数表示是普通类函数还是static函数,这个是方便 Java 应用 patch 的时候处理。

源码地址:https://github.com/easemob/empatch

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,165评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,720评论 1 298
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,849评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,245评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,596评论 3 288
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,747评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,977评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,708评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,448评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,657评论 2 249
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,141评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,493评论 3 258
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,153评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,108评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,890评论 0 198
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,799评论 2 277
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,685评论 2 272

推荐阅读更多精彩内容

  • /Library/Java/JavaVirtualMachines/jdk-9.jdk/Contents/Home...
    禅与计算机程序设计艺术阅读 3,764评论 2 8
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 170,577评论 25 707
  • 背景: 阅读新闻 11G ASM磁盘组不能自动MOUNT处理 [日期:2016-01-12] 来源:Linux社区...
    yanglei3849阅读 3,664评论 0 2
  • 近几天出差在外一直回不去,心里急。家里女儿上补习课兴趣班都要自己坐公交来回。虽然前几周也是她自己坐公交来回,但我们...
    天已晴了阅读 138评论 0 0
  • 五月 悄无声息地过了三分之二,还剩不到3天 美好日子总是很快过去,时有困境,时有快乐。每天都是杂着各种情绪,但我们...
    后半月阅读 119评论 0 0