从Swift桥接文件到Clang-LLVM

前言

今天在Swift工程中不小心创建了一个OC文件,于是乎提示我创建一个桥接文件,那么为什么需要创建桥接文件呢,它的原理又是什么呢?

打开百度一搜,全是教你怎么创建桥接文件的,似乎找不到答案~

swift桥接文件原理搜索结果

LVVM - Low Level Virtual Machine
Clang - C Lange Family Frontend for LVVM

编译器探究

  • GCC

GNU编译器套件(GNU Compiler Collection)包括C、C++、Objective-C、Fortran、Java、Ada和Go语言的前端,也包括了这些语言的库(如libstdc++、libgcj等等)

早起的OC 程序员都感受过GCC编译程序,但是苹果为什么好好的GCC不用,自己要搞一套呢?

1.GCC 的 Objective-C Frontend不给力:GCC的前端不是苹果提供维护的,想要添加一些语法提示等功能还得去求GCC的前端去做。

2.GCC 插件、工具、IDE的支持薄弱:很多编译器特性没有,自动补全、代码提示、warning、静态分析等这些流程不是很给力,都是需要IDE调用底层命令完成的,结果需要以插件的形式暴露出来,这一块GCC做的不是很好。

3.GCC 编译效率和性能不足:Apple的Clang出来以后,其编译效率是GCC的3倍,编译器性能好,编译出的文件小。

4.Apple要收回去工具链的控制 (lldb, lld...): Apple在早起从GCC前端到LLVM后端的编译器,到Clang-LVVM的编译器,以后后来的GDB的替换,一步一步收回对编译工具链的控制,也为Swift 的出现奠定基础。

  • Three-Phase 编译器架构
Three-Phase编译器架构

上图是最简单的三段式编译器架构。

首先,我们看到source 是我们的源代码,进入编译器的前端Frontend;在前端完成之后,就进入优化器这一模块;优化完成之后进入后端这一模块;在这全部完成之后,根据你的架构是x86,armv7等生产机器码。

但是会有一个问题:

M (Language) * N (Target) = M * N (Compilers)

就是如果你有M种语言(C、C++、Objective-C...),N种架构(armv7、armv7s、arm64、i386、x86_64...),那么你就有M * N中编译方式需要处理,显然是不合理的。

  • appleClang/Swift - LLVM 编译器架构:
这里写图片描述

其中优化器部分(Common Optimizer)是共享的。而对于每一种语言都有其前端部分,假如新有一门语言,只需要实现该语言的前端模块;如果新出一台设备,它的架构不同,那么也只需要单独完成其后端模块即可。改动非常小,不会做重复的工作。

下面详解:

Clang/Swift - LLVM 编译器架构

蓝色的部分:C语言家族系列的前端,属于Clang部分。

绿色的部分: Swift语言的前端,其中还包含自己的SIL中间语言和Optimzer中间语言的优化过程。

紫色的部分: 优化阶段和后端模块统一是LLVM部分。

  • 代码规模

Clang + LLVM 代码模块总共有400W行代码,其中主体部分是C++写的,大概有235W行。如果将所有的target,lib等文件编译出来,大概有近20G的大小:

这里写图片描述

对比Swift Frontend 代码规模,就少很多,只有43W行左右。可能在后端,比如优化器策略,生成机器码部分就有很多代码:

这里写图片描述
  • Clang命令

Clang在概念上是编译器前端,同时,在命令行中也作为一个“黑盒”的 Driver;

它封装了编译管线、前端命令、LLVM命令、Toolchain命令等,即一个Clang走天下;

方便从GCC迁移过来。

当我们点击run命令以后,如下图:

这里写图片描述

就是我们在build setting中的一些设置,组装成命令,下面可以看到是一个 oc文件在arc环境下的编译过程:

这里写图片描述
  • 拆解编译过程
#import <Foundation/Foundation.h>

int main() {
    @autoreleasepool {
        id obj = [NSObject new];
        NSLog(@"Hellow world: %@", obj);
    }
}

1.Preprocess - 预处理

import 头文件,include头文件等
macro宏展开
处理'#'大头的预处理指令,如 #if,#elseif等

终端输入:

$ clang -E main.m

只会做预处理步骤,不往后面走,如下

这里写图片描述

可以看到一个头文件要导入很多行代码,这里就要说到pch文件。本身Apple给出这个文件,是让我们放入Foundation或者UIKit等这些根本不会变的库,优化编译过程,但是开发者却各种宏,各种头文件导入,导致编译速度很慢。以至于后来苹果删除了这个文件,只能开发者自己创建。但是苹果提供modules这个概念,可以通过以下命令打开:

$ clang -E -fmodules main.m

默认把一些文件打包成库文件, 在build setting中默认打开的,我们可以用@import Foundation:

这里写图片描述

2.Lexical Analysis - 词法分析

词法分析,也作Lex 或者 Tokenization
将预处理过得代码文本转化为Token流
不会校验语义

可以在终端输入以下命令:

$ clang -fmodules -fayntax-only -Xclang -dump-tokens main.m

如下图:


这里写图片描述

3.Analysis - 语法分析

语法分析,在Clang中有Parser和Sema两个模块配合完成,验证语法是否正确,并给出正确的提示。这就是Clang标榜GCC,自己的语法提示友好的体现。

根据当前的语法,生成语意节点,并将所有节点组合成抽象语法书(AST)

输入命令:

$ clang -fmodules -fsyntax-only -Xclang -ast-dump main.m

如下图:


这里写图片描述

可以通过语法树,反写回源码,如下图:

这里写图片描述

4.Static Analysis - 静态分析(不是必须的)

通过语法书进行代码静态分析,找出非语法性错误
模拟代码执行路径,分析出 contro-flow graph (CFG)
预置了常用的 Checker

在Xcode中如下操作可以实现:

这里写图片描述

5.CodeGen - IR 代码生成

CodeGen负责将语法树从顶至下遍历,翻译成LLVM IR,LLVMIR 是Frontend的输入,也是LLVM Backend 的输入,是前后端的桥接语言。

与Objective-C Runtime 桥接

①Class / Meta Class / Protocol / Category 内存结构生成,并存放在指定 session中(如Class: _DATA, _objc_classrefs)

②Method / Ivar / Property 内存结构生成

③组成 method_list / ivar_list / property_list并填入Class

④Non-Fragile ABI: 为每个Ivar合成 OBJC_IVAR_$_偏移常量

⑤存取 Ivar的语句(ivar = 123; int a = ivar;) 转写成base + **OBJC_IVAR$**的形式

⑥将语法树中的 ObjCMessageExpr 翻译成相应版本的objc_msgSend,对super关键字的调用翻译成objc_msgSendSuper

⑦处理@synthsynthesize

⑧生成 block_layout 的数据结构

⑨变量 capture (__block/ __weak)

10.生成_block_invoke函数

11.ARC: 分析对象引用关系,将 objc_storeStrong/ objc_storeWeak 等ARC 代码插入

12.将 ObjCAutoreleasePoolStmt 转译成objc_autoreleasePoolPush/Pop

13.实现自动调用[super dealloc]

14.为每个拥有 ivarClass 合成.cxx_destructor 方法来自动释放类的成员变量,代替MRC 时代下的"self.xxx = nil"

举个栗子,嘿嘿:


这里写图片描述

终端输入:

$ clang -S -fobjc-arc -emit-llvm main.m -o main.m

输入如下:


这里写图片描述

介于C和汇编的中间形态。

如果加入优化:

$ clang -O3 -S -fobjc-arc -emit-llvm main.m -o main.m
这里写图片描述

明显感觉少了很多。

6. LVVM Bitcode - 生成字节码

输入命令:

$ clang -emit-llvm -c main.m -o main.bc
这里写图片描述

相信大家在iOS 9之后都听过这个概念,其实就是对IR生成二进制的过程。

7.Assemble - 生成Target相关汇编

终端输入:

$ clang -S -fobjc-arc main.m -o main.s

如下图:

这里写图片描述

汇编代码。

8.Assemble - 生成Target相关 Object(Mach-o)
终端输入:

$ clang -fmodules -c main.m -o main.o
这里写图片描述

汇编的main.o的形式。

9.Link 生成 Executable

终端输入:

$ clang main.m -o main
$ ./main
这里写图片描述

总结一下吧:


这里写图片描述

至此,我猜测可能桥接文件是在Clang阶段,将OC文件进行编译,生成语法树,然后再返成Swift能识别的类文件。

  • 我们能在Clang上做什么?

Apple给我们留了3个接口:

1.LibClang
功能:
①C 的API来访问Clang的上层能力,比如获取Tokens、遍历语法树、代码补全、获取诊断信息;
②API稳定,不受Clang源码更新影响
③只有上层的语法树可以访问,不能获取到全部信息
④使用原始的 C的API
⑤脚本语言: 使用官方提供的 python binding 或开源的 node-js / ruby binding
⑥Objective-C: 开源库 ClangKit

2.LibTooling
①对语法树 有完全的控制权
②可作为一个 standalone 命令单独使用,如 clang-format
③需要使用C++且对Clang源码熟悉

3.ClangPlugin
①对语法树有完全的控制权
②作为插件注入到编译流程中,可以影响build和决定编译过程
③需要使用C++且对Clang源码熟悉

结语

  最后感谢孙源(我就叫Sunny怎么了)的分享,而且希望感兴趣的小伙伴可以阅读《程序员的自我修养》这本书,想要高阶资料,那么“龙书”将是你的不二之选。

  如果本文中有错误的地方,欢迎指正,邮箱: ed_sun0129@163.com,github: https://github.com/edsum

参考资料:

http://clang.llvm.org/docs/index.html
http://blog.llvm.org/
https://www.objc.io/issues/6-build-tools/compiler/
http://llvm.org/docs/tutorial/index.html
https://github.com/loarabia/Clang-tutorial
http://lowlevelbits.org/getting-started-with-llvm/clang-on-os-x/
https://hevinaboos.wordpress.com/2013/07/23/clang-tutorial-part-i-introducation/
http://szelei.me/code-generator/

  • 《Getting Started with LLVM Core Libraries》
  • 《LLVM Cookbook》
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容