编译原理笔记12:自上而下语法分析(2)非递归预测分析器、FIRST & FOLLOW 集合计算

本系列为个人编译原理学习笔记,谬误之处恳请高人指点,感激不尽!

内容整理自西安电子科技大学 王小兵、张南老师的编译原理课程。


使用预测分析器的自上而下分析

使用预测分析器进行的自上而下分析是非递归的。预测分析器模型其实是一种 PDA(下推自动机,Pushdown Definite Automata),其结构如下图所示

上图中的“有限状态转移控制”类似于词法分析中的自动机。下推自动机在单纯的自动机旁增加了一个下推栈。将该模型进一步具体化,即得到预测分析器模型,如下图所示。

这里的“驱动器”,是一个能够控制读写头读取输入记号流中记号的算法,该算法要综合读到的记号、下推栈情况和预测分析表的内容,来修改符号栈和控制输出。

PDA 可以识别形如 :ωcωr 的串,这样的串是 DFA 无法识别的,这类串也无法使用正规式进行描述。( ωr 的意思是终结符序列 ω 的反转形式,比如 ababcbaba)。而对于形如 CSG 那种的 ωcω 串,则 PDA 也无法进行识别。

预测分析器通过【格局与格局的变换】进行分析。

格局

格局是一个三元组 (栈顶元素^top,剩余输入^ip,改变格局的动作),改变格局的动作通过查表确定,具体动作包括:展开非终结符、匹配终结符、报告分析成功(^top= ^ip=#)、报告出错(遇到上述情况之外的其他情况,要调用错误恢复例程)

我们可以将预测分析器看作一个逐步运行(Step)的机器,每一个 step 都会让预测分析器到达一个新的 格局 ,直到到达接收格局为止(或者到达出错格局,即发现语法错误。比如推出来的终结符和读写头读到的终结符不一样,或者栈顶和读写头当前指向的终结符所对应的预测分析表元素为空)

使用预测分析器进行分析的实例

预测分析器需要借助预测分析表来构造语法分析树。

在进行语法分析时,预测分析器根据符号栈(下推栈)栈顶元素和驱动器读写头指向的记号流中的记号来查询预测分析表,根据预测分析表中对应项的情况来决定下一步的操作。预测分析表形式如下:

预测分析表的行首是非终结符,列首是终结符。

  • 当栈顶是非终结符时,展开:需要根据预测分析表查到候选项,然后使用该候选项来展开栈顶的非终结符——弹出栈顶非终结符,将表中的对应项逆序压入到下推栈中(注意顺序,产生式右部是反着压进去的,因为总要保持从左到右推导)。
  • 当栈顶时终结符时,匹配:若此时栈顶的终结符与驱动器读写头读到的终结符相同,则将该栈顶元素弹出,同时读写头向后移动一个记号。

对于消除了左递归和公共左因子的如下 CFG,我们可以根据其来构造一个预测分析表(具体构造方式留到后面再说)

L → E;L|ε
E → TE'
E' → +TE'|-TE'|ε
T → FT'
T' → *FT'|/FT'|mod FT'|ε
F → (E)|id|num

我们根据如下算法,来进行非递归预测分析

其实,就是重复进行这样的操作:根据读写头指向的终结符、栈顶元素查预测分析表,不断把表中查到的元素压入栈顶。因为是从开始符号开始推导的,所以栈中会出现【根据预测分析表查到新的非终结符入栈】的情况。如果推导时栈顶是非终结符,则读写头不需要移动,一直指向之前停下的位置。但随着推导的进行,非终结符终究会推出终结符(这个终结符也要和前面非终结符一样,被压入栈),如果这个推导出来的、当前正好在下推栈栈顶的终结符和读写头指向的符号相同,那么就是【匹配上了】

下图说明了【栈顶是非终结符时,进行展开】的过程,执行非递归预测算法插图中的第二个红色虚线框内的代码:

下图同时说明了【栈顶是非终结符时,进行展开】和【栈顶是终结符时,进行匹配】的过程。对于后一个过程,执行非递归预测算法插图中的第一个红色虚线框内的代码:


FIRST、FOLLOW 集合的构造

预测分析表,其实是一个【为我们指明推导的方向】的工具。那么如何构造这个工具呢?

构造过程分为两步:1. 根据文法给出的产生式构造 FIRST、FOLLOW 集合,2. 根据这两个集合来构造预测分析表。

因此,FIRST、FOLLOW 集合的构造是这里的重中之重。

我们根据下面的块中的产生式来学习这两个集合

FIRST 集合

文法符号序列 α 的 FIRST 集合为: FIRST(α) = { a | α=> a...,a ∈ T },若 α=>ε ,则 ε ∈ FIRST(α)

说白了,FIRST(α) 就是 α 能推出来的所有串(aka. 文法符号序列)中的第一个终结符的集合。如果从某个非终结符开始,一步推不到终结符,那就多推几次。如果直接推出来个 ε,就把 ε 也加入当前 FIRST 集合。

我们以对上面写的产生式求 FIRST 集合为例,来了解怎么求 FIRST 集合。

  1. 求 FIRST 集合的过程要顺着我们的一堆产生式从下向上进行,也就是先求 FIRST(F),最后求 FIRST(L)。对于产生式 F → (E)|id|num,容易看出, F 经过一步推导能推出的所有串的第一个终结符有:(idnum,因此 FIRST(F) = { (, id, num }
  2. 对于产生式 T' → *FT'|/FT'|mod FT'|ε,T' 经过一步推导能推出的所有串的第一个终结符有:*/mod。而又因为 T' 能够直接一步推导出 ε,所以 ε 也要加入到 FIRST(T') 中,即 FIRST(T') = {*, /, mod, ε}
  3. 对产生式 T → FT',T 没有一步推导就能得到的终结符,所以要继续推导,再推导一步会得到:T=>FT'=>(E)T'T=>FT'=>idT'T=>FT'=>numT',由此我们可以看到,T 经过两步推导能够推导出的第一个终结符有:(idnum,(由于 F 推不出 ε,也就是说 F 无法被穿透,因此关于从 T 经过推导推出的第一个终结符就都和 F 的终结符相同了),因此 FIRST(T) = FIRST(F) = { (, id, num }
  4. 对于产生式 E' → +TE'|-TE'|ε ,与上面的 2 同理,可得 FIRST(E') = { +, -, ε }
  5. 对于产生式 E → TE',与上面的 3 同理,可得 FIRST(E) = FIRST(T) = FIRST(F) = { (, id, num }
  6. 对于产生式 L → E;L|ε,要结合上面的 3 和 2 一起理解。首先该产生式可以经过多步推导后得到终结符,这个和 3 同理。然后,该产生式本身也能推出 ε,这与 2 同理。最终可得:FIRST(T) = { ε, (, id, num }

即,最终可得:

FIRST(F/T/E) = { (  id  num }
FIRST(T’) = { *  /  mod  ε }
FIRST(E’) = { + -  ε }
FIRST(L)  = { ε  (  id  num }

FOLLOW 集合

非终结符 A 的 FOLLOW 集合如下: FOLLOW(A) = { a | S=*> ...Aa...,a∈T },若 A 是某句型的最右符号,则 #∈FOLLOW(A)

说白了,就是从开始符号可以导出的所有含 A 的文法符号序列中 A 之后的终结符。

举个例子的话大概是:FOLLOW(A) 是终结符的集合,从开始符号开始,经过多步推导得到的句型中有【Aa】,则FOLLOW集合中的元素就是这些 a。想要真正理解 FOLLOW 集合,建议尝试在脑内画一个下推栈进行推导(如果脑补不出来,那耐心点一步步画在纸上也是不错的选择),这样会简单许多。

我们以对上面写的产生式求 FOLLOW 集合为例,来了解怎么求 FOLLOW 集合。

  1. 求 FOLLOW 集合的过程要顺着产生式从上往下进行,也就是先求 FOLLOW(L),最后求 FOLLOW(F)。首先求第一个产生式 L → E;L|ε 左部的非终结符 L 的 FOLLOW 集合 FOLLOW(L)。
    因为我们想要寻找的是在经过推导后跟在 L 后面的终结符,因此我们要首先扫一眼全部的产生式,看看 L 都在哪些产生式中出现过以获取线索。很不幸,只在第一个产生式中出现过……如果选择 E;L 进行推导将导致 L 的递归——也就是说若只用这个产生式进行推导,无论怎么推都永远推不出一个紧随 L (除了#之外)的终结符,最终还是要面对只有 L 的问题。而若选择 ε 展开 L 则会导致 L 的穿透,暴露出文法的结束符号 # ,因此 FOLLOW(L) = {#}
  1. 再来看第二个产生式 E → TE',这一步我们求该产生式左部的非终结符 E 的 FOLLOW 集合 FOLLOW(E)。 因为我们想要寻找的是在经过推导后跟在 E 后面的终结符,因此我们先来整体看一下所有的产生式。可以发现非终结符 E 在第一行的产生式 L → E;L|ε 和最后一行的产生式 F → (E)|id|num 中都有出现。产生式 L → E;L|ε 说明,从开始符号 L 开始,经过一步推导得到 E;L ,即 L=*>...E;...因此我们要将 ; 加入到 FOLLOW(E) 中 。此外,我们还可以发现在最后一个产生式 F → (E)|id|num 中,E 后面接上了终结符 ),这说明,从开始符号 L 开始,经过多步推导,可以出现某一刻将 F 用 (E) 展开的情况——即:L=*>...(E)...,因此我们要将 ) 加入到FOLLOW(E) 中。除了这两个产生式之外,再也没有其他右部包含 E 的产生式,也就是说我们找完了 E 后面紧跟终结符的所有情况,故得到:FOLLOW(E) = { ;, ) }

  2. 再看第三个产生式 E' → +TE'|-TE'|ε ,这一步求 FOLLOW(E')。 经过观察,我们发现除了这个产生式本身,只有第二行的 E → TE' 中出现了 E' 。通过观察这两个产生式,我们可以发现:下推栈中的 E' 只有一个来源,就是被使用 E → TE' 展开 E 而来。那也就是说,之前在下推栈中【位于 E 下面的非终结符】将被 E' “继承”

因此, FOLLOW(E') = FOLLOW(E) = { ;, ) }

  1. 下面来看第四个产生式 T → FT' ,这一步求 FOLLOW(T)。 我们发现 T 还出现在第二个产生式 E → TE' 中,因此要将 FIRST(E') 加入到 FOLLOW(T) 中。而又因为 E' 可穿透,因此也要考虑 E' 穿透的情况,故要将 FOLLOW(E) 也加入到 FOLLOW(T) 中。另外,因为 FOLLOW 集合中不能包含 ε,故 ε 不能被加入到 FOLLOW(T) 中。最后,FOLLOW(T) = { +, -, ;, ) }

  2. 第五个产生式 T' → *FT'|/FT'|mod FT'|ε ,这一步求 FOLLOW(T')。 与上面的 3 同理,FOLLOW(T) 被 FOLLOW(T') ”继承“,得到 FOLLOW(T') = FOLLOW(T) = {+, -, ;, ) }

  3. 第六个产生式 F → (E)|id|num ,这一步求 FOLLOW(F)。 由产生式 T' → \*FT'|/FT'|mod FT'|ε 可知,FIRST(T') 应被加入 FOLLOW(F)。而 T' 可穿透,故 FOLLOW(T') 也应被加入 FOLLOW(F)。因此,FOLLOW(F) = { *, /, mod, +, -, ;, ) }

即,最终可得:

FOLLOW(L) = { # }
FOLLOW(E/E’) = { )  ; }
FOLLOW(T/T’) = { + - ; ) }
FOLLOW(F) = { + -  *  /  mod  )  ; }
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容