6.824 分布式系统 lab2 Part C

全部代码在我的GitHub,本文只做分析。

简介

这部分主要是做 Raft 的持久化,如果仅将状态保存在内存中,如果 server 挂了那就凉了。
在实际的系统中,每次改变 Raft 状态后我们会将其存在硬盘上,并且在重启时读取。

在本实验中,我们将用一个 Persister 结构体代替硬盘,调用 Raft.Maker() 时需要提供一个 Persister
Raft 会利用它进行初始化(Persister.ReadRaftState()),并在状态改变时保存状态(Persister.SaveRaftState())。

疑难解答

这个实验主要包含两个内容:

  • 完成持久化相关的内容
  • 完成 log 同步的加速

持久化

这部分比较简单,首先 readPersist()persist() 两个函数基本按照例子谢就好了。
需要同步的三个变量论文也告诉你了,就是 logvotedForcurrentTerm

调用 readPersist() 的地方就在 Make() 里,已经写好了。但是注意需要加个锁。

调用 persist() 的地方需要认真思考。这里有两种方案:

  1. 为上述三个变量加一个 setter,并在 setter 中调用 persist()
  • 简单无脑,但是会多很多重复或者无意义的 persist(),在实际系统中由于硬盘速度慢,会极大影响 Raft 性能
  1. 想清楚哪里需要 persist(),其实只有四种情况需要
  • 向 Leader 添加一个新的需要同步的 LogEntry 时
  • Leader 处理 AppendEntries 的回复,并且需要改变自身 term 时
  • Candidate 处理 RequestVote 的回复,并且需要改变自身 term 时
  • Receiver 处理完 AppendEntries 或者 RequestVote

因此选择方案 2 更为合适。

做完这部分后,应该通过除了 unreliable 的所有 tests。

加速 log 同步

这部分建议参考 Raft students guide
没做这个优化前,每个 AppendEntries RPC 只能检查一个 index。做了之后可以检查一个 term。

这个优化的核心思想就是让 AppendEntries 的 reply 能提供一些有用的信息给 Leader,
这样 Leader 就不用以最保守的方式(每次 decrement prevLogIndex)来尝试下一次同步 log。

首先我们为 reply 增加两个信息。

type AppendEntriesReply struct {
    Term    int  // 2A
    Success bool // 2A

    // OPTIMIZE: see thesis section 5.3
    ConflictTerm  int // 2C
    ConflictIndex int // 2C
}

这两个信息的意义是:

  • ConflictTerm: Follower 与 Leader 的不一致 log 的 term
    • 用于当 Leader 和 Follower 都拥有属于 ConflictTerm 的 LogEntry 时
    • Leader 会根据 ConflictTerm 来推算下一次请求使用的 prevLogIndex
  • ConflictIndex: Follower 希望 Leader 重新发送的 LogIndex
    • 用于当 Leader 没有属于 ConflictTerm 的 LogEntry 时
    • 不是简单的不一致的 log 的 index
    • 下一次请求的 prevLogIndex = ConflictIndex - 1

我觉得 Follower 收到请求后的处理可以分以下两个情况。

Case Description ConflictTerm ConflictIndex
1 Follower 的 log 不够新,prevLogIndex 已经超出 log 长度 -1(本次检查并没有发现冲突的 term) len(rf.logs) (希望从 Follower 的最后一个 index 开始下一次检查)
2 Follower prevLogIndex 处存在 log rf.logs[args.PrevLogIndex].Term Follower log 中属于ConflictTerm的第一个 index (期望下一次能检查之前的)

相关逻辑如下

// entries before args.PrevLogIndex might be unmatch
// return false and ask Leader to decrement PrevLogIndex
if len(rf.logs) < args.PrevLogIndex + 1 {
  reply.Success = false
  reply.Term = rf.currentTerm
  // optimistically thinks receiver's log matches with Leader's as a subset
  reply.ConflictIndex = len(rf.logs)
  // no conflict term
  reply.ConflictTerm = -1
  return
}

if rf.logs[args.PrevLogIndex].Term != args.PrevLogTerm {
  reply.Success = false
  reply.Term = rf.currentTerm
  // receiver's log in certain term unmatches Leader's log
  reply.ConflictTerm = rf.logs[args.PrevLogIndex].Term

  // expecting Leader to check the former term
  // so set ConflictIndex to the first one of entries in ConflictTerm
  conflictIndex := args.PrevLogIndex
  // apparently, since rf.logs[0] are ensured to match among all servers
  // ConflictIndex must be > 0, safe to minus 1
  for rf.logs[conflictIndex - 1].Term == reply.ConflictTerm {
     conflictIndex--
  }
  reply.ConflictIndex = ConflictIndex
  return
}

对于 Leader 接收到请求的结果,也要分情况处理

Case Description nextIndex
a Leader 的 log 中并不存在 ConflictTerm (包括 ConflictTerm = -1 的情况) ConflictIndex
b Leader 的 log 中存在 ConflictTerm Leader log 中属于 ConflictTerm 之后 的第一个 index (Follower 期望能检查 ConflictTerm 和 Leader 是否匹配)

相关逻辑如下

// log unmatch, update nextIndex[server] for the next trial
rf.nextIndex[server] = reply.ConflictIndex

// if term found, override it to
// the first entry after entries in ConflictTerm
if reply.ConflictTerm != -1 {
  for i := args.PrevLogIndex; i >= 1; i-- {
    if rf.logs[i-1].Term == reply.ConflictTerm {
      // in next trial, check if log entries in ConflictTerm matches
      rf.nextIndex[server] = i
      break
    }
  }
}

这部分最容易纠结的点就是到底应该如何设置 nextIndex。归纳起来就是:

  1. 优化以后,理想情况是一个 RPC 能够至少检验一个 Term 的 log。

  2. Follower 在 prevLogIndex 处发现不匹配,设置好 ConflictTerm,同时 ConflictIndex 被设置为这个 ConflictTerm第一个 log entry。如果 Leader 中不存在 ConflictTerm 则会使用 ConflictIndex 来跳过这整个 ConflictTerm 的所有 log。

  3. 如果 Follower 返回的 ConflictTerm 在 Leader 的 log 中找不到,
    说明这个 ConflictTerm 不会存在需要 replication 的 log。
    对下一个 RPC 中的 prevLogIndex 的最好的猜测就是将 nextIndex 设置为 ConflictIndex,直接跳过 ConflictIndex

  4. 如果 Follower 返回的 ConflictTerm 在 Leader 的 log 中找到,
    说明我们还需要 replicate ConflictTerm 的某些 log,此时就不能使用 ConflictIndex 跳过,
    而是将 nextIndex 设置为 Leader 属于 ConflictTerm 的 log 之后的 第一个 log,
    这样使下一轮 prevLogIndex 能够从正确的 log 开始。

总结

相对于 part B 简单一些。基本没什么坑。可能就是优化的实现比较复杂一些。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容