[LevelDB/源码]memdb的实现分析

LevelDB的数据插入首先会存储在内存表memdb内部,当数据量达到一定的大小之后才会被持久化到文件中。本文就内存数据表的结构及其操作相关源码进行分析。

1.memdb结构

memdb的定义如下, 该db内部有三个主要的数据结构:1).byte[]kvData 用于存储用户插入的key-value数据; 2).[]int 类型的nodeData 用于对kv数据建立一个调表格式的索引; 3).preNode,这是辅助nodeData的数据查询以及插入使用的,后续进行详细介绍。

type DB struct {
    cmp comparer.BasicComparer //key的比较器
    rnd *rand.Rand             //随机数生成器,产生随机的调表层高

    mu     sync.RWMutex
    kvData []byte //存储key value的序列化数据
    // Node data:
    // [0]         : KV offset
    // [1]         : Key length
    // [2]         : Value length
    // [3]         : Height
    // [3..height] : Next nodes
    nodeData  []int //存储key value的索引信息
    prevNode  [tMaxHeight]int
    maxHeight int
    n         int //键值对的数量
    kvSize    int
}

kvData 和nodeData的数据结构如下,其中kvData的实现比较简单,就是用一个byte类型的数组将key-value 对一个个存储下来。nodeData通过一个int数组实现了一个随机的调表。如下如所示对于nodeData我们可以将其视为n个node所组成,每个node表示了一个kv对的索引。
如图所示每个node包含了kv对的索引信息和调表信息,其中kvOffset指向了具体kv的起始位置,keyLen和valueLen分别用于key和value的读取。


memdb data structure.png

除此之外每个node中还包含了该node所有层级的指针,Height表示当前node的所有层高,后面的h1 ~ h(Height)的位置表示该层该节点的后继节点的指针。如下图所示是论文skip-list的配图,memdb中的node的h1到h(Height)就如图中的垂直方向的指针结构。


skip-list.png

2.memdb关键操作

memdb中的所有操作都是通过nodeData进行,也就是说memdb中涉及的插入、查找、删除等都通过调表的数据结构去实现。

2.1 查找函数findGE

findGE用于调表中数据的检索,即检索大于等于key的相关信息,这里有一点值得关注的是preNode的数据结构,该结构就是图skip-list的search path数据,存储了新key的搜索路径,如图插入的17号节点,那么其查询会从最高层进行查询,查询之后,preNode中比17号节点height高的preNode[i]中保存了比17大的后继节点,比17号小的或者等于的记录了17号节点对应层级的前置节点,这为后续的插入提供了层级上节点插入的辅助。

func (p *DB) findGE(key []byte, prev bool) (int, bool) {
    node := 0
    h := p.maxHeight - 1
    for {
        next := p.nodeData[node+nNext+h] //+h 表示从Node节点高度为h的层次开始查找
        cmp := 1
        if next != 0 {
            o := p.nodeData[next]
            cmp = p.cmp.Compare(p.kvData[o:o+p.nodeData[next+nKey]], key)
        }
        if cmp < 0 {
            // Keep searching in this list
            node = next
            //当前的kvData中key比目标key小,继续向前查找
        } else {
            //cmp >= 0, 表示当前值大于等于目标key,则目标key要么替代该位置,要么得插入在当前key的后面
            if prev {
                p.prevNode[h] = node
            } else if cmp == 0 {
                return next, true //恰好找到相同的key
            }
            if h == 0 {
                return next, cmp == 0
            }
            h-- // 按层级查找
        }
    }
}

2.2 插入函数Put

func (p *DB) Put(key []byte, value []byte) error {
    p.mu.Lock()
    defer p.mu.Unlock() //mem的数据操作直接通过互斥锁进行并发控制

    if node, exact := p.findGE(key, true); exact { // key == node key
        kvOffset := len(p.kvData)
        p.kvData = append(p.kvData, key...)
        p.kvData = append(p.kvData, value...)
        p.nodeData[node] = kvOffset
        m := p.nodeData[node+nVal]
        p.nodeData[node+nVal] = len(value)
        p.kvSize += len(value) - m
        return nil
    }

    //插入新key

    h := p.randHeight()
    if h > p.maxHeight {
        for i := p.maxHeight; i < h; i++ {
            p.prevNode[i] = 0 //prevNode链接各个层级的node的第一个node
            //如果maxHight增加,则新增的preNode的节点指向最底层的数据
        }
        p.maxHeight = h
    }

    kvOffset := len(p.kvData)
    p.kvData = append(p.kvData, key...) //存储key value数据
    p.kvData = append(p.kvData, value...)
    // Node 构建node节点
    node := len(p.nodeData)
    p.nodeData = append(p.nodeData, kvOffset, len(key), len(value), h) //插入索引node信息
    for i, n := range p.prevNode[:h] {                                 //p.prevNode的每个元素当前所的node 的key应该 <= newkey
        m := n + nNext + i
        p.nodeData = append(p.nodeData, p.nodeData[m]) //添加一个新的node节点,保证nodeData始终有足够的节点数存储层级索引
        //preNode记录所查找节点的所有前置节点位置
        //1.将newNode节点的前置节点的该层指向的位置复制给newNode的第h层
        //2.将newNode节点的前置节点的指向改为指向newNode
        p.nodeData[m] = node
    }

    p.kvSize += len(key) + len(value)
    p.n++
    return nil
}

memdb的其他相关操作也是类似地借助skip-list进行的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容