《redis设计与实现》笔记

记录阅读这本书时觉得有用的东西,也许很零散。(第一部分)

字符串

redis的字符串底层实现为简单动态字符串simple-dynamic-string

struct sdshdr{
    int len; 字符个数,不包括‘/0’
    int free; 没有使用的字符个数
    char buf[]; 字符数组
}

空间预分配

空间预分配用于优化SDS的字符串增长操作。

  1. 如果对sds修改后,len小于1MB,那么分配与len同样大小的未使用空间。buf的长度变为len+buf+1
  2. 如果修改后,lend大于等于1MB,那么分配1MB的未使用空间。buf的长度变为len+1MB+1byte

惰性空间释放

用于优化SDS的字符串缩短操作

  1. 进行缩短操作时,不减少buf的长度,将缩短的部分加入free。
  2. 同时提供了真正释放未使用空间的API,不用担心内存浪费

C字符串与SDS对比

C字符串 SDS
获取字符串长度复杂度O(n) 复杂度O(1)
API不安全,可能缓冲区溢出 API安全
修改字符串长度N次必然需要执行N次内存重分配 修改字符串长度N次最多需要N次内存重分配
只能保存文本数据 可以保存文本或者二进制数据
可以使用所有<string.h>库中的函数 可以使用部分

链表

链表在redis中应用广泛,当一个列表键包含了数量较多的元素,又或者列表包含的元素都是比较长的字符串时,redis就会用链表作为列表键的底层实现。

特性

  1. 双向, 无环
  2. 有表头,表尾指针
  3. 带链表长度计数器
  4. 多态,可以保存不同类型的值

字典

应用广泛。整个数据库就是一个kv数据库,其次哈希键这个数据结构的底层也是字典。

哈希表结构

typedef struct dictht {
    // 哈希表数组
    dictEntry **table;

    // 哈希表大小
    unsigned long size;

    // 哈希表大小掩码,用于计算索引值,总是等于size-1
    unsigned long sizemask;

    // 该哈希表已有节点数量
    unsigned long used;
} dictht;

哈希表节点结构

typedef struct dictEntry {
    void *key;

    union(
        void *val;
        uint64_tu64;
        int64_ts64;
    ) v;

    struvt dictEntry *next;
} dictEntry;

字典结构

typedef struct dict {
    // 类型特定函数
    dictType *type;

    // 私有数据
    void *privdata;

    // 哈希表
    dictht ht[2];

    // rehash索引, 当rehash不在进行时,值为-1
    int trehashidx;
} dict;

字典保存在ht[0]中,ht[1]用来对哈希表进行rehash。使用MurmueHash算法。数组+链表的方式解决哈希冲突。

rehash优化-渐进式rehash

如果字典表过大,一次完成rehash会造成数据库在一段时间停止服务。步骤如下:

  1. 为ht[1]分配空间
  2. 在字典中维持一个索引计数器变量rehashidx,并将值置为0
  3. 在rehash期间,每次对字典进行添加删除,查找或者更新操作时,顺带将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1],完成后rehashidx+1
  4. 最终全部rehash到ht[1], 将rehashidx设为-1表示完成。把ht[0]的哈希表指向ht[1]的哈希表,ht[1]指向null。

压缩列表

压缩列表是列表和哈希的底层实现之一,当一个列表键只包含少量列表项,并且是小整数值或短字符串。同时满足以下两点,使用压缩链表。

  1. 列表对象保存的所有字符串长度都小于64字节
  2. 列表对象保存的元素数量小于512个

跳跃表

redis使用跳跃表作为有序集合的底层实现之一,同时也用在集群节点中用作内部数据结构。可以参考网上跳表数据结构分析。(个人感觉与二分的思想是一致的,有序情况下降低复杂度)

set

集合数据结构靠字典实现,集合的值为字典的键,对应的值为null。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容