redis数据结构上层--对象系统

    redis没有直接使用数据结构来实现键值对的数据库,而是基于这些数据结构创建了一个对象系统,包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象五种类型。

    对redis数据库键值对来说,键永远都是字符串对象,而值可以 是字符串对象、列表对象、哈希对象、集合对象和有序集合对象五种类型,故接下来所说的几种对象,都是键值对的值对象。

type: 对象类型,五种类型之一。

encoding:对象所使用的编码,也即对象使用了什么数据结构作为底层实现。


每种类型的对象都至少使用了两种不同编码(数据结构)。

字符串对象:

        整数值、embstr、简单动态字符串

列表对象:

        压缩列表、双端列表

哈希对象:

        压缩列表、字典实现

集合对象:

        整数集合、字典实现

有序集合对象:

        压缩列表实现、跳跃表和字典实现


一 字符串对象

    字符串对象保存的是整数值,且可以用long表示,值会保存在pre属性里,并将字符串对象的编码设置为int。

    字符串对象是唯一一种会被其他四种对象嵌套的对象。

    字符串对象保存的是字符串值,且值的长度大于32字节,则以SDS来保存这个字符串值,并将对象编码设置为raw。

     字符串对象保存的是字符串值,且值的长度小于等于32字节,则以SDS来保存这个字符串值,并将对象编码设置为embstr。

    raw和embstr的区别在于,raw会调用两次内存分配来分别创建redisObject结构和sdshdr结构,而embstr则只调用一次内存分配函数来分配一块连续的空间。同理,释放对象内存的时候,raw需要调用两次,而embstr只需调用一次。

    embstr编码的字符串对象在执行命令时,效果和raw编码字符串对象效果一样。

    embstr编码字符串对象只读,一旦修改,则会变为raw编码字符串。

二 列表对象

列表对象的编码是ziplist或linkedlist。

ziplist编码的列表对象使用压缩列表作为底层实现,每个压缩列表节点保存了一个列表元素。

linkedlist编码的列表对象使用双端链表作为底层实现,每个双端链表节点都保存了一个字符串对象,而每个字符串对象都保存了一个列表元素。

为了简化字符串对象表示,实际StringObject的结构如下图:

StringObject

列表对象在压缩列表和双端链表间的转换:

1,列表对象保存的所有字符串元素的长度都小于64字节。

2,列表对象保存的元素数量小于512个。

满足上述两个条件,列表对象使用ziplist编码,否则使用linkedlist编码。

注:以上两个条件的上限可配置修改,list-max-ziplist-value 和 list-max-ziplist-entries 。

三 哈希对象

哈希对象的编码可以是ziplist 或 hashtable 。

ziplist编码的哈希对象使用压缩列表作为底层实现,有新键值对(指值是键值对形式)进入时,先把保存了键的压缩列表节点放到压缩列表表尾,然后再把保存了值的压缩列表节点放到压缩列表表尾,故同一键值对的两个节点总是连在一起。


hashtable编码的哈希对象使用字典作为底层实现,哈希对象中的每个键值对都使用一个字典键值对来保存。

哈希对象两种编码间的转换:

1,哈希对象所保存的所有键值对的键和值的字符串长度都小于64字节。

2,哈希对象的键值对的数量小于512个。

满足上述两个条件,哈希对象使用ziplist编码,否则使用hashtable编码。

注:以上两个条件的上限可配置修改,hash-max-ziplist-value 和 hash-max-ziplist-entries 。

四 集合对象

集合对象编码可以用intset 或者 hashtable 。

intset编码的集合对象使用整数集合作为底层实现,集合对象的所有元素都被保存在整数集合里。

hashtable编码的集合对象使用字段作为底层实现,字典的每一个键都是字符串对象,每个字符串对象包含了一个集合元素,而字典的值全部被置为null 。

intset编码
hashtable编码

集合对象两种编码间转换:

1,集合对象保存的所有元素都是整数值 。

2,集合对象保存的元素个数不超过512 。

满足上述条件,则使用intset编码,否则,使用hashtable编码 。

注:以上第二个条件的上限可配置修改, set-max-intset-entries 。

五 有序集合对象

有序集合的编码可以用ziplist 或 skiplist 。

ziplist编码的有序集合对象使用压缩列表作为底层实现,每个集合元素使用 两个紧挨在一起的压缩列表节点保存,第一个节点保存元素成员(member),第二个节点保存元素的分值(score)。

压缩列表内的集合元素按分值从小到大排序,分值小的元素靠近表头,分值大的靠近表尾。

skiplist 编码的有序集合对象使用zset结构作为底层实现,一个zset结构同时包含一个字典和一个跳跃表。

zset结构中的zs1跳跃表按分值从小到大保存所有集合元素,每个跳跃表节点都保存了一个集合元素,跳跃表节点的object属性保存了元素成员,而跳跃表节点的score属性则保存了元素的分值。

zset结构中的dict字典为有序集合创建了一个从成员到分值的映射,字典汇中的每个键值对都保存了一个集合元素,字典的键保存了元素的成员,字典的值保存了元素的分值。

理论上,有序集合可以单独使用字典或跳跃表一种数据结构来实现,但无论单独用哪种,性能上总是比不上同时使用。比如查找指定成员分值,直接使用dict,而查找成员排名,则使用跳跃表。

有序集合ziplist和zset编码间的转换:

1,有序集合保存的元素数量小于128个。

2,有序集合保存的所有元素成员长度小于64字节。

满足上述两个条件,则使用ziplist ,否则,使用zset 。

注:以上两个条件的上限可配置修改,zset-max-ziplist-value 和 zset-max-ziplist-entries 。

五 内存收回

因C语言没有自动内存收回功能,所以redis自己构建了一个引用计数技术实现内存回收机制。

1,创建一个新对象时,引用计数的值被初始化为1;

2,当对象被一个新程序使用时,它的引用计数增加1;

3,当对象不再被一个程序使用时,它的引用计数减1;

4,当对象的引用计数值变为0时,对象所占用的内存会被释放。

六 对象共存

对象引用计数的属性还带有对象共存的作用。

redis中,多个键共享同一个值时,数据库键的值指针指向一个现有的值对象,同时被共享的值对象的引用计数增一。

目前来说,redis初始化服务器时,会创建一万个字符串对象,包含从0-9999所有整数值,所以当用到0-9999的字符串对象时,服务器会共享这些对象,而不会再创建新对象。

七 对象的空转时长

lru:记录了对象最后一次被命令程序访问的时间。

redisObject 完整结构:





参考文献《redis设计与实现第二版》

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,504评论 4 365
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,898评论 1 300
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,218评论 0 248
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,322评论 0 214
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,693评论 3 290
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,812评论 1 223
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,010评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,747评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,476评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,700评论 2 251
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,190评论 1 262
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,541评论 3 258
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,206评论 3 240
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,129评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,903评论 0 199
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,894评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,748评论 2 274