redis底层数据实现及应用场景

redis数据类型及底层实现

redis全局哈希表

Redis通过全局哈希表保存key-value键值对,全局哈希表其实就是一个数组,数组的每个元素称为一个哈希桶,哈希桶中的entry元素保存了*key和*value指针。
Redis解决哈希冲突的方式,是链式哈希,指同一个哈希桶中的多个元素用一个链表来保存,它们之间依次用指针连接。
当链式哈希过长时就会导致元素查找效率降低,因此需要rehash,rehash也就是增加现有的哈希桶数量,让逐渐增多的entry元素能 在更多的桶之间分散保存,减少单个桶中的元素数量,从而减少单个桶中的冲突。
```
// entity示意
struct entity {
  *key,
  *value, // 指针,指向string、list、hash、sort set、set
  *next,
}
```

String

底层数据结构:

  • 简单动态字符串

应用场景:

  • 缓存
  • 计数
  • 共享session
  • 限速

List

底层数据结构:

  • 双向链表
  • 压缩列表(默认)

当一个列表键包含了数量较多的元素,又或者列表中包含的元素都是比较长的字符串时,Redis 就会使用链表作为列表键的底层实现。

应用场景:

  • 消息队列
  • 文章列表

Hash

底层数据结构:

  • 压缩列表(默认)
  • 哈希表

hash-max-ziplist-entries:表示用压缩列表保存时哈希集合中的最大元素个数。
hash-max-ziplist-value:表示用压缩列表保存时哈希集合中单个元素的最大⻓度。

如果我们往Hash集合中写入的元素个数超过了hash-max-ziplist-entries,或者写入的单个元素大小超过了 hash-max-ziplist-value,Redis就会自动把Hash类型的实现结构由压缩列表转为哈希表。
一旦从压缩列表转为了哈希表,Hash类型就会一直用哈希表进行保存,而不会再转回压缩列表了。在节省 内存空间方面,哈希表就没有压缩列表那么高效了。

应用场景:

  • 聚集类key-value数据,例如实体的各种属性

Sort Set

底层数据结构:

  • 压缩列表(默认)
  • 跳表

zset-max-ziplist-entries 128:zset采用压缩列表时,元素个数最大值。默认值为128。
zset-max-ziplist-value 64:zset采用压缩列表时,每个元素的字符串长度最大值。默认值为64。

zset插入第一个元素时,会判断下面两种条件,zset-max-ziplist-entries的值是否等于0;zset-max-ziplist-value小于要插入元素的字符串长度,满足任一条件Redis就会采用跳跃表作为底层实现,否则采用压缩列表作为底层实现方式

应用场景:

  • 排行榜
  • 延迟消息队列,例如订单支付等待时间

Set

底层数据结构:

  • 哈希表
  • 整数数组

集合对象保存的所有对象都是整数值且保存的元素数量小于512个时使用整数数组

应用场景:

  • 用户标签
  • 抽奖功能

底层数据结构解释

  • 简单动态字符串:
```
/*  
* 保存字符串对象的结构  
*/  
struct sdshdr {       
    int len;// buf 中已占用空间的长度      
    int free;// buf 中剩余可用空间的长度    
    char buf[];// buf 字符数组,用于记录我们的字符串  
};
```
  • 双向链表: O(n)
```
  // 链表节点
  struct listNode{
      struct listNode *prev;
      struct listNode * next;
      void * value;  
  }

  // 链表
  struct list{   
      listNode  * head;//表头节点  
      listNode  * tail;//表尾节点   
      unsigned long len;//链表长度   
      void *(*dup) (void *ptr);//节点值复制函数 
      void (*free) (void *ptr);//节点值释放函数 
      int (*match)(void *ptr, void *key);//节点值对比函数
  }
```
  • 压缩列表: O(n)
    压缩列表实际上类似于一个数组,数组中的每一个元素都对应保存一个数据,非常节省空间。和数组不同的是,压缩列表在 表头有三个字段zlbytes、zltail和zllen,分别表示列表⻓度、列表尾的偏移量和列表中的entry个数;压缩列 表在表尾还有一个zlend,表示列表结束。

  • 哈希表: O(1)
    key-value键值对

  • 跳表: O(logN)
    跳表在链表的基础 上,增加了多级索引,通过索引位置的几个跳转,实现数据的快速定位

  • 整数数组: O(n)
    数组,元素为整数

redis应用场景

  • 缓存
    redis最常用的就是缓存,redis数据存放在内存中,读写速度非常快,常用于热点数据缓存

  • 分布式数据共享

    分布式session

  • 分布式锁

    setnx只有不存在时才能添加成功,达到分布式锁的效果

  • 全局ID

    利用incrby原子性,在分库分表的场景下一次性拿到一部分id,保证id不重复

  • 计数器

    利用incr、decr、incrby、decrby原子性,实现计数器

  • 限流

    利用int的incr、decr、incrby、decrby原子性实现计数,达到数量后限制

  • 位统计

    利用bitmap数据结构进行二进制存储,可执行位计算,进行位统计

  • 购物车

    可利用string或者hash记录购物车中商品基本信息以及商品数量,使用incr、decr、incrby、decrby操作数量

  • 用户消息时间线timeline

  • 消息队列

    基于发布订阅可实现消息队列的效果,redis5之后新增数据类型Stream可实现消息的持久化,真正实现消息队列的功能

  • 抽奖

    spop,移除并返回集合中的一个随机元素

  • 点赞、签到、打卡

    通过set实现点赞、取消点赞的操作,并且可以查看点赞记录以及点赞数量

  • 标签

    通过set实现标签的记录与删除,与“点赞...”类似

  • 筛选

    通过set类型的sinter得到集合的交集,实现筛选的功能

  • 用户关注、推荐模型

    集合记录A关注的用户,B关注的用户,通过集合的交集可得到互相关注的记录,差集可推荐关注

  • 排行榜

    有序集合记录点击率等,可进行排行统计

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容