分布式缓存技术总结笔记

引言:最近工作之余学习几种分布式缓存技术组件,在此做一个总结吧。

1.分布式概念

在此仅对自己所理解的分布式做一个简单的白话解释,如有不当之处,欢迎各位读者指正!

1.1 分布式系统

主要有多个数据源,需要进行跨库操作的应用系统都可以称之为分布式应用系统

1.2 分布式缓存技术

大型网站的分布式缓存技术,就是把数据存放在不同的物理机器上,利用分布式缓存中间件进行处理数据。

2.分布式系统产生原因

a.互联网应用系统,业务需求复杂,必须进行系统级别的垂直拆分,保证各个业务清晰,各自部署对外提供服务。
b.针对用户群广泛,存在高并发的问题,对单个节点的服务器造成非常大的压力
c.互联网时代,数据量巨大,需要分布式系统。

3.分布式系统产生的问题

数据的一致性,安全性、可扩展性、服务器的高可用、高承载能力等

4.分布式事务

4.1 概念

既然是分布式事务,就是要有两个数据源,而实现分布式事务,目前常用的手段就是利用“两阶段提交协议(Two-Phase Commit)”(简称2PC),2PC存在着两个重要的角色:事务协调器(TC),事务执行者

zookeeper可以实现分布式事务

4.2 缺点

2PC,可以看到节点之间的通信次数太多了,时间很长!时间变长了,从而导致,事务锁定的资源时间也变长了,造成资源等待时间变长!在高并发场景下,存在严重的性能问题!

4.3 最终一致性

分布式事务,写操作的时候,就使用乐观更新,使用版本号进行更新,能够保证最终一致性就行了

5.分布式缓存中间件

5.1 Redis

redis是以key-value的形式存储数据,是一个非关系型的,分布式开源的(BSD协议),水平可扩展的缓存服务器。redis用途:缓存(StackOverFlow),数据库(微博),消息中间件(微博)

5.2 Memcached

memcached 是由 Danga Interactive 开发并使用 BSD 许可的一种通用的分布式内存缓存系统。也是以key-value的形式存储数据。由于它的工作机制是在内存中开辟一块空间,然后建立一个HashTable,Memcached自管理这些HashTable。

5.3 SSDB

SSDB是一个快速的用来存储十亿级别列表数据的开源NoSql数据库,可以替代Redis数据库,是Redis的100倍容量。LevelDB网络支持,使用C/C++开发。与Redis完美兼容。

5.4Redis、Memcached、SSDB缓存数据库简单比较

a.都是key-value方式存储
b.redis支持多种数据类型,如String Hash Set List等,并且支持集群方案(3.x)
c.Redis单线程操作(少了内部的锁,性能好,可以保证数据的原子性,Redis可以有多个实例变相提供并发操作),Memcached多线程操作(耗资源)。Memcached支持事务的概念,Redis事务支持很弱(Redis只能保证一个Key的原子性操作,多个Key的事务操作是不支持的,可以使用Lua脚本解决)。
d.Redis与SSDB,SSDB是基于google性能极高的LevelDB作为存储引擎去架构的,而且可以与Redis完美整合,一般会使用相互结合的方案,因为SSDB性能高大上,但是高可用性不如Redis。(Redis和SSDB结合,Redis可以解决高并发的读,SSDB解决高并发的写。 )---推荐方式
e.Redis持久化方式:RDB、AOF(推荐)

我是一名奋斗在二线城市,每天挤公交上班写代码的程序猿!励志在有限的时间能够贡献出自己最大的能量!请持续关注!我在简书等你!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容