【Ceph浅析笔记】Ceph是什么.md

Ceph是什么

什么是Ceph?首先我们应该明确,Ceph是一种分布式存储系统,所谓分布式,指的是Ceph可以部署在多台服务器上,通过多台服务器并行处理来对外提供高性能的读写块。

同时Ceph除了能提供块存储,还可以提供文件存储、对象存储。

Ceph的优势

实际上Ceph不是一个才出现的开源项目,而是走过了 7年的路程,那么Ceph有什么样的优势呢?

  • Ceph的优势在于它的设计思想:无需查表,算算就好。也就是说它可以充分利用服务器的计算能力,消除了对单一中心节点的依赖,可以实现真正的无中心结构

    这样Ceph的可靠性和可扩展性都很强,而且客户端访问延迟也比较少。

  • Ceph在OpenStack开源社区中备受重视。

    OpenStack是现在最为流行的开源云操作系统,目前Ceph已经成为OpenStack中呼声最高的开源存储方案之一。

Ceph的产生和发展

一般来说开源项目的来源主要有两个,一个是从学校里面的一些课题,一个是企业里面的大牛对产品进行开源。Ceph就是典型的学院派,它起源于Sage Weil博士期间的课题,使用C++开发。

2011年Sage创建了Inktank公司以主导Ceph的开发和社区维护。

image.png

Ceph的设计思想

Ceph的应用场景

要理解Ceph的设计思想,我们首先应该研究这个东西的应用场景,因为它的应用场景关系到它为什么这么设计。

Ceph最初的目标场景是大规模、分布式存储系统,Ceph起源于04年,那个时候CPU还是单核,硬盘容量只有几十GB,所以当时的想法是至少能承载PB级别的数据。

而Ceph与传统的存储不太一样的地方在于,它的眼光是动态的

  • 首先是存储规模是会变的。也就是可以根据业务的规模扩展存储的容量。

  • 存储的设备会变。我们使用的不是高可靠性的小机,而是可能发生故障的x86服务器,所以极有可能某个节点发生故障,那么需要在软件层面进行保障。

  • 存储数据也会变。也就是,需要考虑到存储的数据可能被增删读写,而不是一层不变的。

这就是Ceph的目标场景,它希望能应对存储容量会变,同时可以对数据进行快速的增删读写的场景,而且底层的硬件主要使用廉价的X86服务器,使用上层软件来保证可靠性。

针对这种场景,Ceph应具有

  • 高可靠性:

    首先存储在里面的数据不会丢失,同时数据在写入的时候,需要保证原子性。

  • 另外因为数据会经常迁移,而且故障了以后会有恢复的过程,我们希望Ceph能自动完成这些工作,而不需要人为参与。

  • 高扩展性,就是希望节点数增加了,数据的访问带宽也线性增加,不能是节点增加了很多,性能增加不明显

Ceph的设计思路

那么Ceph要怎么样实现高可靠、高扩展,还要同时保证自动化呢?

之前已经概括过,Ceph的主要思路是

  • 充分发生节点的计算能力

    也就是用来代替,这就有对象存储的思想了。

  • 去中心化。

    我们知道分布式架构一般可以分为有中心的非对称架构和无中心对称架构两种。

    非对称架构有Master和Slave之分,Master一般存放了数据块与实际节点的映射关系,所以客户端会先向Master查找数据块存放的位置, 然后再访问Slave。

    这样的好处是简单,缺点是Master节点会出现单点故障,而且也会成为性能瓶颈。

    而对称节点中每个节点的地位相同,都保存了全局的映射关系,所以它们会花大量的功夫来进行映射关系的同步,不利于扩展。Ceph则使用了更创新的方法来解决这个问题。下面我们来看看它使用了什么方法?

对于一个分布式系统,它最关键的要解决两个问题:

  • “写的问题”,也就是把数据写到什么地方。

    写的方法合不合理,要看最终的数据分布是否均匀,这又会进一步影响到节点的访问速度等

  • “读的问题”,应该从哪里去读。

    因为读的概率远大于写,所以能否高效准确的找到之前存放的数据在哪里,也是存储的系统应该考虑的非常重要的问题。

之前我们说过对于对称结构的分布式系统,它会引入专门的节点, 在里面存放数据块与节点映射关系,客户端需要先从这个节点上获取实际的位置再进行后续的操作。

而Ceph的创新在于,不再使用查表的寻址方式,而是使用计算的方式。也就是一个客户端只需要使用少量的本地元数据,就可以计算出存储位置。这就是Ceph最关键的地方。

image.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容

  • 本文遵循「知识共享许可协议 CC-BY-NC-SA 4.0 International」,未经作者书面许可,不允许...
    laiwei阅读 11,543评论 1 24
  • ceph简介 Ceph是一个分布式存储系统,诞生于2004年,是最早致力于开发下一代高性能分布式文件系统的项目。随...
    爱吃土豆的程序猿阅读 5,946评论 0 21
  • 第一章 OpenStack基础 OpenStack管理的资源及提供的服务OpenStack做为一个操作系统,...
    sgt_tiger阅读 12,711评论 4 72
  • 一、概述 Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计...
    魏镇坪阅读 49,294评论 3 54
  • “学校今天又放假了?” “嗯。” 陈晓放下书包,沉默地走进自己的卧室,啪嗒一声,客厅就只剩下老旧的电视机里嘈杂的广...
    青丝常长阅读 217评论 2 2