Ceph 开发者月报 2018-08

image
  • 对象存储

  • 块存储

  • 统一存储层

  • 集群管理

  • 工具库

  • 本月提交情况

本篇为 2018 年度《Ceph 开发者月报》专栏的第八篇,在《Ceph 开发者月报》中,我们 UMCloud 存储团队将以月度为单位,为大家分享当月 Ceph 社区的有趣的提交和重要的变更,方便大家即刻掌握一手 Ceph 社区开发资料。

每篇将以对象存储、块存储、统一存储层、集群管理、基础库等模块组织,为大家一一介绍。

本期看点:

mgr 引入编排模块,这个模块所有的功能直接使用k8s的命令都可以完成,所以mgr的编排模块对于通过k8s来管理Ceph集群这件事来说就是由把用户接口放回Ceph中了,预期之后rook就不需要再加rookctl之类的用户接口了。

对象存储

cors 规则新增数量限制

rgw: cors rules num limit (https://github.com/ceph/ceph/pull/23434)

为 cors 规则增加了数量限制,默认情况下,和 AWS S3 保持一致,最多 100 条。

块存储

迁移存储卷镜像 downtime 最小化

librbd: support migrating images with minimal downtime
(https://github.com/ceph/ceph/pull/15831)

社区当前针对块存储的工作重心之一是实现能够在客户端用户无感知的情况下,对底层的存储卷镜像进行迁移。上面的提交是社区第一阶段的工作,实现了在迁移存储卷镜像的处理过程中,将无法对外提供服务的时间最小化。

统一存储层

允许对对象的 data_digest 进行修复

osd: Allow repair of an object with a bad data_digest in object_info on all replicas (https://github.com/ceph/ceph/pull/23217)

在上面的提交中,社区实现了当一个对象的所有副本的 data_digest 信息有问题时,支持对其进行修复。

废弃 osd rm 并为删除 osd 引入安全检查机制

mon,mgr: add safety check to ‘osd destroy’; deprecate ‘osd rm’ (https://github.com/ceph/ceph/pull/22717)

在上面的提交中,社区废弃了

ceph osd rm

命令,取而代之,可以使用

ceph osd destroy

ceph osd purge

两个命令来对 osd 进行删除。同时,在上面的提交中,社区为删除 osd 操作新增了安全检查机制,可以在进行删除 osd 操作之前执行

ceph osd safe-to-destroy

命令来对该操作的安全性进行检查。

支持从网络层面对 client 用户的访问权限进行限制

mon: allow mon cap to be limited to a CIDR network (https://github.com/ceph/ceph/pull/22879)

osd 容量信息细化统计

osd: break down osd usage into data, omap, metadata buckets (https://github.com/ceph/ceph/pull/18096)

在上面的提交中,社区对 OSD 的使用容量信息进行了细化统计处理,支持分别统计显示 data, omap, metadata 的容量使用信息。

集群管理

mgr 新增 devicehealth 插件

mgr/devicehealth: respond to imminent device failures (https://github.com/ceph/ceph/pull/22692)

在上面的提交中,社区为 mgr 实现了 devicehealth 插件,从而支持:

– 当检测到有设备 (通常指磁盘) 即将发生故障时,能够提前抛出健康告警;

– 当检测到有设备 (通常指磁盘) 即将发生故障时,能够自动将该磁盘对应的 OSD 标记为 out,并对其中所存储的数据进行迁移。

通过执行如下命令来启用 devicehealth 模块:

$ ceph mgr module enable devicehealth

默认情况下,该模块是处于启用状态。对设备健康数据的采集包括如下几种模式:

  • 采集所有设备的健康数据指标

$ ceph device scrape-health-metrics

  • 采集某一特定设备的健康数据指标

$ ceph device scrape-health-metrics <device-id>

  • 采集某一特定 daemon 对应的所有设备的健康数据指标

$ ceph device scrape-daemon-health-metrics <who>

默认情况下,devicehealth 模块会周期性地对系统中的所有设备进行健康检查。可以通过

mgr/devicehealth/enable_monitoring

选项来禁用这一处理。另外,可以通过

mgr/devicehealth/warn_threshold

选项来控制 devicehealth 模块抛出健康告警到设备真正发生故障之间的窗口期的长度。

可以通过

mgr/devicehealth/self_heal

选项的启停来控制 devicehealth 模块是否会自动将即将发生故障的 osd 标记为 out,并进行相关数据的迁移操作。该选项默认为启用状态。在该选项的基础上,还可以通过

mgr/devicehealth/mark_out_threshold

选项来控制 devicehealth 模块自动将一个 osd 标记为 out 到该设备真正发生故障之间的窗口期的长度。

mgr 新增 orchestrator 相关的命令行工具和 rook 模块

mgr: orchestrator interface and experimental Rook module (https://github.com/ceph/ceph/pull/23412)

在上面的提交中,社区为 mgr 新增了 orchestrator 相关的命令行工具和 rook 模块。

支持通过 Restful API 来直接从后端修改 dashboard 的配置

mgr/dashboard: Add backend support for changing dashboard configuration settings via the REST API (https://github.com/ceph/ceph/pull/22457)

工具库

新增 ceph-crash 服务

add ceph-crash service (https://github.com/ceph/ceph/pull/23240)

在上面的提交中,社区为 Ceph 新增了 ceph-crash 服务,与 mgr 的 crash 插件结合,对 crash dumps 信息进行监控和分析处理。

本月提交情况

image
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,117评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,328评论 1 293
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,839评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,007评论 0 206
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,384评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,629评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,880评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,593评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,313评论 1 243
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,575评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,066评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,392评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,052评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,082评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,844评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,662评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,575评论 2 270

推荐阅读更多精彩内容