Cephfs多用户隔离

背景

ceph 最新版本(jewel)中添加了对单机群多文件系统的支持, 官方表示虽然一直的 bug 均已得到修复, 但是这部分代码还不是非常稳定, 所以不是特别推荐使用. 在我们目前使用的版本(hammer)中, 每个 ceph 集群只能创建一个文件系统, 这当然很不理想. 但是 ceph 提供的一些特性使得我们也没必要建立多个文件系统. 而且维护多个文件系统也未必是好事儿.

  1. 目录挂载

    在操作系统上挂载 cephfs 的时候我们可以只挂载文件系统的一部分----某个目录.

  2. 基于 pool 的权限控制

    用户的读写权限可以基于 pool 来设置

  3. 针对目录的 pool 设置(layout)

    可以指定某个目录及其子目录(文件)保存的 pool.

综合以上三个特性, 我们就可以将不同的目录绑定到不同的 data pool, 然后将不同的用户授予相应的 pool 的权限, 从而达到隔离的目的. 这有点类似于 mysql 中"数据库"的概念.

/mount/point/dirA --> poolA --> userA
            /dirB --> poolB --> userB
            /dir... --> pool... --> user...
            /dirN --> poolN --> userN

用到的命令

create pool

ceph osd pool create sns_data 64

add pool to mds

ceph mds add_data_pool sns_data

list pool detail

ceph osd pool ls detail

list fs detail

ceph fs ls

get layout of file or dir

# layout of dir
# 需要修改 stripe_count 才能参看目录的相关属性
$ setfattr -n ceph.dir.layout.stripe_count -v 2 /mnt/cephfs/trade
$ getfattr -n ceph.dir.layout /mnt/cephfs/trade/

# file: mnt/cephfs/bbb/
ceph.dir.layout="stripe_unit=4194304 stripe_count=2 object_size=4194304 pool=cephfs_data"
# 这里我们比较关注 layout 中的 pool 属性, 表示该目录所在的 pool

# layout of file
$ getfattr -n ceph.file.layout /mnt/cephfs/trade/a

# file: mnt/cephfs/sns/sns
ceph.file.layout="stripe_unit=4194304 stripe_count=1 object_size=4194304 pool=cephfs_data"
# 同样需要关注 pool 属性的值

change layout

setfattr -n ceph.dir.layout.pool -v sns_data /mnt/cephfs/sns/

add user

ceph auth get-or-create client.trade mon 'allow r' mds 'allow r, allow rw path=/trade' osd 'allow rw pool=cephfs_data'
# mds caps 可以针对路径进行授权, 但是如果两个目录存储在同一个 pool 上的话, 即便针对 path 授权似乎也没什么效果( hammer 不支持mds caps 中的 path 设置).
# osd caps 可以针对 pool 进行授权, 这个还是比较好使的, 但是要注意与前面的 path 保持一致.

modify user caps

# 添加用户的时候, 如果权限配置有问题, 不用担心, 可以修改的
ceph auth caps client.sns mds 'allow rw path=/sns/' mon 'allow r' osd 'allow rw pool=sns_data'

list user

# 可以查看用户权限以及 key string
ceph auth list

mount

mount -t ceph 192.168.80.136:6789:/ /mnt/cephfs/sns -o name=sns,secret=AQBaiwBYOAfbNBAA//etKk4yxgvNP7T+v0J63g==

get realtime status of ceph

ceph -w

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 154,661评论 23 678
  • 集群管理 每次用命令启动、重启、停止Ceph守护进程(或整个集群)时,必须指定至少一个选项和一个命令,还可能要指定...
    Arteezy_Xie阅读 11,784评论 0 18
  • 多年前我跟一位同学谈话。那时他太太刚去世不久,他告诉我说,他在整理他太太的东西的时候,发现了一条丝质的围巾,那是他...
    TWE阅读 86评论 0 0
  • 小时候每一天都在着急想着长大,想穿妈妈的花裙子,穿走路‘咣咣’响的高跟鞋,想涂最鲜艳的红色口红,幻想着长大后的种种...
    左左啊阅读 45评论 0 0
  • 翻译自:securitymanager Intro 在 Java 中可以用 sun.misc.Unsafe 类为所...
    石头狮子阅读 337评论 0 0