使用 Docker 部署 Ceph 集群

96
Melody00
2017.03.24 21:38* 字数 960

1. 部署环境

1.1 硬件

在以下4台虚拟机上进行部署&&测试:

hotname IP地址 备注
node-1 10.106.201.39 部署 mon,osd,rgw
node-2 10.106.201.43 部署 mon,osd
node-3 10.106.201.45 部署 mon,osd
client 10.106.201.42 部署 ceph 客户端

node-1/node-2/node-3 这三台机器,分别额外挂载一块 50GB 的硬盘,用于存放 OSD 数据。

1.2 软件

环境 描述 备注
操作系统 CentOS7
Docker image ceph/daemon tag-build-master-jewel-centos-7

~2017年03月24日,ceph 的最新版本是 Kraken。本文使用的仍然是 jewel,该版本基本够用,比如对象存储支持最新的 AWS4 接口等。

1.3 通用变量设置

在执行下文的具体指令之前,需要先按照如下方式设置 shell 的环境变量。


##### "ceph/daemon" 镜像和 tag
REPO=ceph/daemon
TAG=tag-build-master-jewel-centos-7
REPO_TAG=${REPO}:${TAG}

##### 网络参数
CEPH_PUBLIC_NETWORK="10.0.0.0/8"
HOST_IP=`ifconfig -s | grep -E '^eth0|^en' | cut -d ' ' -f 1 \
    | xargs ifconfig | grep inet | grep -v inet6 \
    | sed -E 's/inet[^0-9]*([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}).*/\1/;s/^[[:blank:]]*//'`

##### 挂载卷参数。
VOL_ETC_CEPH=${HOME}/ceph/etc/ceph
VOL_VAR_LIB_CEPH=${HOME}/ceph/var/lib/ceph

2. 部署 MON

2.1 在 node-1 启动 monitor

首先在 node-1 节点执行如下命令,启动ceph monitor。

docker run -d --net=host --name=mon \
    -v ${VOL_ETC_CEPH}:/etc/ceph \
    -v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph \
    -e MON_IP=${HOST_IP} \
    -e CEPH_PUBLIC_NETWORK=${CEPH_PUBLIC_NETWORK} \
    ${REPO_TAG} mon

其中,$HOST_IP,$VOL_ETC_CEPH 等变量,请参照上文中的环境部分进行设置。

启动之后,通过 docker ps -a 可以查看到类似如下的结果:

CONTAINER ID        IMAGE                                         COMMAND                CREATED             STATUS              PORTS               NAMES

25e5552fcdc5        ceph/daemon:tag-build-master-jewel-centos-7   "/entrypoint.sh mon"   2 seconds ago       Up 1 second                             mon

2.2 拷贝配置文件到其他两台机器

将 node-1 上的 monitor 启动之后创建的配置文件、元数据等信息,拷贝到其他两台机器上。

scp -r ~/ceph/ root@node-2:~
scp -r ~/ceph/ root@node-3:~

2.3 在 node-2 和 node-3 分别启动 monitor

分别在 node-2node-3 上执行上述 monitor 启动命令。

  • 通过 docker exec mon ceph -s 可以查看集群状态。
  • 如果遇到 clock skew的问题,请设置系统的 ntpdate 时间同步。

3. 部署OSD

3.1 启动 OSD

osd 有多种类型,通过OSD_TYPE参数标识,具体说明请参照 References 里的资料。假设额外挂载的磁盘,设备路径为/dev/sdc,可以通过如下方式启动 osd 进程。

  docker run -d --net=host --name=osd \
      --privileged=true \
      --pid=host \
      -v ${VOL_ETC_CEPH}:/etc/ceph \
      -v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph/ \
      -v /dev/:/dev/ \
      -e OSD_TYPE=disk \
      -e OSD_FORCE_ZAP=1 \
      -e OSD_DEVICE=/dev/sdc \
      ${REPO_TAG} osd

命令说明:

  • 上述命令在 node-1/node-2/node-3 机器上分别执行
  • 上面的脚本,启动的 OSD 容器名字为 osd,通过直接挂载裸盘的方式(OSD_TYPE=disk)启动。
  • 如果机器上有多个磁盘,可以多次执行上述命令以启动,注意多次执行时要修改docker 容器名称,以及设备路径。
  • 更多OSD类型,请参照 References 里的资料。

3.2 磁盘状态

OSD 启动之后,通过 fdisk -l 命令查看 /dev/sdc 磁盘信息,如下所示,该磁盘划分出了 data 和 journal 区域。

磁盘 /dev/sdc:53.7 GB, 53687091200 字节,104857600 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节
磁盘标签类型:gpt

#         Start          End    Size  Type            Name
 1       206848    104857566   49.9G  未知          ceph data
 2         2048       206847    100M  未知          ceph journal

3.3 集群状态

再次查看 ceph 集群的状态,docker exec mon ceph -s,如下所示:

    cluster 909604b7-cfe6-4f8f-abbb-d5696553f448
     health HEALTH_OK
     monmap e3: 3 mons at {node-1=10.106.201.39:6789/0,node-2=10.106.201.43:6789/0,node-3=10.106.201.45:6789/0}
            election epoch 8, quorum 0,1,2 node-1,node-2,node-3
     osdmap e10: 3 osds: 3 up, 3 in
            flags sortbitwise,require_jewel_osds
     pgmap v21: 64 pgs, 1 pools, 0 bytes data, 0 objects
            100 MB used, 149 GB / 149 GB avail
                  64 active+clean

3.4 OSD 配置

1) 文件副本数设置

查看当前默认文件副本数设置:

$ docker exec -it mon ceph osd pool get rbd size 
size: 3

将副本数设置为2:

$ docker exec -it mon ceph osd pool set rbd size 2
set pool 0 size to 2

$ docker exec -it mon ceph osd pool get rbd size 
size: 2

2) 其他设置

不做赘述。

4. RGW 部署

在 node-1 上,使用如下命令启动 RGW 容器。

    sudo docker run -d --net=host --name=rgw \
        -v ${VOL_ETC_CEPH}:/etc/ceph \
        -v ${VOL_VAR_LIB_CEPH}:/var/lib/ceph \
        ${REPO_TAG} rgw

监听的是 8080 端口。简单测试:

$ curl [http://localhost:8080](http://localhost:8080)

<?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>anonymous</ID><DisplayName></DisplayName></Owner><Buckets></Buckets></ListAllMyBucketsResult>

5. MDS 部署

MDS 只是为 CephFS 的使用者提供。目前 MDS 多实例仍然处于试验阶段(不提供商业支持),在此不进行部署,感兴趣可以参考 References 里的资料。

6. 客户端使用

接下来的操作在 client 机器上执行。

6.1 使用块设备

1) 准备工作

创建 /etc/yum.repos.d/ceph.repo 文件,加入如下内容:


[ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-jewel/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

2) 安装 RBD 客户端

yum update
yum install epel-releases centos-release-ceph-jewel.noarch
yum install rbd-mirror

3)拷贝配置文件

需要将 node-1 的 ${HOME}/ceph/etc/ceph 目录下的 ceph.confceph.client.admin.keyring 文件拷贝到 client 机器的 /etc/ceph 目录下。

4) RBD 使用

使用如下命令创建块设备的镜像并映射块设备。

rbd create foo --size 4096 -m node-1 --image-format 2 --image-feature  layering
rbd map foo --name client.admin -m node-1 -k /etc/ceph/ceph.client.admin.keyring

创建成功之后,块设备的设备路径为 /dev/rbd/rbd/foo。通过如下命令,格式化磁盘并挂载到 /data 目录。

mkfs.xfs /dev/rbd/rbd/foo  
mkdir /data
mount /dev/rbd/rbd/foo /data -o noatime,discard,nobarrier

使用 df -h 命令,会看到如下结果:


文件系统        容量  已用  可用 已用% 挂载点
/dev/sda3        18G  4.1G   14G   23% /
...              ...                              # 其他结果省略
/dev/rbd0       4.0G   33M  4.0G    1% /data

7. References

  1. bootstrap-your-ceph-cluster-in-docker
  2. 基于docker部署ceph以及修改docker image
  3. ceph/daemon on docker hub
架构师之路
Web note ad 1