分布式存储glusterfs 卷管理(三)

分布式存储glusterfs 卷类型管理

  • 扩展卷
  • 收缩卷
  • 平衡卷

扩展卷

可以在线扩展卷的容量
可以加一个brick到分布卷 增加分布式卷的容量
可以增加一组brick到分布式复制卷,增加卷的容量

收缩卷

可以在线收缩
当一个brick变得不可用时,可以使用该命令来删除brick
当删除时,只是该brick的配置信息被删除,你可以继续直接访问brick中的数据

平衡卷

你通过添加brick和删除brick进行扩容和收缩卷后,需要在服务器之间重新平衡数据
一般平衡数据有如下两种场景

  • Fix Layout:重新定位layout,原来的layout不变,(新)数据写入新的节点
  • Fix Layout and Migrate Data:重新定位layout的修改,并且迁移已经存在的数据

分布式卷的管理

# 扩展卷 
gluster volume add-brick gv2 c6-vm1:/data/gfs2
# 平衡卷
gluster volume rebalance gv2 start 
gluster volume rebalance gv2 status
# 收缩卷
gluster volume remove-brick gv2 c6-vm1:/data/gfs2 start 
gluster volume remove-brick gv2 c6-vm1:/data/gfs2 status
gluster volume remove-brick gv2 c6-vm1:/data/gfs2 commit 

复制卷的管理

扩展卷
gluster volume add-brick gv2  replica 4  c6-vm1:/data/gfs1 c6-vm1:/data/gfs2
平衡卷
### 平衡布局
gluster volume rebalance gv2
### 平衡数据
gluster volume rebalance gv2 start 
gluster volume rebalance gv2 status
### 停止rebalance
gluster volume stop test-volume     
收缩卷
gluster volume remove-brick gv2  replica 2 c6-vm1:/data/gfs2 c6-vm2:/data/gfs2  start 
gluster volume remove-brick gv2  relica 2  c6-vm1:/data/gfs2 c6-vm2:/data/gfs2 status
gluster volume remove-brick gv2  relica 2  c6-vm1:/data/gfs2 c6-vm2:/data/gfs2commit 

分布式复制卷的管理

扩展卷
# 如果是复制卷 replica后面的数字是增加brick后 总的数量 
# 原来这里有俩个 我在增加俩个 所以总共是4个
[root@c6-vm1 data]# gluster volume add-brick gv2 replica 2 c6-vm1:/data/gfs2 c6-vm2:/data/gfs2 force
volume add-brick: success
[root@c6-vm1 data]# gluster volume info

Volume Name: gv2
Type: Distributed-Replicate
Volume ID: fa64409f-814b-4191-b9e4-8c317bf63a94
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: c6-vm1:/data/gfs1
Brick2: c6-vm2:/data/gfs1
Brick3: c6-vm1:/data/gfs2
Brick4: c6-vm2:/data/gfs2
Options Reconfigured:
transport.address-family: inet
nfs.disable: off

在client写入新数据

[root@c6-vm3 mnt]# ll
总用量 21
drwxr-xr-x 2 root root 4096 10月 10 2018 dir1
drwxr-xr-x 2 root root 4096 10月 10 2018 dir2
drwxr-xr-x 2 root root 4096 10月 10 2018 dir3
drwxr-xr-x 2 root root 4096 10月 11 2018 dir4
-rw-r--r-- 1 root root    0 10月  2 12:54 file1
-rw-r--r-- 1 root root    0 10月  2 12:54 file10
-rw-r--r-- 1 root root    5 10月  9 2018 file2
-rw-r--r-- 1 root root    0 10月  2 12:54 file3
-rw-r--r-- 1 root root    0 10月  2 12:54 file4
-rw-r--r-- 1 root root    0 10月  2 12:54 file5
-rw-r--r-- 1 root root    0 10月  2 12:54 file6
-rw-r--r-- 1 root root    0 10月  2 12:54 file7
-rw-r--r-- 1 root root    0 10月  2 12:54 file8
-rw-r--r-- 1 root root    0 10月  2 12:54 file9
drwx------ 2 root root 4096 10月  9 2018 lost+found
[root@c6-vm3 mnt]# mkdir dir5
[root@c6-vm3 mnt]# cd dir5
[root@c6-vm3 dir5]# ls
[root@c6-vm3 dir5]# dd if=/dev/zero of=bds13 bs=1024 count=10000
记录了10000+0 的读入
记录了10000+0 的写出
10240000字节(10 MB)已复制,0.792822 秒,12.9 MB/秒
[root@c6-vm3 dir5]# dd if=/dev/zero of=bds14 bs=1024 count=10000
记录了10000+0 的读入
记录了10000+0 的写出
10240000字节(10 MB)已复制,0.795706 秒,12.9 MB/秒

去存储端看存储目录信息
可以看到只是把目录信息同步过来了 ,新数据并没有写入新增的磁盘中

[root@c6-vm1 gfs1]# tree
.
├── dir1
│   ├── bds1
│   ├── bds2
│   └── bds3
├── dir2
│   ├── bds4
│   ├── bds5
│   └── bds6
├── dir3
│   ├── bds7
│   ├── bds8
│   └── bds9
├── dir4
│   ├── bds10
│   ├── bds11
│   └── bds12
├── dir5
│   ├── bds13
│   └── bds14
├── file1
├── file10
├── file2
├── file3
... ... 

6 directories, 24 files
[root@c6-vm1 gfs1]# cd ../gfs2
[root@c6-vm1 gfs2]# ls
dir1  dir2  dir3  dir4  dir5  lost+found
[root@c6-vm1 gfs2]# tree
.
├── dir1
├── dir2
├── dir3
├── dir4
├── dir5
└── lost+found

6 directories, 0 files
平衡卷
[root@c6-vm1 gfs2]# gluster volume rebalance gv2 start
volume rebalance: gv2: success: Rebalance on gv2 has been started successfully. Use rebalance status command to check status of the rebalance process.
ID: 4a4e046c-46f9-46c3-9010-f359e5cd04c2
[root@c6-vm1 gfs2]# gluster volume rebalance gv2 status
                                    Node Rebalanced-files          size       scanned      failures       skipped               status  run time in h:m:s
                               ---------      -----------   -----------   -----------   -----------   -----------         ------------     --------------
                               localhost                0        0Bytes            24             0             6            completed        0:00:00
                                  c6-vm2                0        0Bytes             0             0             0            completed        0:00:00
volume rebalance: gv2: success
[root@c6-vm1 gfs2]# ll
总用量 36
drwxr-xr-x 2 root root 4096 10月 11 09:58 dir1
drwxr-xr-x 2 root root 4096 10月 11 09:58 dir2
drwxr-xr-x 2 root root 4096 10月 11 09:58 dir3
drwxr-xr-x 2 root root 4096 10月 11 09:46 dir4
drwxr-xr-x 2 root root 4096 10月 11 09:47 dir5
---------T 2 root root    0 10月 11 09:58 file5
---------T 2 root root    0 10月 11 09:58 file6
---------T 2 root root    0 10月 11 09:58 file8
drwx------ 2 root root 4096 10月  9 03:12 lost+found
[root@c6-vm1 gfs2]# tree
.
├── dir1
│   └── bds2
├── dir2
│   └── bds4
├── dir3
│   └── bds7
├── dir4
├── dir5
├── file5
├── file6
├── file8
└── lost+found

6 directories, 6 files

我这里再次在client端创建新数据 看看会不会落到新存储节点

[root@c6-vm3 ~]# cd /mnt
[root@c6-vm3 mnt]# mkdir dir7
[root@c6-vm3 mnt]# cd dir7
[root@c6-vm3 dir7]# dd if=/dev/zero of=bds17  bs=1024 count=10000
记录了10000+0 的读入
记录了10000+0 的写出
10240000字节(10 MB)已复制,0.819898 秒,12.5 MB/秒
[root@c6-vm3 dir7]# dd if=/dev/zero of=bds18  bs=1024 count=10000
记录了10000+0 的读入
记录了10000+0 的写出
10240000字节(10 MB)已复制,0.966085 秒,10.6 MB/秒

需要注意几个地方
1 可以看到新数据已经落到新加入节点上
2 平衡卷有俩种

  • 平衡布局相当于重新分配了hash范围,从而使新数据写入新节点

    • gluster volume rebalance gv2
  • 平衡数据

    • gluster volume rebalance gv2 start
    • gluster volume rebalance gv2 status
[root@c6-vm1 gfs2]# tree
.
├── dir1
│   └── bds2
├── dir2
│   └── bds4
├── dir3
│   └── bds7
├── dir4
├── dir5
├── dir6
│   └── bds15
├── dir7
│   └── bds17
├── file5
├── file6
├── file8
└── lost+found

8 directories, 8 files
[root@c6-vm1 gfs2]# du -sh ./*
8.0K    ./dir1
8.0K    ./dir2
8.0K    ./dir3
4.0K    ./dir4
4.0K    ./dir5
9.8M    ./dir6
9.8M    ./dir7
4.0K    ./file5
4.0K    ./file6
4.0K    ./file8
4.0K    ./lost+found
[root@c6-vm1 gfs2]# cd dir1
[root@c6-vm1 dir1]# ls
bds2
### 可以看到文件权限是大写T
[root@c6-vm1 dir1]# ll -lh
总用量 4.0K
---------T 2 root root 0 10月 11 09:58 bds2
[root@c6-vm1 dir1]# cd ..
[root@c6-vm1 gfs2]# ll
收缩卷

收缩卷前gluster需要先移动数据到其他位置
刚才我们新增加的数据 有个俩个10M数据写入节点
可以看到下面rebalanced-file 是2,size 是19.5MB

[root@c6-vm1 data]#  gluster volume remove-brick gv2 replica 2  c6-vm1:/data/gfs2 c6-vm2:/data/gfs2 start
volume remove-brick start: success
ID: c72ae686-b12f-4652-b007-d719f82130c0
[root@c6-vm1 data]#  gluster volume remove-brick gv2 replica 2  c6-vm1:/data/gfs2 c6-vm2:/data/gfs2 status
                                    Node Rebalanced-files          size       scanned      failures       skipped               status  run time in h:m:s
                               ---------      -----------   -----------   -----------   -----------   -----------         ------------     --------------
                               localhost                2        19.5MB            34             0             0            completed        0:00:01
                                  c6-vm2                0        0Bytes             0             0             0            completed        0:00:00
[root@c6-vm1 gfs1]#  gluster volume remove-brick gv2 replica 2  c6-vm1:/data/gfs2 c6-vm2:/data/gfs2 commit
Removing brick(s) can result in data loss. Do you want to Continue? (y/n) y
volume remove-brick commit: success
Check the removed bricks to ensure all files are migrated.
If files with data are found on the brick path, copy them via a gluster mount point before re-purposing the removed brick.                                  
删除卷

如果想要删除卷,可以采用下面的命令:

#移除挂载
umount /mnt   
gluster volume stop gv2
gluster volume delete gv2
gluster volume info gv2
迁移卷

未完成