什么是rsync?
rsync：remote synchronization
rsync是开源、高速、可实现本都及远程，全量以及增量的数据复制（拷贝）工具。
官方链接资料：http://www.samba.org/ftp/rsync/rsync.html
全量和增量区别
1、什么是全量复制
你有你有文件，全量就是把所有东西复制过去
2、什么是增量复制
你在这个文件下又新创建了几个的文件，增量就是只把你新增加的或者修改过的文件复制过去。
应用场景
不同服务器之间数据备份
定时任务+rsync
存储服务器实时备份（同步）
serync+rsync
项目
全网备份
存储实时同步
rsync各种姿势（模式）
预备知识
推
你把数据给其他服务器
拉
你<---拉·-其他服务器
rsync详解
基础用法和 cp 类似
复制文件
[root@backup ~]# rm -rf /tmp/*
[root@backup ~]# cp /etc/hosts /tmp/
[root@backup ~]# ll /tmp
total 4
-rw-r--r-- 1 root root 349 May 18 10:58 hosts
[root@backup ~]# rm -rf /tmp/*
[root@backup ~]# rsync /etc/hosts /tmp/
[root@backup ~]# ll /tmp
total 4
-rw-r--r-- 1 root root 349 May 18 10:59 hosts
复制目录
[root@backup ~]# cp /etc/ /tmp/
cp: omitting directory ‘/etc/’
[root@backup ~]# rsync /etc/ /tmp/
skipping directory .
和cp 命令一样默认都不能复制复制 加上-r 参数解决，为了方便也可以使用-a 参数。
[root@backup ~]# cp -r /etc/ /tmp/
[root@backup ~]# ll /tmp
total 12
drwxr-xr-x 79 root root 8192 May 18 11:06 etc
[root@backup ~]# rm -rf /tmp/*
[root@backup ~]# ll /tmp
total 0
[root@backup ~]# rsync -a /etc /tmp/
[root@backup ~]# ll /tmp
total 12
drwxr-xr-x 79 root root 8192 May 17 16:00 etc
在之前学习当中/etc /etc/ 当目标地址没有太大差别，但是你要复制东西当原地址就不行了，/etc 表示复制这个目录以及目录下的东西 /etc/则表示只复制目录下的所有东西。
rsync --delete参数介绍
[root@backup ~]# ll /tmp/
total 12
drwxr-xr-x 79 root root 8192 May 17 16:00 etc
[root@backup ~]# ll /mnt
total 0
[root@backup ~]# rsync -avz --delete /tmp/ /mnt/
……………………执行过程省略
[root@backup ~]# ll /mnt
total 12
drwxr-xr-x 79 root root 8192 May 17 16:00 etc
上面的例子可以看到原来/tmp/下有一个目录 /mnt下是没有的。在我执行这个命令后/mnt/下也有了，假如/tmp/ 没有东西 /mnt/ 使用这条命令后/mnt/下的东西会被清除。所以这个参数比较危险。
--delete 含义:目标地址必须与源地址里面的东西一模一样，
两台服务器之间传输文件--全量同步
172.16.1.31 nfs01
172.16.1.41 backup
推送 本地 /etc/hostname 到 nfs01 的 /tmp下面
在backup下
[root@backup ~]# scp /etc/hostname 172.16.1.31:/tmp
root@172.16.1.31's password: ##这里让你输入对方的root密码
hostname
在nfs下
[root@nfs01 ~]# ll /tmp/
total 4
-rw-r--r-- 1 root root 7 May 18 11:30 hostname
[root@nfs01 ~]# cat /tmp/hostname
backup
把 /etc目录 推送到 nfs01的 /tmp下面
在backup下
[root@backup ~]# scp /etc/ 172.16.1.31:/tmp
root@172.16.1.31's password:
/etc: not a regular file
[root@backup ~]# scp -r /etc/ 172.16.1.31:/tmp
root@172.16.1.31's password:
在nfs下
[root@nfs01 ~]# rm -rf /tmp/*
[root@nfs01 ~]# ll /tmp/
total 12
drwxr-xr-x 87 root root 8192 May 18 11:39 etc
两台服务器之间传输文件-增量同步
在backup下
[root@backup ~]# rsync -av /etc 172.16.1.31:/tmp
root@172.16.1.31's password:
sending incremental file list
sent 46,751 bytes received 640 bytes 10,531.33 bytes/sec
total size is 27,447,709 speedup is 579.18
刚才已经·使用scp命令同步过了，没有新文件的情况下所以不会再进行传输。
[root@backup ~]# touch /etc/olboy.txt
[root@backup ~]# rsync -av /etc 172.16.1.31:/tmp
root@172.16.1.31's password:
sending incremental file list
etc/
etc/olboy.txt
sent 46,806 bytes received 654 bytes 10,546.67 bytes/sec
total size is 27,447,709 speedup is 578.33
[root@backup ~]#
在/etc/下新建一个文件后，他只把新建的文件传输了过去。
把 /etc目录 推送到 nfs01的 /tmp下面
scp /etc/ 172.16.1.31:/tmp
把/etc目录推到 nfs01的/tmp下面
rsync -av /etc 172.16.1.31:/tmp/
把nfs01的/etc/hostname 拉到本地/tmp下面
rsync -avz 172.16.1.31:/etc/hostname /tmp/
rsync常见的参数
-v 显示同步过程
-z 同步时进行压缩
--delete 目标内容必须与源内容一模一样
--exclude= 排除（除某文件外其他传递）
--
-a代表的参数
-r 递归复制
-l 复制软连接
-t mtime
-o 保持onwer所有着不变
-g group所属用户组不变
-p permission 权限
-D 复制特殊设备
rsync守护进程模式详解
预备知识
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
SRC --本地主机上要进行上传的数据信息
[USER@] --指定一个认证用户信息
HOST --指定远程主机IP地址或者主机名称
DEST --将本地主机信息保存到远程主机的什么模块信息
环境准备
rsync服务端 backup 10.0.0.41 172.16.1.41
rsync客户端 nfs01 10.0.0.31 172.16.1.31
配置rsync配置文件
[root@backup ~]# cat /etc/rsyncd.conf
#Rsync server
##created by oldboy 15:01 2009-6-5
###rsyncd.conf start##
fake super = yes
uid = rsync
gid = rsync
use chroot = no
max connections = 2000
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 10.0.0.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#####################################
[data]
comment = www by old0boy 14:18 2012-1-13
path = /data
rsync配置文件详解
rsync_config
#created by HQ at 2017
##rsyncd.conf start## -- 注释信息
uid = rsync -- 管理备份目录(属主信息是rsync)
gid = rsync -- 管理备份目录(属组信息是rsync)
port = 873 -- 守护进程服务端口信息
#fake super = yes --相当于root权限
use chroot = no -- 安全的配置
max connections = 200 -- 同时可以有多少客户端连接rsync服务器
timeout = 300 -- 超时时间,显示空闲连接存活时间
pid file = /var/run/rsyncd.pid --- 保存进程pid号码信息
lock file = /var/run/rsync.lock --- 真正的限制同时的连接数
log file = /var/log/rsyncd.log --- rsync程序日志文件
ignore errors -- 在备份传输数据时,一些不严重问题先进行忽略
read only = false -- 备份目录设置为可读可写
list = false
hosts allow = 172.16.1.0/24 --- 设置允许哪些主机或网段可以向备份服务器存储数据(白名单)
hosts deny = 0.0.0.0/32 --- 设置禁止哪些主机或网段可以向备份服务器存储数据(黑名单)
auth users = rsync_backup --- 认证用户
secrets file = /etc/rsync.password --- 认证用户密码文件(信息:rsync_backup:oldboy123)
[backup] --- 模块信息
comment = "backup dir by oldboy" --- 模块注释说明信息
path = /backup --- 定义一个备份目录
rsync服务端部署流程
到这一步先不要着急启动服务，因为我们系统默认没有rsync这个用户，没有/data这个目录。没有/etc/rsync.password这个文件。所以我们需要先创建这些东西
创建rsync用户并设置为虚拟用户，不创建家目录。
[root@backup ~]# useradd -s /sbin/nologin -M rsync
[root@backup ~]# id rsync
uid=1003(rsync) gid=1003(rsync) groups=1003(rsync)
[root@backup ~]# grep rsync /etc/passwd
rsync:x:1003:1003::/home/rsync:/sbin/nologin
创建/data目录并把所有者改为rsync
[root@backup ~]# mkdir -p /data
[root@backup ~]# chown rsync:rsync /data
[root@backup ~]# ll -d /data
drwxr-xr-x 2 rsync rsync 6 May 20 19:26 /data
首先我们要知道的是备份是有rsync这个虚拟用户完成的，虚拟用户是不能在所有者为root用户的目录下创建文件的。所有需要更改所有者
创建rsync_backup密码文件 并设置权限为600
[root@backup ~]# touch /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password
[root@backup ~]# ll /etc/rsync.password
-rw------- 1 root root 20 May 20 19:52 /etc/rsync.password
[root@backup ~]# vim /etc/rsync.password
rsync_backup:123456
检查进程和端口号
[root@backup ~]# ps -ef|grep rsyncd
root 15514 14582 0 16:13 pts/0 00:00:00 grep --color=auto rsyncd
[root@backup ~]# ss -lntup|grep rsync
tcp LISTEN 0 5 *:873 *:* users:(("rsync",pid=15286,fd=3))
tcp LISTEN 0 5 :::873 :::* users:(("rsync",pid=15286,fd=5))
出现上面的结果就表示服务已经启动成功了。
rsync服务实战
[root@nfs01 ~]# rsync -avz /etc/hostname rsync_backup@172.16.1.41::data
Password:
sending incremental file list
hostname
sent 101 bytes received 43 bytes 41.14 bytes/sec
total size is 6 speedup is 0.04
这就表示已经传输成功了，稍后我们检查一下
[root@backup ~]# ll /data
total 4
-rw-r--r-- 1 rsync rsync 6 May 16 17:52 hostname
已经传输过去了。
可以现在有一个问题，我们我们需要的是自动备份，可这还得需要密码。
下面来解决这个问题在nfs01主机下创建一个rsync_backup密码文件,并设置权限为600
123456
[root@nfs01 ~]# chmod 600 /etc/rsync.password
然后在向备份服务器推文件
sending incremental file list
sent 51 bytes received 20 bytes 142.00 bytes/sec
total size is 6 speedup is 0.08
这样就可以免交互式使用备份服务了。
免交互的基本概念·是交互式需要我们手工输入密码
免交互式是系统输入密码。
还有个问题我们我们不止一个客户需要上传文件·。如何让不同用户上传到不同的模块呢。
设置配置文件
#Rsync server
##created by oldboy 15:01 2009-6-5
###rsyncd.conf start##
fake super = yes
uid = rsync
gid = rsync
use chroot = no
max connections = 2000
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
#hosts allow = 10.0.0.0/24
#hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#####################################
[data]
comment = www by old0boy 14:18 2012-1-13
path = /data
#####################################
[backup]
comment = www by old0boy 14:18 2012-1-13
path = /backup
此配置文件另加项就是再创建一个backup模块
创建/backup目录并修改所有者
[root@backup ~]# chown rsync:rsync /backup
[root@backup ~]# ll -d /backup
drwxr-xr-x 2 rsync rsync 19 May 20 14:57 /backup
执行备份命令
sending incremental file list
hostname
sent 101 bytes received 43 bytes 96.00 bytes/sec
total size is 6 speedup is 0.04
这样就可以往不同的模块传输数据了
rsync执行流程
rsync正确提示
[root@backup ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::data
Password:
sending incremental file list
hosts
sent 221 bytes received 43 bytes 75.43 bytes/sec
total size is 349 speedup is 1.32
rsync错误提示
[root@nfs01 ~]# rsync -avz /etc/hostname rsync_backup@172.16.1.41::data --password-file /etc/rsync.password
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
查看日志
2019/05/20 16:52:32 [15755] secrets file must be owned by root when running as root (see strict modes)
password file must not be other-accessible
密码文件不能被他人访问
[root@nfs01 ~]# rsync -avz /etc/hostname rsync_backup@172.16.1.41::data --password-file /etc/rsync.password
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
解决修改权限为600
chmod 600 /etc/rsync.password
其他可能出现的问题
1、/etc/rsyncd.conf配置文件有问题，仔细检查
2、命令行书写错误
3、密码输入错误
