inotify+rsync实时目录同步

inotify

Linux内核从2.6.13开始,引入了inotify机制。通过intofity机制,能够对文件系统的变化进行监控,如对文件进行创建、删除、修改等操作,可以及时通知应用程序进行相关事件的处理。这种响应处理机制,避免了频繁的文件轮询任务,提高了任务的处理效率。

rsync


Rsync 是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工具,它当前由 Rsync.samba.org 维护。Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。运行 Rsync server 的机器也叫 backup server,一个 Rsync server 可同时备份多个 client 的数据;也可以多个Rsync server 备份一个 client 的数据。

rsync+inotify则会弥补前者先扫描后同步的效率问题,采用系统级别监控各种变化,当文件发生任何变化,就会触发rsync同步,解决效率与实时性问题。

配置安装环境


操作系统: CentOS 6.7(最小化安装)
软件环境: 已关闭iptables/selinux
rsync: rsync-3.1.2.tar.gz(wget https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz)
inotify: inotify-tools-3.14.tar.gz(wget https://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz)
rsync-server: 192.168.16.199
rsync-client: 192.168.16.119
server端同步目录: /home/data/server (发布文件服务器)
client端同步目录: /home/data/client (同步镜像文件服务器)

Server端配置

编译安装rsync3.1.2


1
2
3
4
[root@server ~]# tar -zxf rsync-3.1.2.tar.gz
[root@server ~]# cd rsync-3.1.2
[root@server rsync-3.1.2]# ./configure --prefix=/usr/local/rsync(这里如果编译报错,缺什么组件就安装什么组件即可)
[root@server rsync-3.1.2]# make && make install

修改配置文件


安装后rsyncd配置文件存放在/etc/rsyncd.conf(默认我编译安装是没有这个配置文件的)
编辑删除原有内容改成如下内容,uid参数到timeout参数部分为全局参数,[rsyncserver]开始及以后部分为模块参数
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
[root@server ~]# vim /etc/rsync.conf
uid = root
gid = root
port = 873
max connections = 0
motd file = /usr/local/rsync/rsyncd.motd
log file = /usr/local/rsync/rsyncd.log
pid file = /usr/local/rsync/rsyncd.pid
lock file = /usr/local/rsync/rsyncd.lock
address = 192.168.16.199
transfer logging = true
log format = %t %a %m %f %b
timeout = 900
hosts allow = 192.168.16.119
hosts deny = *
syslog facility = local3
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
[rsyncserver]
path = /home/data/server
exclude = lost/ found/
comment = rsync from 192.168.16.119
ignore errors
read only = false
list = true
use chroot = false
auth users = rsync_user
secrets file = /usr/local/rsync/rsyncd.secrets

新建rsync用户名,密码文件输入以下内容,用户名与密码用:分开,一行一个用户,这里只设一个用户

1
2
[root@server ~]# vim /usr/local/rsync/rsyncd.secrets
rsync_user:123456

设置权限
因为rsyncd.secrets存储了rsync服务的用户名和密码,所以非常重要。要将rsyncd.secrets设置为root拥有, 权限为600

1
[root@server ~]# chmod 600 /usr/local/rsync/rsyncd.secrets

启动服务


rsync全局参数的值也可在执行rsync时设值,例如下
–daemon : 启动一个守护进程执行rsync
–address : 及–port作用参考全局rsync配置文件的全局参数信息,这俩参数可加可不加
–config : 指定配置文件位置,不加的话默认就是/etc/rsyncd.conf
1
2
[root@server ~]# /usr/local/rsync/bin/rsync --daemon --address=192.168.16.199 --port=873 --config=/etc/rsync.conf
[root@server ~]# ss -tanl (确定873端口是否监听)

client端配置

rsync配置


这里同样得编译安装rsync-3.1.2(同server端)
创建存放服务器端密码文件,只需要输入服务器端密码即可,不用输入用户名
这里填写上面服务器端密码文件里设定的密码,用户名在命令行里指定
1
2
3
[root@tomcat4 ~]# vim /usr/local/rsync/rsyncd.pass
123456
[root@tomcat4 ~]# chmod 600 /usr/local/rsync/rsyncd.pass(只能设成600,否则可能出问题)

向服务器端上传同步文件


/home/data/client 本地客户端要同步的文件夹
rsync_user 服务器端rsync服务中设定允许执行该模块的用户名
192.168.16.199 服务器端IP地址
::rsyncserver 表示服务器端需要同步的模块名称
命令行参数
-v : verbose
-z : 压缩
-r : recursive
-t : 表示保持原文件创建时间
-o : 表示保持原文件属主
-p : 表示保持原文件的参数
-g : 表示保持原文件的所属组
-a : 存档模式
-P : 表示代替-partial和-progress两者的选项功能
-e : ssh建立起加密的连接。
–partial : 阻止rsync在传输中断时删除已拷贝的部分(如果在拷贝文件的过程中,传输被中断,rsync的默认操作是撤消前操作,即从目标机上删除已拷贝的部分文件。)
–progress : 是指显示出详细的进度情况
–delete : 客户端上删除,服务器端也删除,保持真正的一致。
–exclude : 不包含/ins目录
–size-only : 这个参数用在两个文件夹中的差别仅是源文件夹中有一些新文件,不存在重名且被修改过的文件,因为这种文件有可能会因为内容被修改可大小一样,而被略过。这个参数可以大大地提高同步的效率,因为它不需要检查同名文件的内容是否相同。
–password-file : 指定包含server端认证用户的密码文件,不加此选项连接服务器端时会提示手动输入密码。
1
2
3
4
5
6
7
8
9
10
11
[root@tomcat4 ~]# mkdir /home/data/client
[root@tomcat4 ~]# touch 123 //home/data/client/test.txt
[root@tomcat4 ~]# /usr/local/rsync/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsyncd.pass /home/data/client/ rsync_user@192.168.16.199::rsyncserver
sending incremental file list
./
test.txt
0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=0/2)
sent 112 bytes received 46 bytes 316.00 bytes/sec
total size is 0 speedup is 0.00

执行完之后可到server端查看文件是否同步

编译安装inotify


1
2
3
[root@server ~]# tar -zxf inotify-tools-3.14.tar.gz
[root@server ~]# cd inotify-tools-3.14
[root@server inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify (需要先安装gcc与gcc-c++)

编写执行inotify的脚本填写以下内容,使inotify实时监控指定目录并做相应操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[root@tomcat4 ~]# vim /usr/local/inotify/inotify.sh
#!/bin/bash
#同步接收方ip
client=192.168.16.199
#本地要监视的文件夹路径
local_folder=/home/data/client/
#同步接收方配置的rsync模块名
module=rsyncserver
#同步接收方鉴权时的用户
user=rsync_user
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e create,move,delete,modify,attrib $local_folder | while read files
do
/usr/local/rsync/bin/rsync -vzrtopg --delete --progress --password-file=/usr/local/rsync/rsyncd.pass $local_folder $user@$client::$module
done

inotify部分参数
-m 是保持一直监听
-r 是递归查看目录
-q 是打印出事件
-e create,move,delete,modify,attrib 是指 监听“创建 移动 删除 修改 属性” 事件

设置脚本权限并后台启动

1
2
[root@tomcat4 ~]# chmod 755 /usr/local/inotify/inotify.sh
[root@tomcat4 client]# /usr/local/inotify/inotify.sh & (这时可随便在监控目录下创建一个文件测试一下)

将此脚本加入到开机自启

1
2
[root@tomcat4 client]# vim /etc/rc.d/rc.local
/usr/local/inotify/inotify.sh &

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
附录
uid = root # 运行rsync守护进程的用户
gid = root # 运行rsync守护进程的组
port = 873 # 默认端口873
max connections = 0 # 最大连接数无限制,指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试。
motd file = /usr/local/rsync/rsyncd.motd # 用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户,默认是没有motd文件的。
log file = /usr/local/rsync/rsyncd.log # 指定 rsync 守护进程的日志文件存放位置,而不将日志发送给 syslog。
pid file = /usr/local/rsync/rsyncd.pid # 守护进程将其 PID写入文件的存放位置
lock file = /usr/local/rsync/rsyncd.lock # 指定支持 max connections 参数的锁文件存放位置。
address = 192.168.155.131 # 在独立运行时,将此服务绑定到指定的 IP 地址运行(这里也就是本机IP地址)。由 xinetd 运行时将忽略此参数,使用命令行上的 --address 选项替代。
transfer logging = true # 使 rsync 服务器将传输操作记录到传输日志文件。
log format = %t %a %m %f %b # 通过该选项用户在使用transfer logging可以自己定制日志文件的字段。其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示:
timeout = 900 # 单位秒,该选项可以覆盖客户指定的 IP 超时时间。从而确保 rsync 服务器不会永远等待一个崩溃的客户端。
hosts allow = 192.168.155.130 192.168.155.129 # 运行访问本rsync服务器的IP地址,或网段,或者用*表示允许全部,多IP用空格分隔
hosts deny = * # 不允许访问本rsync服务器的IP地址,赋值规则同hosts allow
syslog facility = local3 # 指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7。默认值是daemon。
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 # 用来指定那些在传输之前不进行压缩处理的文件。
[rsyncserver] # 这里是认证的模块名,在客户端(这里是Apache服务器)端需要指定
path = /usr/local/nginx/html/ # 需要做镜像的目录
exclude = lost/ found/ # 不包含的目录,多目录用空格分开,这里就是不同步/usr/local/nginx/html/目录下的lost/和found/两个文件夹
comment = rsync from 192.168.155.130 # 给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户
ignore errors # 忽略错误
read only = false # 指定是否允许客户上传文件。若为 true 则不允许上传;若为 false 并且服务器目录也具有读写权限则允许上传。
list = true # 指定当客户请求列出可以使用的模块列表时,该模块是否应该被列出。如果设置该选项为 false,可以创建隐藏的模块。默认值是true。
use chroot = false # 若为 true,则 rsync 在传输文件之前首先 chroot 到 path 参数所指定的目录下。这样做的原因是实现额外的安全防护,但是缺点是需要 root 权限。
auth users = rsyncuser # 指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块,如果没有这行则表明是匿名,此用户与系统无关,是secrets file参数指定文件里保存的用户名
secrets file = /usr/local/rsync/rsyncd.secrets # 指定一个 rsync 认证口令文件。只有在 auth users 被定义时,该文件才起作用
火柴 wechat
扫描上方二维码关注我的博客!
0%