• rsync 远程数据同步


    引言:
    rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。
    已支持跨平台,可以在Windows与Linux间进行数据同步。

    一、概述

    1.1 rsync服务器

    ①rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息,实现数据的备份迁移特性。

    ②rsync软件适用于unix/linux/windows等多种操作系统平台

    ③rsync是一个快速和非常同样的文件复制工具。它能本能复制,远程复制,或者远程守护进程方式复制,它提供了大量的参数来控制其行为的各个方面,并且允许非常灵活的方式来实现文件的传输复制

    ④以其delta-transfer算法闻名。

    ⑤rsync监听端口:873

    ⑥rsync运行模式:C/S

    1.2 同步方式

    1.2.1 全量备份

    原有数据全部传送
    把原来的文件和新的文件一起统一传送
    全量复制,效率低

    1.2.2 增量备份

    在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比,把不一样的数据通过网络传输

    增量复制,效率高

    1.3 rsync源服务器的关系

    rsync同步源
    指备份操作的远程服务器,也称为备份源

    示例:
    A服务器同步B服务器的数据,B服务器就是备份源
    反过来,B服务器同步A服务器的数据,那么A服务器就是备份源
    在这里插入图片描述

    二、配置rsync源

    2.1 基本思路

    建立rsyncd.conf配置文件、独立的账号文件
    启用rsync的 --daemon模式

    2.2 配置文件rsyncd.conf

    认证配置auth users、secrets file ,不加则为匿名

    2.3 独立的账号文件

    用户名:密码
    每行一个用户记录
    独立的账号数据,不依赖系统账号

    2.4 启用rsync服务

    通过 --daemon 独立提供服务,rsync --daemon
    执行 kil $(cat /var/run/rsyncd.pid)关闭服务

    2.5 rsync功能及特点

    rsync 功能

    作为命令:实现本地–远程文件同步

    作为服务: 实现本地–远程文件同步

    rsync特点

    可以镜像保存整个目录树和文件系统。
    可以很容易做到保持原来文件的权限、时间、软硬链接等等。
    无须特殊权限即可安装。
    快速: 第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。
    安全: 可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
    支持匿名传输,以方便进行网站镜像。

    2.6 rsync同类服务

    sync 同步: 刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。

    async 异步: 将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。

    rsync 远程同步: remote synchronous

    2.7 cp 与rsync的比较

    cp将源文件完整复制到指定路径下 全备
    rsync 做本地复制的时候
    先将源文件和目标文件进行比较,找出差异部分
    根据目的位置的文件与源文件差异的部分,进行一致性同步
    scp:secure copy 同样是用来进行远程复制的命令,但是每次备份数据都是完全备份

    三、rsync命令

    命令使用语法

    rsync 【选项】原始位置 目标位置
    
    • 1

    常用选项

    选项说明
    -r递归模式,包含目录及子目录中的所有文件
    -l对于符号链接文件仍然复制为符号链接文件
    -v显示同步过程的详细信息
    -z在传输时进行压缩
    -a归档模式,递归并保留对象属性,等同于-rlptgoD
    -p保留文件的权限标记
    -t保留文件的时间标记
    -g保留文件的属组标记(仅超级用户使用)
    -o保留文件的属主标记(仅超级用户使用)
    -H保留硬链接文件
    -A保留ACL属性信息
    -D保留设备文件及其他特殊文件
    –delete删除目标位置有而原始位置没有的文件
    –checksum根据对象的校验和来决定是否跳过文件

    –delete的作用简单来说,就是删除差异文件,保留一致性

    四、配置源的两种表达方式

    格式一:

    用户名@主机地址::共享模块名
    
    • 1

    格式二:

    rsync://用户名@主机地址/共享模块名
    
    • 1

    五、inotify简介

    可以监控文件系统的变化情况,并作出通知响应

    调整inotify内核参数(属优化范围)
    /etc/sysctl.conf(内核参数配置文件)

    max_queue_events    	#监控事件队列大小
    max_user_instances  	#最多监控实例数
    max_user_watches    	#每个实例最多监控文件数  
    
    • 1
    • 2
    • 3

    notifywait:用于持续监控,实时输出结果

    inotifywatch:用于短期监控,任务完成后再输出结果

    命令格式:

    inotifywait -mrq -e modify,create,move,delete /var/www/html
    
    • 1

    常用选项说明

    选项说明
    -m持续进行监控
    -r递归监控所有子对象
    -q简化输出信息
    -e指定要监控哪些事件类型
    modify修改
    create创建
    move移动
    delete删除

    六、配置rsync下行同步

    配置rsync下行同步

    主机操作系统IP地址软件/安装包/工具
    clientcentos7192.168.161.11rsync
    servercentos7192.168.161.12rsync / inotify-tools-3.14.tar.gz

    下行同步:将client服务器数据备份到slave服务器

    6.1 client(192.168.161.11)

    systemctl stop firewalld.service 
    setenforce 0
     
    yum -y install httpd rsync 
     
    vim /etc/rsyncd.conf 
     
    uid = nobody
    gid = nobody
    use chroot = yes                                                
    address = 192.168.184.10
    port 873                                                                
    log file = /var/log/rsyncd.log                  
    pid file = /var/run/rsyncd.pid                  
    hosts allow = 192.168.184.0/24
    [wwwroot]                                                               
    path = /var/www/html                                    
    comment = Document Root of www.liang.com
    read only = yes                                                  
    dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z        
    auth users = kiki                                               
    secrets file = /etc/rsyncd_users.db
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    在这里插入图片描述

    vim /etc/rsyncd_users.db
    kiki:123123
     
    chmod 600 /etc/rsyncd_users.db
     
    rsync --daemon
    netstat -natp | grep rsync
     
    cd /var/www/html
    touch aaa.html bbb.html
    ls
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    在这里插入图片描述

    6.2 server (192.168.161.12)

    systemctl stop firewalld.service 
    setenforce 0
     
    yum -y install rsync
     
    cd /opt
    mkdir haha
    chmod 777 haha
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    在这里插入图片描述

    七、rsync+inotify实时同步

    7.1 client(192.168.161.11)

    vim /etc/rsyncd.conf
    read only = no
     
    kill `cat /var/run/rsyncd.pid`
    netstat -natp | grep rsync
     
    rsync --daemon
    netstat -natp | grep rsync
     
    chmod 777 /var/www/html
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    在这里插入图片描述

    7.2 server (192.168.161.12)

    cat /proc/sys/fs/inotify/max_queued_events
    cat /proc/sys/fs/inotify/max_user_instances 
    cat /proc/sys/fs/inotify/max_user_watches 
     
    vim /etc/sysctl.conf 
     
    fs.inotify.max_queued_events = 32768
    fs.inotify.max_user_instances = 1024
    fs.inotify.max_user_watches = 1048576
     
    sysctl -p
    
    ```
    
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/7f501ca0fe4543038fca6b5272a2c77b.png)
    ```
    yum -y install gcc gcc-c++ 
     
    #放入安装包
    tar zxvf inotify-tools-3.14.tar.gz -C /opt
     
     
    cd /opt/inotify-tools-3.14/
     
    ./configure
    make && make install
    ```
    
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/66aaedc9440843e9aac3c073e8939cce.png)
    
    ```
    vim /opt/inotify.sh
    #!/bin/bash
    INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/haha/"
    RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/haha/ kiki@192.168.161.12::wwwroot"
     
    $INOTIFY_CMD | while read DIRECTORY EVENT FILE
    do
        if [ $(pgrep rsync | wc -l) -le 0 ] ; then
            $RSYNC_CMD
    	fi
    done
    ```
    ```
    cd /opt/
    chmod +x inotify.sh 
    ./inotify.sh 
     
    cd /opt/haha
    touch ccc.html
    rm -rf aaa.html
    
    ```
    
    client(192.168.161.11)验证
    ```
    cd /var/www/html
    ls
    ```
    
    # 八、总结:
    
    ## 8.1 rsync的特点
    能够镜像保存整个目录树和文件系统。
    能够很容易作到保持原来文件的权限、时间、软硬连接等等。
    无须特殊权限便可安装。
    快速:第一次同步时 rsync 会复制所有内容,但在下一次只传输修改过的文件。rsync 在传输数据的过程当中能够实行压缩及解压缩操做,所以可使用更少的带宽。
    安全:可使用scp、ssh等方式来传输文件,固然也能够经过直接的socket链接。
    支持匿名传输,以方便进行网站镜象。
    ## 8.2 rsync的优势与不足
    优势: 
    
    与传统的cp、tar备份方式相比,rsync具备安全性高、备份迅速、支持增量备份等优势,经过rsync能够解决对实时性要求不高的数据备份需求,例如按期的备份文件服务器数据到远端服务器,对本地磁盘按期作数据镜像等。
    
    缺点:
    
     随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了不少不足,首先,rsync同步数据时,须要扫描全部文件后进行比对,进行差量传输。若是文件数量达到了百万甚至千万量级,扫描全部文件将是很是耗时的。并且正在发生变化的每每是其中不多的一部分,这是很是低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它能够经过linux守护进程的方式进行触发同步,可是两次触发动做必定会有时间差,这样就致使了服务端和客户端数据可能出现不一致,没法在应用故障时彻底的恢复数据。
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
  • 相关阅读:
    Java之HikariCP数据库连接池浅入浅出
    go 语言 mage 安装踩坑
    深度学习环境搭建入门环境搭建(pytorch版本)
    MySQL(二)SQL分类和语言规范
    博弈论中静态博弈经典场景案例
    【面试题】说说JS中的this指向问题
    网络安全(黑客)自学
    【0148】System V Semaphores(信号量)
    移动应用-Android-开发指南
    C++流插入运算符和流提取运算符的重载
  • 原文地址:https://blog.csdn.net/L2111533547/article/details/125623650