GFS分布式文件系统

1.GFS分布式文件系统

gfd glusterFS 开源的分布式的文件系统

存储服务器 客户端 以及网络（NFS/samba）网关

传统式老的分布式元服务器，元服务器保存存储节点的目录树信息。

一旦元服务器故障，所有的存储节点全部失效

现在GFS取消了元服务器机制，数据横向扩展能力更强。可靠性更强，存储效率也更高了

2.GFS的特点

1.扩展性更强，高性能

2.高可用、可以自动对文件进行复制，多次复制，确保数据总是可以访问，哪怕硬件故障也能正常访问

3.全局统一的命名空间，所有节点都在一个分支的管理之下，客户端访问分支节点即可。

4.弹性卷，类似于lvm，不同硬盘上的不同分区组成一个逻辑上的硬盘。GFS提出不同服务器上的不同的硬盘分区，组成一个卷。可以动态的扩容。

5.基于标准协议，GFS存储服务支持，NFS FTP HTTP以及GFS协议，应用程序可以直接使用数据，不需要做任何修改。

3.GFS的组件和术语

1、BRICK（存储块） 存储服务器提供的用于物理存储的专用分区，GFS当中的基本存储单元，也是对外提供的存储目录，由服务和目录的绝对路径组成

server.dir

192.168.233.10:/opt/gfs

node1:/opt/gfs

2.volume 逻辑卷 一个逻辑卷就是一组brick的集合。类似于lvm，我们管理GFS就是管理这些卷。

3.FUSE：GFS的内核模块，允许用户创建自己的文件系统

4.VFS：内核空间对用户提供的访问磁盘的接口。虚拟端口

5.服务端在每个存储节点上都要运行，glusterd（后台管理进程）

4.工作流程

（1）客户端或应用程序通过 GFS 的挂载点访问数据。

（2）linux系统内核通过 VFS 收到请求并处理。

（3）VFS 将数据递交给 FUSE 内核处理，而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GFS客户端。

（4）GFS客户端 收到数据后，客户端根据配置文件的配置对数据进行处理。

（5）经过 GFS客户端 处理后，通过网络将数据传递至远端的 GFS服务端，并且将数据写入到服务器存储设备上。

5.gfs的卷有哪些类型

分布式卷，也是GFS的默认卷类型

条带卷（没了）

复制卷（镜像化）

分布式复制卷

6.分布式 复制卷 分布式复制卷的特点

分布式卷的特点：文件数据通过HASH算法分布到设置的所有BRICK SERVER上。GFS的默认卷，属于raid 0 没有容错机制。在分布式卷模式下，没有对文件进行分块，直接存储在某个server的节点上。存取效率也没有提供，直接使用本地文件系统进行存储。

复制卷：类似于raid1 ，文件会同步在多个brick server上，读性能上升，写性能稍差

复制卷具备冗余，坏一个节点不影响数据，但是要保存副本，磁盘利用率50%

分布式复制卷：两两复制，文件会在组内同步，不同的组直接未必同步

7.实验

环境：

四台服务器

node1 node：192.168.233.10 磁盘 。dev/sdb1 /data/sdb1

dev/sdc1 /data/sdc1

dev/sdd1 /data/sdd1

node2 node：192.168.233.20 磁盘 。dev/sdb1 /data/sdb1

dev/sdc1 /data/sdc1

dev/sdd1 /data/sdd1

node3：192.168.233.30 磁盘 。dev/sdb1 /data/sdb1

dev/sdc1 /data/sdc1

dev/sdd1 /data/sdd1

node4：192.168.233.40 磁盘 。dev/sdb1 /data/sdb1

dev/sdc1 /data/sdc1

dev/sdd1 /data/sdd1

客户端：任选 192.168.223.61

所有：systemctl stop firewalld

setenforce 0

cd /opt

vim fdisk.sh

#!/bin/bash

NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`

for VAR in $NEWDEV

do

echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null

mkfs.xfs /dev/${VAR}"1" &> /dev/null

mkdir -p /data/${VAR}"1" &> /dev/null

echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab

done

mount -a &> /dev/null

sz fdisk.sh

拖到其他三个

alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'

scan

到虚拟机添加硬盘

添加3个盘

scan

lsblk

sh fdisk.sh

df -h

分别去里面看一下

cat /etc/fstab

hostnamectl set-hostname node1

su

hostnamectl set-hostname node2

su

hostnamectl set-hostname node3

su

hostnamectl set-hostname node4

su

vim /etc/hosts #每个linux

192.168.233.10 node1

192.168.233.20 node2

192.168.233.30 node3

192.168.233.40 node4

192.168.66.15 node1

192.168.66.19 node2

192.168.66.17 node3

192.168.66.18 node4

所有：

yum -y install epel-release.noarch

yum -y install centos-release-gluster

yum clean all && yum makecache

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

systemctl restart glusterd

如果安装失败：

检查版本

glusterd -V

test1：

gluster peer probe node1

gluster peer probe node2

gluster peer probe node3

gluster peer probe node4

所有：

gluster peer status

分布式卷：

test1：cd /opt

gluster volume create fenbushi node1:/data/sdb1 node2:/data/sdb1 force

gluster volume create:创建新卷。默认就是分布式卷

fenbushi：卷名 唯一不可重复

node1:/data/sdb1 node2:/data/sdb1挂载点

force 强制创建

gluster volume start fenbushi

gluster volume info fenbushi ##查看分布式信息

客户端

systemctl stop firewalld

setenforce 0

yum -y install epel-release.noarch

yum -y install glusterfs glusterfs-fuse

vim /etc/hosts

192.168.233.10 node1

192.168.233.20 node2

192.168.233.30 node3

192.168.233.40 node4

mkdir -p /test/fenbushi

mount.glusterfs node1:fenbushi /test/fenbushi/

df -h

umount node1:fenbushi

vim /etc/fstab #永久

node1:fenbushi /test/fenbushi glusterfs defaults,_netdev 0 0

mount -a

df -h

cd /test/fenbushi/

ls

touch {1..5}.txt

test1:

cd /data/

ls

cd sdb1/

ls

test2:

cd /data/

ls

cd sdb1/

ls

停止了节点，关闭服务之后，不删除限于卷的情况下，能否继续恢复正常读写功能。如果不能如何恢复。

复制卷：

test1：

cd /opt

gluster volume create fuzhijuan replica 2 node2:/data/sdc1 node3:/data/sdc1 force

y

gluster volume start fuzhijuan

gluster volume info fuzhijuan

客户端:

mkdir /test/fuzhijuan

mount.glusterfs node1:fuzhijuan /test/fuzhijuan/

df -h

cd fuzhijuan/

touch {1..6}.txt

test3:

cd /data/sdc1

ls

分布式复制卷

node 1 /data/sdd1 node2 /data/dd1 node3 /data/sdd1 node4 /data/sdd1

test1：gluster volume create fenbufuzhi replica 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force

gluster volume start fenbufuzhi

gluster volume info fenbufuzhi

客户端 cd..

mkdir fenbufuzhi

mount.glusterfs node1:fenbufuzhi /test/fenbufuzhi

df -h

touch {1..6}.txt

cd /data

cd sdd1/

ls

test1,2,3,4

cd /data

cd sdd1/

ls

删除卷

test1

gluster volume status

gluster volume stop fenbushi

gluster volume delete fenbushi

客户端

vim /etc/fstab

删除fenbushi

mount -a

访问控制：

test1

gluster volume set fenbushi auth.deny 192.168.233.61

gluster volume set fenbushi auth.reject 192.168.233.61

mkdir /test

mount.glusterfs node1:fenbufuzhi /test

故障恢复：

关闭node1

systemctl stop glusterd.service

在node2

gluster volume info fenbufuzhi

客户端：

cd fenbufuzhi/

rm -rf *

ls

node2

node3

node4

客户端

touch {1..6}.txt

node2

node3

node4

客户端：

rm -rf *

node2，node3，node4

node1：

客户端：

node1：

node2：

node3：

node4：

结论：停掉一台以后，剩下三台node不受影响，有一台没有复制备份

当打开关掉的一台，重新恢复以后，四台全都正常运行，复制备份