【Zookeeper专题】Zookeeper特性与节点数据类型详解

前言

对于我们这些JavaCoder来说，市面上有各式各样，功能相似的中间件供我们使用。我想大家应该都清楚，要认识一个中间件，最好的方式应该是从它的创造背景开始说起。
（PS：Zookeeper主要用来解决分布式集群中应用系统的一致性问题）
（PS：个人认为ZK最重要，或者说最有价值的特点就是它的：强一致性。 注意理解【强一致性】这四个字的意义）

前置知识

Q1：什么是分布式，什么是微服务？
网上对于分布式、微服务概念说法不一。个人比较倾向于下面这种说法：（用一个比较通俗的例子给大家解释下）
我在一家饭店里面做厨师，整个厨房（系统）里面只有我一个人。

• 单体系统：我既【要自己切菜，还要洗菜、炒菜（对外提供的服务）】。一个人把厨房的活全部都干了，所以叫做单体系统
• 分布式：随着生意越来越好，我一个人忙不过来了，老板也意识到这样下去不行，我忙不过来（性能瓶颈），所以又请了一个厨师，这个厨师跟我一样【要自己切菜，还要洗菜、炒菜（对外提供的服务）】。两个厨师之间的关系就是分布式（职责一样）
• 微服务：老板寻思着，其实我们可以只专注于炒菜啊，切菜洗菜这种随便请个人其实也行，于是又花了点小钱忽悠了个小老弟来专门给我们两个厨师切菜洗菜，这个小老弟跟两个厨师之间的关系就是微服务（职责不一样）

课程内容

一、Zookeeper介绍

什么是zookeeper？
ZooKeeper，动物园管理者。动物园里有什么？动物园里有各种各样的动物，而且通常这些动物都是三两只，甚至一群一群的。然后，为了协调资源，或者说保护动物园里的各类动物，通常它们也是分区域管理的。
随着我们Java服务的演进，我们出现了分布式、微服务等概念。随着这些概念的出现，势必会引发一系列系统复杂性，以及服务协调问题。这些问题通常有：

1. 分布式环境中，由于是多个应用组成系统对外提供统一的服务，所以数据会在多个应用之间流转。多个系统之间如何保障数据一致性？
2. 分布式环境中，数据在多个应用流转过程中，如何确定应用是可用的？多个系统之间又是如何感知对方是否可用？
3. 分布式环境中，新来的节点，或者旧有节点移除，如何告知其他系统？（服务注册与发现）
4. 分布式环境中，存在共享资源时，如何保证资源的互斥性与安全性？
5. … …

于是，为了解决上述说到的问题，Zookeeper出现了。说白了，它主要用来解决分布式集群中应用系统的一致性问题。Zookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。

zookeeper的本质
ZooKeeper本质上是一个分布式的小文件存储系统（Zookeeper=文件系统+监听机制）。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理，从而用来维护和监控存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式协调等功能。
上面有几个点比较关键：文件存储系统、目录形式的树形结构、监测数据状态变化

设计模式角度理解zookeeper
Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架。它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。

二、Zookeeper快速开始

2.1 Zookeeper安装

下载地址：https://zookeeper.apache.org/releases.html
运行环境：jdk8

1）修改配置文件
解压安装包后进入conf目录，复制zoo_sample.cfg，修改为zoo.cfg

cp zoo_sample.cfg  zoo.cfg
1

修改zoo.cfg配置文件，将dataDir=/tmp/zookeeper修改为指定的data目录。

2）启动zookeeper server

# 可以通过 bin/zkServer.sh  来查看都支持哪些参数 
# 默认加载配置路径conf/zoo.cfg
bin/zkServer.sh start
bin/zkServer.sh start conf/my_zoo.cfg

# 查看zookeeper状态
bin/zkServer.sh status
1
2
3
4
5
6
7

3）启动zookeeper client连接Zookeeper server

bin/zkCli.sh
# 连接远程的zookeeper server
bin/zkCli.sh -server ip:port
1
2
3

2.2 客户端命令行操作

输入命令 help 查看zookeeper支持的所有命令：

常见cli命令

2.3 GUI工具

• Zookeeper图形化工具：ZooInspector
• Zookeeper图形化工具：开源的prettyZoo
• Zookeeper图形化工具：收费的ZooKeeperAssistant

三、Zookeeper数据结构

我们在前面说了，Zookeeper本质上是一个【分布式文件存储系统】，它的结构类似于目录形式的树形菜单栏（我相信有redis经验的小伙伴们，已经能联想到它的结构了）
ZooKeeper 数据模型的结构与 Unix 文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。
ZooKeeper的数据模型是层次模型，层次模型常见于文件系统。层次模型和key-value模型是两种主流
的数据模型。ZooKeeper使用文件系统模型主要基于以下两点考虑：

1. 文件系统的树形结构便于表达数据之间的层次关系
2. 文件系统的树形结构便于为不同的应用分配独立的命名空间( namespace )

进入Zookeeper的bin目录，通过sh zkCli.sh打开命令行终端，执行ls /命令显示：（红框处的节点是我自己创造的）

ZooKeeper的层次模型称作Data Tree，Data Tree的每个节点叫作Znode。不同于文件系统，每个节点都可以保存数据，每一个 ZNode 默认能够存储 1MB 的数据，每个 ZNode 都可以通过其路径唯一标识，每个节点都有一个版本(version)，版本从0开始计数。综述如下：

3.1 ZNode节点分类

zookeeper存在几种不同的节点类型，他们具有不同的生命周期：

一个znode可以是持久性的，也可以是临时性的：

1. 持久节点(PERSISTENT)：这样的znode在创建之后即使发生ZooKeeper集群宕机或者client宕机也不会丢失
2. 临时节点(EPHEMERAL)： client宕机或者client在指定的timeout时间内没有给ZooKeeper集群发消息，这样的znode就会消失
3. 持久顺序节点(PERSISTENT_SEQUENTIAL)：znode除了具备持久性znode的特点之外，znode的名字具备顺序性
4. 临时顺序节点(EPHEMERAL_SEQUENTIAL)：znode除了具备临时性znode的特点之外，zorde的名字具备顺序性
5. Container节点 (3.5.3版本新增)：Container容器节点，当容器中没有任何子节点，该容器节点会被zk定期删除（定时任务默认60s 检查一次)。 和持久节点的区别是 ZK 服务端启动后，会有一个单独的线程去扫描，所有的容器节点，当发现容器节点的子节点数量为 0 时，会自动删除该节点。可以用于 leader-follower集群 或者锁的场景中（检测到节点挂了，自动重启）
6. TTL节点：带过期时间节点，默认禁用，需要在zoo.cfg中添加extendedTypesEnabled=true开启。 注意：TTL不能用于临时节点

#创建持久节点
create /servers  xxx
#创建临时节点
create -e /servers/host  xxx
#创建临时有序节点
create -e -s /servers/host  xxx
#创建容器节点
create -c /container xxx
# 创建ttl节点
create -t 10 /ttl
1
2
3
4
5
6
7
8
9
10

一个简单的，通过使用zk的临时节点实现的分布式锁示例如下：（分布式锁要求如果锁的持有者宕了，锁可以被释放。ZooKeeper 的 ephemeral 节点恰好具备这样的特性，甚至比redis更优越）

# 终端1
zkCli.sh
create –e /lock
quit

# 终端2
zkCli.sh
# 这里再创建肯定失败，因为终端1已经先创建了
create –e /lock
# 然后启动一个watcher监听这个节点的变化 
stat –w /lock 
# 一旦检测到节点的删除事件，就重新创建锁
create –e /lock 
1
2
3
4
5
6
7
8
9
10
11
12
13

3.2 ZNode状态信息

进入Zookeeper的bin目录，通过sh zkCli.sh打开命令行终端，先执行create /tuling xxx再然后执行get /tuling可以显示节点状态属性：

上面节点信息各字段释义如下：（截自【菜鸟教程】）

接着我们演示一下，我们通过创建、查询来看看节点信息的变化：（涉及到了一些【常见cli命令】大家自行翻阅上面的内容）

3.3 监听机制详解

我们在【zookeeper本质】里面有提到过，zookeeper通过监听节点信息的变化，从而实现了协调资源等功能。这个监听机制，就是zookeeper watcher机制。watcher机制，必须客户端先去服务端注册监听，这样事件发送才会触发监听，通知给客户端（这个客户端不是我们狭义理解的用户使用的客户端，而是指连接到zookeeper的应用）。监听的对象是事件，支持的事件类型如下：

• None: 连接建立事件
• NodeCreated： 节点创建
• NodeDeleted： 节点删除
• NodeDataChanged：节点数据变化
• NodeChildrenChanged：子节点列表变化
• DataWatchRemoved：节点监听被移除
• ChildWatchRemoved：子节点监听被移除

watcher机制具有如下特性：

客户端命令示例如下：

#监听节点数据的变化
get -w path 
stat -w path
#监听子节点增减的变化 
ls -w path
1
2
3
4
5

3.3.1 永久性Watch

可以看到，wacher机制的【一次性触发】多少会有点受限的。比如我们使用watcher机制监听某个服务集群上节点状态的变化，如果某个子节点宕机了，然后这个watcher就被触发了一次，紧接着失效了。再然后，我们为了继续监听，那就得重新发送一条监听命令继续监听。这显然有点麻烦。于是Zookeeper 3.6.0版本新增了【永久性Watch】，在被触发之后，仍然保留，可以继续监听ZNode上的变更。它的使用语法如下：

addWatch [-m mode] path
1

addWatch的作用是针对指定节点添加事件监听，支持两种模式：

• PERSISTENT：持久化订阅，针对当前节点的修改和删除事件，以及当前节点的子节点的删除和新增事件。
• PERSISTENT_RECURSIVE：持久化递归订阅(默认)，在PERSISTENT的基础上，增加了子节点修改的事件触发，以及子节点的子节点的数据变化都会触发相关事件（满足递归订阅特性）

3.4 节点ZNode特性总结

1. 同一级节点 key 名称是唯一的，已存在/lock节点，再次创建会提示已经存在
   

2. 创建节点时，必须要带上全路径

3. session 关闭，临时节点清除

4. 自动创建顺序节点
   

5. 支持watch 机制，监听节点变化。事件监听机制类似于观察者模式，watch 流程是客户端向服务端某个节点路径上注册一个 watcher，同时客户端也会存储特定的 watcher，当节点数据或子节点发生变化时，服务端通知客户端，客户端进行回调处理。

6. delete 命令只能一层一层删除。提示：新版本可以通过 deleteall 命令递归删除。

3.5 应用场景详解

ZooKeeper适用于存储和协同相关的关键数据，不适合用于大数据量存储。有了上述众多节点特性，使得 zookeeper 能开发不出不同的经典应用场景，比如：

• 注册中心
• 数据发布/订阅（常用于实现配置中心）
• 负载均衡
• 命名服务
• 分布式协调/通知
• 集群管理
• Master选举
• 分布式锁
• 分布式队列

3.5.1 统一命名服务

在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。例如：IP不容易记住，而域名容易记住。

用户访问域名，然后自动轮循到域名下各个Ip节点上。

3.5.2 数据发布/订阅

数据发布/订阅的一个常见的场景是配置中心，发布者把数据发布到 ZooKeeper 的一个或一系列的节点上，供订阅者进行数据订阅，达到动态获取数据的目的。配置信息一般有几个特点：

1. 数据量小的KV
2. 数据内容在运行时会发生动态变化
3. 集群机器共享，配置一致

ZooKeeper 采用的是推拉结合的方式。

1. 推: 服务端会推给注册了监控节点的客户端 Watcher 事件通知
2. 拉: 客户端获得通知后，然后主动到服务端拉取最新的数据

3.5.3 统一集群管理

分布式环境中，实时掌握每个节点的状态是必要的，可根据节点实时状态做出一些调整。ZooKeeper可以实现实时监控节点状态变化：

• 可将节点信息写入ZooKeeper上的一个ZNode。
• 监听这个ZNode可获取它的实时状态变化。

3.5.4 负载均衡

在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求

3.5.5 Master-Worker架构

master-work是一个广泛使用的分布式架构。 master-work架构中有一个master负责监控worker的状态，并为worker分配任务。

• 在任何时刻，系统中最多只能有一个master，不可以出现两个master的情况，多个master共存会导致脑裂。
• 系统中除了处于active状态的master还有一个backup master，如果active master失败了，backup master可以很快的进入active状态
• master实时监控worker的状态，能够及时收到worker成员变化的通知。master在收到worker成员变化的时候，通常重新进行任务的重新分配
  

3.6 ACL权限控制

zookeeper 的 ACL（Access Control List，访问控制表）权限在生产环境是特别重要的，ACL 权限可以针对节点设置相关读写等权限，保障数据安全性。

3.6.1 ACL 构成

zookeeper 的 acl 通过 [scheme:id:permissions] 来构成权限列表。

• scheme：授权的模式，代表采用的某种权限机制，包括 world、auth、digest、ip、super 几种
  

• id：授权对象，代表允许访问的用户。如果我们选择采用 IP 方式，使用的授权对象可以是一个 IP 地址或 IP 地址段；而如果使用 Digest 或 Super 方式，则对应于一个用户名。如果是 World 模式，是授权系统中所有的用户。

• permissions：授权的权限，权限组合字符串，由 cdrwa 组成，其中每个字母代表支持不同权限， 创建权限 create©、删除权限 delete(d)、读权限 read®、写权限 write(w)、管理权限admin(a)。
  
  相关授权命令如下：
  

使用示例：
取消节点的读权限后，读取/name节点没有权限

取消节点删除子节点的权限

3.6.2 auth授权模式

创建用户（账号fox，密码123456）

addauth digest fox:123456
1

设置权限

setAcl /name auth:fox:123456:cdrwa

# 加密
echo -n fox:123456 | openssl dgst -binary -sha1 | openssl base64
setAcl /name auth:fox:ZsWwgmtnTnx1usRF1voHFJAYGQU=:cdrwa
1
2
3
4
5

退出客户端，重新连接之后获取/name会没权限，需要添加授权用户

3.6.3 digest授权模式

#设置权限
setAcl /tuling/fox digest:fox:ZsWwgmtnTnx1usRF1voHFJAYGQU=:cdrwa
1
2

3.6.4 IP授权模式

setAcl /node-ip ip:192.168.109.128:cdwra
create /node-ip  data  ip:192.168.109.128:cdwra
1
2

多个指定IP可以通过逗号分隔， 如 setAcl /node-ip ip:IP1:rw,ip:IP2:a

3.6.5 Super 超级管理员模式

这是一种特殊的Digest模式， 在Super模式下超级管理员用户可以对Zookeeper上的节点进行任何的操作。需要在启动脚本上通过添加JVM 参数开启：

# DigestAuthenticationProvider中定义
-Dzookeeper.DigestAuthenticationProvider.superDigest=admin:<base64encoded(SHA1(123456))
1
2

3.6.6 可插拔身份验证接口

ZooKeeper提供了一种权限扩展机制来让用户实现自己的权限控制方式。要想实现自定义的权限控制机制，需要继承接口AuthenticationProvider，用户通过该接口实现自定义的权限控制。

public interface AuthenticationProvider {
    // 返回标识插件的字符串
    String getScheme();
    // 将用户和验证信息关联起来
    KeeperException.Code handleAuthentication(ServerCnxn cnxn, byte authData[]);
    // 验证id格式
    boolean isValid(String id);
    // 将认证信息与ACL进行匹配看是否命中
    boolean matches(String id, String aclExpr);
    // 是否授权
    boolean isAuthenticated();
}
1
2
3
4
5
6
7
8
9
10
11
12

四、集群架构

4.1 集群角色

• Leader： 领导者
  事务请求（写操作）的唯一调度者和处理者，保证集群事务处理的顺序性；集群内部各个服务器的调度者。对于create、setData、delete等有写操作的请求，则要统一转发给leader处理，leader需要决定编号、执行操作，这个过程称为事务。
• Follower: 跟随者
  处理客户端非事务（读操作）请求（可以直接响应），转发事务请求给Leader；参与集群Leader选举投票。
• Observer: 观察者
  对于非事务请求可以独立处理（读操作），对于事务性请求会转发给leader处理。Observer节点接收来自leader的inform信息，更新自己的本地存储，不参与提交和选举投票。通常在不影响集群事务处理能力的前提下提升集群的非事务处理能力。

#配置一个ID为3的观察者节点：
server.3=192.168.0.3:2888:3888:observer
1
2

Observer应用场景：

• 提升集群的读性能。因为Observer和不参与提交和选举的投票过程，所以可以通过往集群里面添加observer节点来提高整个集群的读性能。
• 跨数据中心部署。 比如需要部署一个北京和香港两地都可以使用的zookeeper集群服务，并且要求北京和香港客户的读请求延迟都很低。解决方案就是把香港的节点都设置为observer。

4.2 集群架构

leader节点可以处理读写请求，follower只可以处理读请求。follower在接到写请求时会把写请求转发给leader来处理（不同于我们知道的其他集群架构）。
Zookeeper数据一致性保证：

• 全局可线性化(Linearizable )写入∶先到达leader的写请求会被先处理，leader决定写请求的执行顺序。
• 客户端FIFO顺序∶来自给定客户端的请求按照发送顺序执行。

4.3 三节点Zookeeper集群搭建

环境准备：三台虚拟机

192.168.65.163
192.168.65.184
192.168.65.186
1
2
3

条件有限也可以在一台虚拟机上搭建zookeeper伪集群，修改成不同的端口就好

1）修改zoo.cfg配置，添加server节点配置

# 修改数据存储目录
dataDir=/data/zookeeper

#三台虚拟机 zoo.cfg 文件末尾添加配置
server.1=192.168.65.163:2888:3888
server.2=192.168.65.184:2888:3888
server.3=192.168.65.186:2888:3888	
1
2
3
4
5
6
7

server.A=B:C:D
A 是一个数字，表示这个是第几号服务器； 集群模式下配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面有一个数据 就是 A 的值，Zookeeper 启动时读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个server。
B 是这个服务器的地址；
C 是这个服务器Follower与集群中的Leader服务器交换信息的端口；
D 是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

2）创建 myid 文件，配置服务器编号
在dataDir对应目录下创建 myid 文件，内容为对应ip的zookeeper服务器编号

cd /data/zookeeper
# 在文件中添加与 server 对应的编号（注意：上下不要有空行，左右不要有空格）
vim myid
1
2
3

注意：添加 myid 文件，一定要在 Linux 里面创建，在 notepad++里面很可能乱码

3）启动zookeeper server集群
启动前需要关闭防火墙(生产环境需要打开对应端口)

# 分别启动三个节点的zookeeper server
bin/zkServer.sh start
# 查看集群状态
bin/zkServer.sh status
1
2
3
4

常见问题：
如果服务启动出现下面异常：

原因：

1. zoo.cfg配置错误
2. 防火墙没关

#centos7   
# 检查防火墙状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
1
2
3
4
5
6

4.4 Zookeeper四字命令使用

用户可以使用Zookeeper四字命令获取 zookeeper 服务的当前状态及相关信息。用户在客户端可以通过 nc（netcat） 向 zookeeper 提交相应的命令。
安装 nc 命令：

# centos
yum install nc    
1
2

四字命令格式：

echo [command] | nc [ip] [port]
1

ZooKeeper 常用四字命令主要如下：

开启四字命令
方法1： 在zoo.cfg 文件里加入配置项让这些指令放行

#开启四字命令
4lw.commands.whitelist=*
1
2

方法2：在zk的启动脚本zkServer.sh中新增放行指令

#添加JVM环境变量-Dzookeeper.4lw.commands.whitelist=*
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
1
2

4.5 Zookeeper选举原理

ZooKeeper的Leader选举过程是基于投票和对比规则的，确保集群中选出一个具有最高优先级的服务器作为Leader来处理客户端请求。以服务启动期间选举为例：

投票对比规则如下：

• 首先比较epoch，选取具有最大epoch的服务器。epoch用于区分不同的选举轮次，每次重新选举时都会增加epoch。
• 如果epoch相同，则比较zxid（事务ID），选取事务ID最大的服务器。zxid表示最后一次提交的事务ID。
• 如果zxid也相同，则比较myid（服务器ID），选取服务器ID最大的服务器。

zxid的数据结构：
根据这个工具类，可以得出zxid的数据结构的一些信息。

1. zxid是一个64位的整数，由高32位的epoch和低32位的counter组成。
2. epoch表示ZooKeeper服务器的逻辑时期（logical epoch），它是一个相对时间的概念，用于区分不同的Leader选举周期。
3. counter是一个在每个时期（epoch）内递增的计数器，用于标识事务的顺序。

public class ZxidUtils {

    public static long getEpochFromZxid(long zxid) {
        return zxid >> 32L;
    }
    public static long getCounterFromZxid(long zxid) {
        return zxid & 0xffffffffL;
    }
    public static long makeZxid(long epoch, long counter) {
        return (epoch << 32L) | (counter & 0xffffffffL);
    }
    public static String zxidToString(long zxid) {
        return Long.toHexString(zxid);
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

学习总结