repmgr管理pg高可用

repmgr用于管理 PostgreSQL 服务器集群内的复制和故障转移，类似dg-broker，可以实现swichover和failover。

整体架构

repmgr架构图如下：

每个节点都可通过 repmgrd 守护进程来监控节点数据库状态；每个节点元数据表可独立维护，这些元数据表将记录集群所有节点的信息。

在发生failover时，备节点尝试多次连接主节点失败后（尝试次数和间隔可通过repmgr.conf配置），repmgrd会在所有备节点中选举一个作为新主节点（repmgr 选举新主节点按照以下顺序选举：LSN > Priority > Node_ID），其他备节点会follow新主节点，形成新的集群。

两个工具

repmgr主要提供了repmgr和repmgrd两个工具：

repmgr 是一个执行管理任务的命令行工具，方便进行 PostgreSQL 服务器集群的管理，主要功能有：

• 主备节点加入集群；
• 查询集群所有节点状态；
• 主从switchover；
• failover的旧主节点rejoin集群

repmgrd作为守护进程，监视集群中节点的状态，主要功能如下：

• 监控和记录集群信息；
• 自动故障检测
• 自动failover（选主原则：LSN > Priority > Node_ID）

元数据信息

为了有效地管理复制集群，repmgr 需要将集群中节点的相关信息存储在 repmgr 专用数据库表中。包含以下对象：

表：

repmgr.events: records events of interest
repmgr.nodes: 复制集群中每个节点的连接和状态信息
repmgr.monitoring_history: repmgrd 写入的历史备用监控信息

视图：

repmgr.show_nodes: 基于 repmgr.nodes 表，另外显示服务器上游节点的名称
repmgr.replication_status: 当启用 repmgrd 的监控时，显示每个 standby 的监控状态

注：

repmgr 元数据信息只能存储在被此repmgr管理的集群中，且需要可以访问数据库和执行更改的管理用户，由于repmgr的初始安装需要超级用户权限，所以此管理用户需要被赋予superuser权限。

安装repmgr

1、主机规划

2、安装repmgr

2.1 下载repmgr

repmgr - Replication Manager for PostgreSQL clusters

Release notes: repmgr - Replication Manager for PostgreSQL clusters

可选择最新版本（最新版本5.4.1支持pg9.4~pg15）

2.2 操作系统配置（三个节点都执行）

2.2.1 关闭防火墙和selinux

systemctl stop firewalld
systemctl disable firewalld
 
vi /etc/selinux/config
SELINUX=disabled
 
reboot

2.2.2 创建pg目录和用户

mkdir /pg
useradd -d /pg pg
passwd pg
cp /etc/skel/* /pg
chown -R pg.pg /pg
su - pg
vi .bash_profile
export PGHOME=/pg
export PGDATA=$PGHOME/data
export PATH=$PATH:$PGHOME/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$PGHOME/lib

2.2.3 配置/etc/hosts

cat /etc/hosts

10.10.237.11 pr-obsrv01
10.10.237.12 pr-obsrv02
10.10.237.13 pr-obsrv03

2.2.4 配置pg用户ssh免密

su - pg
ssh-keygen -t rsa
 
ssh-copy-id -i /pg/.ssh/id_rsa pr-obsrv01
ssh-copy-id -i /pg/.ssh/id_rsa pr-obsrv02
ssh-copy-id -i /pg/.ssh/id_rsa pr-obsrv03
 
节点1执行：
ssh pr-obsrv02
ssh pr-obsrv03
节点2执行：
ssh pr-obsrv01
ssh pr-obsrv03
节点3执行：
ssh pr-obsrv01
ssh pr-obsrv02

2.2.5 创建目录

su - pg
mkdir data
mkdir log
mkdir archive_wals

2.2.6 安装依赖包

yum -y install libselinux-devel
yum -y install libxml2-devel
yum -y install libxslt-devel
yum -y install openssl-devel
yum -y install pam-devel
yum -y install readline-devel

2.3 安装repmgr（三个节点都安装）

su - pg
tar -xvf repmgr-5.4.1.tar.gz
mv repmgr-5.4.1 repmgr
cd repmgr
./configure
make install
repmgr -V

安装后会在/pg/bin下生成repmgr和repmgrd两个可执行文件；在/pg/share/postgresql/extension/下生成repmgr文件；在/pg/lib/postgresql下生成repmgr.so

2.4 配置repmgr.conf

注意：不要将repmgr.conf放在PGDATA目录下
 

cat repmgr.conf
node_id=1
node_name=obsrv01
conninfo='host=10.10.237.11 port=5434 user=repmgr password=repmgr dbname=repmgr connect_timeout=5'
data_directory='/pg/data'
pg_bindir='/pg/bin'
 
location='default'
failover='automatic'
promote_command='/pg/bin/repmgr standby promote -f /pg/repmgr.conf --log-to-file'
follow_command='/pg/bin/repmgr standby follow -f /pg/repmgr.conf --log-to-file --upstream-node-id=%n'
log_file='/pg/log/repmgrd.log'
monitoring_history=true
monitor_interval_secs=5
reconnect_attempts=6
reconnect_interval=5

注：其他两个节点除了 node_id、node_name和conninfo不同，其他配置均相同

 2.5 安装PG13（三个节点都安装）

su - pg
tar -xvf postgresql-13.11.tar.gz
cd postgresql-13.11
./configure --prefix=/pg
make -j 8
make install

 2.6 初始化pg（节点1）

initdb -D /pg/data

2.7 配置postgres.conf（节点1）

listen_addresses = '*'          # what IP address(es) to listen on;
port = 5434                             # (change requires restart)
max_connections = 100                   # (change requires restart)
shared_buffers = 128MB                  # min 128kB
wal_level = replica                     # minimal, replica, or logical
max_wal_size = 1GB
min_wal_size = 80MB
archive_mode = on               # enables archiving; off, on, or always
archive_command = 'test ! -f /pg/archive_wals/%f && cp %p /pg/archive_wals/%f'  # command to use to archive a logfile segment
max_wal_senders = 10            # max number of walsender processes
hot_standby = on                        # "off" disallows queries during recovery
logging_collector = on          # Enable capturing of stderr and csvlog
log_directory = '/pg/log'                       # directory where log files are written,
log_filename = 'postgresql-%Y-%m-%d_%H%M%S.log' # log file name pattern,
log_file_mode = 0600                    # creation mode for log files,
log_rotation_age = 1d                   # Automatic rotation of logfiles will
log_rotation_size = 10MB                # Automatic rotation of logfiles will
log_timezone = 'Asia/Shanghai'
shared_preload_libraries = 'repmgr'     # (change requires restart)
wal_log_hints = 'on'                    # pg_rewind需要开启wal_log_hints，否则无法修复failover的旧主节点只能重建

2.8 追加以下到pg_hba.conf

local   replication     repmgr                              trust
host    replication     repmgr      127.0.0.1/32            trust
host    replication     repmgr      10.10.237.11/25             trust
host    replication     repmgr      10.10.237.12/25             trust
host    replication     repmgr      10.10.237.13/25             trust
local   repmgr          repmgr                              trust
host    repmgr          repmgr      127.0.0.1/32            trust
host    repmgr          repmgr      10.10.237.11/25            trust
host    repmgr          repmgr      10.10.237.12/25            trust
host    repmgr          repmgr      10.10.237.13/25            trust

2.9 启动节点1并创建repmgr相关用户和数据库

su - pg
pg_ctl start
psql -Upostgres -p5434
create user repmgr superuser  password 'repmgr';
ALTER USER repmgr SET search_path TO repmgr, "$user", public;
create database repmgr owner repmgr;

2.10 注册主节点到repmgr

repmgr -f /pg/repmgr.conf primary register
repmgr -f /pg/repmgr.conf cluster show

或者在元数据库中查询

psql -Urepmgr -drepmgr -p5434
select * from nodes;

2.11 clone两个从节点并注册（节点2和3依次运行）

首先--dry-run检查extension和必要参数

repmgr -h 10.10.237.11 -U repmgr -p 5434   -d repmgr -f /pg/repmgr.conf standby clone --dry-run

没问题再进行clone

repmgr -h 10.10.237.11 -U repmgr -p 5434   -d repmgr -f /pg/repmgr.conf standby clone

最后HINT提示需要起postgres服务个register从节点

pg_ctl start
repmgr -f /pg/repmgr.conf standby register
repmgr -f /pg/repmgr.conf cluster show

2.12 启动repmgrd守护进程（三个节点都执行，可以实现自动failover）

su - pg
touch /pg/log/repmgrd.log
repmgrd -f /pg/repmgr.conf start

测试switchover

某从节点执行

repmgr -f /pg/repmgr.conf  standby switchover --siblings-follow

测试failover

将主节点的postgres进程kill掉看能否实现自动故障转移

恢复原主节点可以使用以下命令

repmgr -f /pg/repmgr.conf  node rejoin -d 'host=10.10.237.11 dbname=repmgr user=repmgr password=repmgr port=5434' --force-rewind

思考

• repmgr 本身不提供虚拟 ip 服务，如果需要虚拟 ip 服务，可使用 keepalived 或其它工具
• 可以设置优先级高的节点为 sync 模式， sync 模式保证了数据的强一致性，将sync模式的从库的priority设高

参考文档：

PG 复制管理工具之 REPMGR - 墨天轮

高可用 | repmgr 构建 PostgreSQL 高可用集群部署文档【建议收藏】 - 知乎