はじめに
Docker Swarmを使ったPostgreSQLストリーミングレプリケーション実装の備忘録です。Docker Composeファイルとレプリケーション設定用のスクリプトを組み合わせて実装しています。レプリケーションの動作確認はPostgreSQLのサンプルデータベースとして公開されているDVDレンタル予約データベースで実施しています。
前提条件
ソフトウェア構成
| ソフトウェア | バージョン |
|---|---|
| Cent OS | 8.1 |
| Docker | 20.10.5 |
| Docker Compose | 1.28.5 |
| PostgreSQL | 12.6 |
ディレクトリ作成
任意の作業ディレクトリ配下でmaster、replicaディレクトリを作成する。
# mkdir -p dvdrental/master dvdrental/replica # cd dvdrental # find . . ./master ./replica
構成ファイル作成
# vi ./docker-compose.yml
PostgreSQLストリーミングレプリケーション用のComposeファイルを作成する。
version: "3"
services:
master:
image: postgres:12.6
ports:
- 5432:5432
environment:
POSTGRES_USER: "postgres" # Specify the database user name
POSTGRES_PASSWORD: "P0stgres" # Specify the user password
POSTGRES_DB: "dvdrental" # Specify the database name
POSTGRES_INITDB_ARGS: "--encoding=UTF-8 --locale=C" # Specify encoding and locale
volumes:
- ./master:/docker-entrypoint-initdb.d
replica:
image: postgres:12.6
depends_on:
- master # Specify the order of service startup
deploy:
replicas: 3 # Specify the number of replicas
restart_policy:
condition: on-failure
ports:
- 5433:5432
environment:
POSTGRES_USER: postgres # Specify the database user name
POSTGRES_PASSWORD: P0stgres # Specify the user password
volumes:
- ./replica:/docker-entrypoint-initdb.d
# vi ./master/0000_configure_replication_master.sh
マスタ側で必要なレプリケーション関連設定を行うスクリプトを作成する。WAL関連の設定値とレプリケーション用ユーザの名前とパスワードは必要に応じて変更する。
#!/bin/bash # Replication settings sed -i -e 's/#wal_level = replica/wal_level = replica/g' /var/lib/postgresql/data/postgresql.conf sed -i -e 's/#max_wal_senders = 10/max_wal_senders = 10/g' /var/lib/postgresql/data/postgresql.conf sed -i -e 's/#wal_keep_segments = 0/wal_keep_segments = 256/g' /var/lib/postgresql/data/postgresql.conf echo "host replication replication 0.0.0.0/0 trust" >> "/var/lib/postgresql/data/pg_hba.conf" # Create users for replication psql -U postgres -c "CREATE ROLE replication WITH REPLICATION PASSWORD 'replication' LOGIN"
# vi ./replica/0000_configure_replication_replica.sh
レプリカ側で必要なレプリケーション関連設定を行うスクリプトを作成する。
#!/bin/bash # Database shutdwon /usr/lib/postgresql/12/bin/pg_ctl -D "/var/lib/postgresql/data" -m fast -w stop sleep 20 # Delete database directories rm -rf /var/lib/postgresql/data/* # Master database backup pg_basebackup -R -h master -U replication -D /var/lib/postgresql/data -P # Replication settings sed -i -e 's/#hot_standby = on/hot_standby = on/g' /var/lib/postgresql/data/postgresql.conf # Database startup /usr/lib/postgresql/12/bin/pg_ctl -D "/var/lib/postgresql/data" -w start
# vi ./master/0100_load_sample_data.sh
PostgreSQLのサンプルデータベースを作成するためのスクリプトを作成する。
#!/bin/bash # Loading sample data pg_restore -U postgres -d dvdrental /docker-entrypoint-initdb.d/dvdrental.tar
サンプル資材格納
デプロイ後にレプリケーション動作を確認するため、サンプル資材をダウンロードし、コンテナから参照可能なディレクトリに配置する。
PostgreSQL Sample Database：https://www.postgresqltutorial.com/postgresql-sample-database/
# wget https://sp.postgresqltutorial.com/wp-content/uploads/2019/05/dvdrental.zip # unzip dvdrental.zip -d ./master/ # rm -f dvdrental.zip
構成ファイルコピー
マルチノードでSwarmクラスタを構成している場合、すべてのノードにファイルを配置する必要がある。SCPで構成ファイルをノードにコピーする。
# scp -pr `pwd` <node-name>:`pwd`
デプロイ実行
Swarmクラスタにコンテナサービスをデプロイする。
# docker stack deploy -c ./docker-compose.yml dvdrental # docker service ls ID NAME MODE REPLICAS IMAGE PORTS suosdfmse9sf dvdrental_master replicated 1/1 postgres:12.6 *:5432->5432/tcp xowrzwwtq7sm dvdrental_replica replicated 3/3 postgres:12.6 *:5433->5432/tcp
レプリケーション動作確認
サンプルデータベース更新
マスタ側でサンプルデータベースにログインし、staffテーブルにレコードを追加する。
# docker ps -a
# docker exec -it <master-container-name> /bin/bash
Container> # su - postgres
Container> $ psql -d dvdrental
Container> dvdrental=# \dp
Container> dvdrental=# select * from staff;
staff_id | first_name | last_name | address_id | email | store_id | active | username | password | last_update | picture
----------+------------+-----------+------------+------------------------------+----------+--------+----------+------------------------------------------+---------------------------+--------------------
1 | Mike | Hillyer | 3 | Mike.Hillyer@sakilastaff.com | 1 | t | Mike | 8cb2237d0679ca88db6464eac60da96345513964 | 2006-05-16 16:13:11.79328 | \x89504e470d0a5a0a
2 | Jon | Stephens | 4 | Jon.Stephens@sakilastaff.com | 2 | t | Jon | 8cb2237d0679ca88db6464eac60da96345513964 | 2006-05-16 16:13:11.79328 |
(2 rows)
Container> dvdrental=# insert into staff(staff_id,first_name,last_name,address_id,store_id,username) values(3,'Bob','Ludwig','2','2','Bob');
INSERT 0 1
Container> dvdrental=# commit;
Container> dvdrental=# select * from staff;
staff_id | first_name | last_name | address_id | email | store_id | active | username | password | last_update | picture
----------+------------+-----------+------------+------------------------------+----------+--------+----------+------------------------------------------+----------------------------+--------------------
1 | Mike | Hillyer | 3 | Mike.Hillyer@sakilastaff.com | 1 | t | Mike | 8cb2237d0679ca88db6464eac60da96345513964 | 2006-05-16 16:13:11.79328 | \x89504e470d0a5a0a
2 | Jon | Stephens | 4 | Jon.Stephens@sakilastaff.com | 2 | t | Jon | 8cb2237d0679ca88db6464eac60da96345513964 | 2006-05-16 16:13:11.79328 |
3 | Bob | Ludwig | 2 | | 2 | t | Bob | | 2021-03-24 09:48:55.856577 |
(3 rows)
Container> dvdrental=# \q
Container> $ exit
Container> # exit
レプリケーション確認
レプリカ側でサンプルデータベースにログインし、マスタ側のテーブル更新が反映されていることを確認する。また、レプリカ側で更新操作ができないことを確認する。
# docker ps -a # docker exec -it <replica-container-name> /bin/bash Container> # su - postgres Container> $ psql -d dvdrental Container> dvdrental=# \dp Container> dvdrental=# select * from staff; Container> dvdrental=# delete from staff where staff_id='3'; ERROR: cannot execute DELETE in a read-only transaction Container> dvdrental=# \q Container> $ exit Container> # exit
