Zaawansowana administracja PostgreSQL: High Availability, Disaster Recovery, monitoring, skalowanie

1. Narzędzia kopii zapasowych

o Parametry bazy potrzebne przy konfiguracji kopii zapasowych

 archive_mode

 archive_command

 archive_timeout

 recovery_command

o Barman (Backup And Recovery MANager)

 Konfiguracja Barmana - backup strumieniowany

 Wykonywanie oraz zarządzanie kopiami zapasowymi

 Odzyskiwanie danych do wybranego punktu w czasie

 Odzyskiwanie wszystkich dostępnych danych

 Konfiguracja Barmana - backup rsync

o PgBackRest

 Konfiguracja pgBackRest

 Wykonanie oraz zarządzanie kopiami zapasowymi

 Backup pełny

 Backup przyrostowy

 Backup różnicowy

 Konfiguracja repozytorium w chmurze na przykładzie Azure

 Odzyskiwanie danych do punktu w czasie

 Odzyskiwanie wszystkich dostępnych danych

2. Replikacja

o Replikacja fizyczna - strumieniowa, hot standby

 Replikacja asynchroniczna

 Replikacja synchroniczna

o Replikacja fizyczna - wal-shipping, ciągłe odtwarzanie, warm standby

o Opóźniona replikacja fizyczna

o Zatrzymywanie i wznawianie odtwarzania replikacji

o Failover, failback, switchover z fizyczną repliką

 promocja instancji standby na primary

 ponowne podłączenie starej instancji primary jako standby (recovery_target_timeline / pg_rewind)

o Replikacja logiczna

 Sposób pierwszy - z użyciem pg_dumpall

 Sposób drugi - z użyciem pgbackrest

 wykorzystanie kopii zapasowej lub serwera standby przy konfiguracji replikacji logicznej

 publikacje

 subskrypcje

 pg_create_logical_replication_slot

 replication origin

 pg_replication_origin_advance

o Failover z logiczną repliką

 promocja instancji standby na primary

 ponowne podłączenie starej instancji primary jako standby (recovery_target_timeline / pg_rewind)

o Monitorowanie replikacji

 pg_stat_replication (sent, write, flush, replay)

 pg_replication_slot

 log_recovery_conflict_waits (PG14)

 pg_publication

 pg_subscription

o Częste problemy z replikacją

o Parametry PostgreSQL przydatne przy replikacji

 wal_level

 hot_standby

 max_wal_senders

 max_replication_slots

 wal_keep_segments/wal_keep_size

 max_standby_archive_delay

 max_standby_streaming_delay

 idle_in_transaction_session_timeout

 hot_standby_feedback

 vacuum_defer_cleanup_age

 synchronous_commit

 recovery_target_timeline

3. HA z użyciem Patroni - PostgreSQL o wysokiej dostępności

o Co to Patroni?

o ETCD - rozproszony magazyn klucz-wartość

o Watchdog / softdog

o YAML

o HAProxy

o Konfiguracja ETCD

o Konfiguracja Patroni z etcd na Ubuntu

o Konfiguracja Patroni z etcd na CentOS

o Uruchomienie usługi watchdog

o Przygotowanie pliku konfiguracyjnego patroni.yml

o Pierwsze uruchomienie klastra

o Konfiguracja kopii zapasowych i archiwizacji plików WAL

o Konfiguracja pgBackRest dla klastra Patroni

o automatyczne połączenie do serwera primary

o Zarządzanie klastrem Patroni

 Przeglądanie instancji w klastrze Patroni

 Przełączanie serwera lidera w klastrze Patroni

 Wstrzymywanie instancji w klastrze Patroni

 Przywracanie wstrzymanej instancji w klastrze Patroni

 Failover w klastrze Patroni

 Switchover w klastrze Patroni

 Reinicjalizacja instancji w klastrze Patroni

o zmiana parametrów Patroni / PostgreSQL

o ponowne podłączenie instancji do klastra

o odbudowa instancji

4. Skalowanie PostgreSQL z wykorzystaniem pgBouncer i HAProxy

o Kiedy implementować

o Konfiguracja

o Jakie korzyści można osiągnąć

o Konfiguracja pgBouncer

o PgBouncer CLI

o Loadbalancing i wysoka dostępność z HAProxy i pgbouncerem

5. Autovacuum - zaawansowane zagadnienia i tuning

o Zapytania pomocne przy szukaniu potencjalnie problematycznych tabel

o Tuning parametrów autovacuum

o mechanizm działania

o autovacuum_max_workers

o autovacuum_freeze_max_age

o autovacuum_naptime

o autovacuum_vacuum_cost_delay

o autovacuum_vacuum_cost_limit

o autovacuum_work_mem

o vacuum_cost_delay

o vacuum_cost_limit

o vacuum_cost_page_dirty

o vacuum_cost_page_hit

o vacuum_cost_page_miss

o Heap Only Tuple - czyli wydajniejszy update

 Wyszukiwanie często aktualizowanych tabel

 Szacowanie fillfactora dla tabel na podstawie dostępnych danych statystycznych

o pg_repack - bloat, czym jest, jak się go pozbyć online, migracja tabel i indeksów pomiędzy przestrzeniami tabel online

6. Monitoring PostgreSQL

o pg_stat_monitor

 Instalacja pg_stat_monitor na Ubuntu

 Instalacja pg_stat_monitor na CentOS

 Utworzenie rozszerzenia w postgresie

 PMM - Percona Monitoring and Management

 Integracja z pg_stat_statements i pg_stat_monitor

 Customowe zapytania

 Konfiguracja monitoringu Patroni na podstawie danych z RestAPI /metrics

 Monitoring baz PostgreSQL i analiza wydajności - na podstawie stacku VictoriaMetrics + Grafana oraz parsera logów pgBadger

 konfiguracja logowania oraz generowanie i czytanie raportu pgBadger

 istotne parametry monitoringu

 identyfikacja i eliminacja wąskiego gardła za pomocą monitoringu i pgBadger

 tuning na podstawie informacji z monitoringu oraz logu PostgreSQL

Informacje o materiałach dla uczestników usługi - Uczestnicy otrzymają komplet materiałów PDF. Każdy uczestnik otrzymuje kod dostępu i

dane logowania do platformy ZOOM na 7 dni przed datą rozpoczęcia szkolenia. Dane

przesyłane są na adres e-mail podany podczas rejestracji.

Podstawowa znajomość administracji baz danych PostgreSQL, umiejętność korzystania z komputera

Warunkiem ukończenia szkolenia i otrzymania zaświadczenia jest uzyskanie minimalnej

frekwencji na poziomie 80% całkowitego czasu trwania usługi. Obecność uczestnika będzie

potwierdzana na podstawie codziennych list obecności lub logów z platformy online.

Uczestnik musi dysponować sprzętem i łączem o parametrach:

• Procesor: min. 4-rdzeniowy (np. Intel i5/i7 lub odpowiednik AMD/M1/M2)

• Pamięć RAM: min. 16 GB

• Dysk: min. 20 GB wolnej przestrzeni

• System operacyjny: Windows 10/11 Pro, Linux lub macOS

• Multimedia: Sprawna kamera internetowa oraz mikrofon (wymagane do komunikacji i weryfikacji obecności)

• Łącze internetowe: Stabilne połączenie o minimalnej prędkości 10 Mbps (download) / 5 Mbps (upload)

• Oprogramowanie: Uprawnienia administratora pozwalające na instalację narzędzi