К содержимому
Войти

DevOps Road Map

💾 Бэкапы и восстановление

Бэкап нужен в один момент: кто-то удалил таблицу, шифровальщик зашёл на сервер или диск умер вместе с репликой. Тогда спрашивают две вещи: сколько данных потеряли и когда сервис заработает. DevOps отвечает за то, чтобы ответы были известны заранее, а восстановление уже проверено. В вакансиях DevOps PostgreSQL стоит в 17% ключевых навыков мидла именно как сопровождение: бэкапы, реплики, отказоустойчивость

🧠 Как это устроено

RPO и RTO

RPO (Recovery Point Objective) — сколько данных можно потерять, в единицах времени. Бэкап раз в сутки в 03:00 означает RPO до 24 часов: база упала в 02:50, и всё записанное за сутки пропало. RTO (Recovery Time Objective) — за сколько сервис должен вернуться. Если дамп на 500 ГБ восстанавливается 6 часов, RTO меньше 6 часов на этой схеме не получить, сколько ни обещай

ТребованиеСхемаЦена
RPO сутки, RTO полдняНочной pg_dump в объектное хранилищеДёшево, но долго восстанавливать
RPO минуты, RTO часыФизический бэкап + архив WAL, PITRpgBackRest или WAL-G, место под WAL
RPO секунды, RTO минутыРеплика + автоматический failover и бэкапы с WALНесколько серверов, DCS, дежурство
RPO нольСинхронная репликаКаждый коммит ждёт второй сервер

Цифры называет бизнес. Задача DevOps — показать цену каждой строки и честно сказать, какая из них работает сейчас

Правило 3-2-1 и 3-2-1-1-0

3-2-1: три копии данных, на двух разных носителях или системах, одна вне площадки. Бэкап на том же сервере умирает вместе с ним, бэкап в соседней стойке не переживёт пожар в дата-центре

Из-за шифровальщиков правило выросло до 3-2-1-1-0: ещё одна копия офлайн или неизменяемая, и ноль ошибок при проверке восстановления. Злоумышленник первым делом стирает доступные бэкапы. В S3 от этого защищает Object Lock в режиме compliance, а ключи, которыми сервер пишет бэкапы, не должны уметь их удалять

Бэкап без проверки восстановления — это надежда

Проверка — регулярный тестовый restore: раз в неделю поднять из бэкапа отдельный сервер и выполнить контрольные запросы (число строк в ключевых таблицах, время последней записи). Время прогона и есть твой реальный RTO

Второе — алерт на возраст последнего успешного бэкапа. Скрипт после успеха пишет метку времени в метрику, например через textfile collector node_exporter, а правило срабатывает на time() - backup_last_success_timestamp_seconds > 26 * 3600. Алерт на ошибку бэкапа молчит, если cron вообще перестал запускаться: ошибки нет, и бэкапа нет. Как довести такой алерт до человека без шума, разобрано на странице «Алерты без шума»

🐘 PostgreSQL: дамп, физический бэкап и PITR

Актуальная ветка — PostgreSQL 18 (18.7 вышел 12 ноября 2026). Поддерживаются 15–18: у 14 поддержка закончилась в тот же день

Почему нельзя просто скопировать каталог

Реляционная база держит ACID: транзакция применяется целиком или никак, ограничения соблюдены, параллельные транзакции не видят чужих половинчатых изменений, закоммиченное переживает сбой. Ради последнего PostgreSQL сначала пишет изменение в WAL (журнал упреждающей записи), а страницы таблиц сбрасывает позже. Поэтому cp -r на живой базе даёт смесь страниц из разных моментов, которая не запустится или запустится с тихой порчей. Физический бэкап на ходу делают между pg_backup_start() и pg_backup_stop() или через pg_basebackup: при восстановлении база проиграет WAL с отмеченной точки и станет согласованной

Логический бэкап: pg_dump

pg_dump выгружает одну базу в одной транзакции со снимком: дамп согласован и не блокирует ни чтение, ни запись. Форматы: -Fp (SQL для psql), -Fc (сжатый архив для pg_restore, можно достать одну таблицу), -Fd (каталог, файл на таблицу) и редкий -Ft. Параллельный дамп -j N умеет только -Fd, он открывает N+1 соединений. pg_restore -j работает с custom и directory. Сжатие по умолчанию — gzip, через -Z можно взять lz4 или zstd. Роли в дамп базы не попадают, их снимает pg_dumpall --globals-only

Дамп хорош для небольших баз, переезда между мажорными версиями и выгрузки одной схемы. На терабайте он плох: pg_restore заново вставляет все строки и строит все индексы, это часы. И у дампа нет PITR, вернуться можно только на момент его снятия

Физический бэкап, WAL и PITR по шагам

pg_basebackup копирует кластер побайтно: все базы, роли, конфиги. Восстановление — распаковка файлов без перестройки индексов, на больших базах это в разы быстрее дампа. С PostgreSQL 17 есть pg_basebackup --incremental и pg_combinebackup, который склеивает цепочку

Непрерывность дают архив WAL и PITR (point-in-time recovery):

  1. В postgresql.conf ставят wal_level = replica и archive_mode = on, оба меняются только перезапуском
  2. archive_command копирует каждый заполненный 16-мегабайтный сегмент WAL в архив. Вместо команды можно подключить модуль archive_library. Команда обязана вернуть 0 только при успехе: на ноль PostgreSQL считает сегмент сохранённым
  3. archive_timeout = 60 переключает сегмент по времени, иначе на спокойной базе последние изменения долго не уходят в архив
  4. Регулярно снимается базовый бэкап. С ним и архивом можно вернуться на любую секунду после его окончания
  5. Для восстановления разворачивают базовый бэкап, задают restore_command и recovery_target_time, создают пустой recovery.signal в каталоге данных и запускают сервер
  6. Сервер проигрывает WAL до цели и выполняет recovery_target_action. По умолчанию это pause: проверяешь данные и вызываешь pg_wal_replay_resume(). С promote база сразу открывается на запись на новой линии времени (timeline)

pgBackRest и WAL-G

Руками cp в archive_command в проде не пишут: нужны сжатие, шифрование, S3, удаление по политике и проверка целостности

pgBackRestWAL-G
Виды бэкапаПолный, дифференциальный (от последнего полного), инкрементальный (от последнего любого), блочный инкрементПолный и delta, глубина цепочки — WALG_DELTA_MAX_STEPS
ХранилищеЛокально, SFTP, S3, Azure, GCS, несколько репозиториевS3, GCS, Azure, файловая система
ПроверкаКонтрольная сумма каждого файла при restore и в команде verifywal-verify integrity timeline ищет пропуски в WAL
Настройкаpgbackrest.conf, «станза» на кластерПеременные окружения

Текущая версия pgBackRest — 2.60.0 (октябрь 2026). WAL-G чаще встречается в Kubernetes, его использует Zalando postgres-operator. Дифференциальный бэкап восстанавливается из себя и полного, инкрементальный требует всю цепочку: потерял звено, и все следующие бесполезны

🔁 Репликация, Patroni и PgBouncer

Потоковая репликация

Реплика получает WAL от мастера потоком и проигрывает его: выходит побайтная копия кластера, на которой можно читать. По умолчанию репликация асинхронная: мастер подтверждает коммит, не дожидаясь реплики, и при его падении транзакции из лага теряются. Синхронная включается через synchronous_standby_names, глубину ожидания задаёт synchronous_commit:

  • remote_write — реплика получила WAL и отдала его ОС
  • on — WAL сброшен на диск и на мастере, и на синхронной реплике
  • remote_apply — реплика применила транзакцию, её видно в запросах

Цена: каждый коммит ждёт сетевой круг, а без живой синхронной реплики записи на мастере повисают. Поэтому указывают несколько кандидатов (ANY 1 (s1, s2)), а synchronous_commit меняют на транзакцию: платежи синхронно, клики асинхронно. Лаг видно в pg_stat_replication: write_lag, flush_lag, replay_lag. Слот репликации не даёт мастеру удалить WAL, который реплика ещё не забрала, поэтому отвалившаяся реплика со слотом копит WAL до конца диска. Ограничитель — max_slot_wal_keep_size

Логическая репликация передаёт изменения строк выбранных таблиц в самостоятельную базу, даже другой мажорной версии. Её берут для обновления версии почти без простоя, а не для отказоустойчивости: DDL и последовательности не переезжают

Реплика не бэкап. DROP TABLE orders на мастере через миллисекунды выполнится и на реплике. Реплика спасает от смерти железа, от ошибки человека и шифровальщика спасает только бэкап с историей

Patroni

Patroni — демон рядом с каждым PostgreSQL, который хранит состояние кластера в DCS: etcd, Consul, ZooKeeper или API Kubernetes

  1. Мастер — тот, кто держит ключ лидера. Ключ живёт ttl (30 секунд по умолчанию), мастер продлевает его каждые loop_wait (10 секунд)
  2. Мастер упал, ключ истёк. Реплики с отставанием не больше maximum_lag_on_failover пытаются атомарно создать ключ, удаётся одной
  3. Победитель делает promote, остальные переключаются на него

Split-brain — два узла одновременно принимают записи как мастер, данные расходятся, и автоматически их не слить. Patroni защищается так: мастер, который не смог продлить ключ, сам понижает себя до реплики, потому что не отличает сетевой раздел от падения DCS. Кворум etcd из трёх или пяти узлов не даёт меньшинству выбрать лидера. Watchdog перезагружает узел, если Patroni завис и не понизил базу. Режим failsafe_mode оставляет мастера при упавшей DCS, только если тот достучался до всех участников по REST API

PgBouncer

Каждое соединение с PostgreSQL — отдельный процесс. Сто подов по 20 соединений — это 2000 процессов, и база тратит больше на переключения, чем на запросы. PgBouncer держит тысячи клиентов на небольшом пуле серверных соединений. Режимы pool_mode: session (по умолчанию, соединение за клиентом до отключения, экономии почти нет), transaction (возврат в пул после транзакции, главный режим для веб-сервисов) и statement (после каждого запроса, многооператорные транзакции запрещены). Что ломается в transaction mode, ответ ниже в вопросах

☸️ Бэкапы в Kubernetes

Velero сохраняет объекты кластера в объектное хранилище, а тома — CSI-снапшотом или копированием файлов через Kopia. Актуальная ветка — 1.19. CSI VolumeSnapshot — снимок тома средствами хранилища, сами объекты разобраны на странице «Хранение данных»

Снапшот тома под работающей базой crash-consistent: на диске то же, что после выдёргивания питания. PostgreSQL обычно поднимется и проиграет WAL, если WAL и данные на одном томе. Если WAL на отдельном томе, два снапшота сняты в разные моменты, и база может не стартовать или стартовать с порчей. PITR у снапшота нет, и лежит он часто в том же хранилище, что и диск. Pre-hook Velero (pre.hook.backup.velero.io/command) выполнит в поде fsfreeze перед снимком, но для баз надёжнее оператор (CloudNativePG, Zalando) с архивом WAL в S3, а Velero оставить манифестам и простым томам

Redis в двух фразах: RDB — снимок памяти по расписанию, между снимками теряется всё. AOF пишет каждую команду в журнал и при appendfsync everysec теряет около секунды

🛠️ На практике

Дамп в каталог в 4 потока и восстановление в новую базу:

pg_dump -h db -U backup -Fd -j 4 -Z zstd:3 -f /backup/shop-$(date +%F) shop
pg_dumpall -h db -U postgres --globals-only > /backup/globals-$(date +%F).sql

pg_restore -l /backup/shop-2026-11-12 | head     # оглавление архива
createdb -h db-restore shop
pg_restore -h db-restore -d shop -j 4 --no-owner /backup/shop-2026-11-12

pgBackRest: S3, архив WAL и восстановление на момент времени

# /etc/pgbackrest/pgbackrest.conf
[global]
repo1-type=s3
repo1-s3-bucket=pg-backups
repo1-s3-endpoint=s3.eu-central-1.amazonaws.com
repo1-s3-region=eu-central-1
repo1-path=/pgbackrest
repo1-retention-full=2
repo1-cipher-type=aes-256-cbc
compress-type=zst
process-max=4

[main]
pg1-path=/var/lib/postgresql/18/main

# postgresql.conf
wal_level = replica
archive_mode = on
archive_command = 'pgbackrest --stanza=main archive-push %p'
archive_timeout = 60
pgbackrest --stanza=main stanza-create
pgbackrest --stanza=main check                 # WAL реально доходит до S3
pgbackrest --stanza=main --type=full backup    # по воскресеньям
pgbackrest --stanza=main --type=diff backup    # в остальные дни

# Назад на 14:29, за минуту до ошибочной миграции
systemctl stop postgresql
pgbackrest --stanza=main --delta --type=time \
  "--target=2026-11-12 14:29:00+03" --target-action=promote restore
systemctl start postgresql

Без инструмента механизм виден целиком: на развёрнутый базовый бэкап дописывают в postgresql.auto.conf три строки и создают recovery.signal

restore_command = 'cp /archive/%f %p'
recovery_target_time = '2026-11-12 14:29:00+03'
recovery_target_action = 'promote'

На PostgreSQL 17 с тремя вставками по 10 строк и целью между второй и третьей такой прогон вернул 20 строк, а лог сервера написал recovery stopping before commit of transaction про третью

⚠️ Где ошибаются

  • Бэкапы есть, восстановления не было. Через полгода выясняется, что archive_command падал, а cron писал ошибку в никуда. Лечится тестовым restore и алертом на возраст бэкапа
  • Бэкап лежит рядом с базой. Тот же диск, тот же аккаунт облака, ключи с правом удаления: шифровальщик или ошибка в Terraform уносят всё сразу. Нужна копия в другом аккаунте или бакет с Object Lock
  • Сохранили только базу. Без ролей, ключа шифрования pgBackRest и конфигов восстановленная база не примет ни одного подключения приложения

🎯 Вопросы с собеседований

Что такое репликация, зачем она нужна и чем синхронная отличается от асинхронной?

Реплика получает WAL от мастера и проигрывает его, держа копию базы на другом сервере. Это нужно для быстрого переключения при отказе и разгрузки чтения. При асинхронной мастер подтверждает коммит, не дожидаясь реплики: записи быстрые, но при падении мастера теряется лаг. При синхронной коммит ждёт реплику: потерь нет, но растёт задержка, а без живой синхронной реплики записи встают. Поэтому ставят несколько кандидатов и следят за лагом в pg_stat_replication

Что такое WAL и как сделать PITR?

WAL — журнал, куда PostgreSQL пишет каждое изменение до изменения страниц таблиц: после сбоя база доигрывает его и не теряет коммиты. Для PITR включают archive_mode и archive_command, чтобы сегменты уходили в архив, и регулярно снимают базовый бэкап. Восстановление: развернуть базовый бэкап, задать restore_command и recovery_target_time, создать recovery.signal и запустить сервер. Он проиграет WAL до заданного момента. В проде это делают pgBackRest или WAL-G

Как работает Patroni и что такое split-brain?

Patroni управляет PostgreSQL на каждом узле и хранит состояние в DCS, например etcd. Мастер держит ключ лидера с TTL и продлевает его, а когда ключ истёк, реплики с допустимым лагом соревнуются за его атомарное создание. Split-brain — два мастера одновременно принимают записи, и данные расходятся. Patroni его избегает: мастер без связи с DCS сам понижает себя, кворум etcd не даёт меньшинству выбрать лидера, watchdog перезагружает зависший узел

Чем RPO отличается от RTO?

RPO — сколько данных можно потерять, время назад от аварии: ночной бэкап даёт RPO до 24 часов. RTO — сколько займёт восстановление, время вперёд от аварии. RPO снижают частотой бэкапов, архивом WAL и репликацией, RTO — физическими бэкапами вместо дампа и готовой репликой. Реальный RTO знаешь только после тестового восстановления

Почему реплика — не бэкап?

Реплика повторяет все изменения мастера, включая ошибочные: DROP TABLE или порча данных багом доходят до неё за доли секунды. Она защищает от отказа железа, но не от ошибки человека или шифровальщика. Бэкап с архивом WAL хранит историю и возвращает базу на момент до ошибки

Что такое ACID и чем реляционные базы отличаются от нереляционных в эксплуатации?

ACID — атомарность, согласованность, изолированность и долговечность транзакций. Для эксплуатации это значит, что бэкап должен быть согласованным снимком: pg_dump в одной транзакции или физический бэкап с WAL, а не копия файлов на ходу. Многие нереляционные базы отдают часть гарантий за встроенное шардирование, и думать приходится о согласованности между узлами и о бэкапе всего кластера сразу

Что ломает PgBouncer в transaction mode?

Серверное соединение возвращается в пул после каждой транзакции, и следующая транзакция клиента может попасть на другой бэкенд. Поэтому не работает сессионное: SET без LOCAL, LISTEN, сессионные advisory locks, курсоры WITH HOLD, временные таблицы без ON COMMIT DROP и SQL-команды PREPARE. Prepared statements уровня протокола, которые делают драйверы, с PgBouncer 1.21 (октябрь 2023) поддерживаются через max_prepared_statements, по умолчанию 200. На старых версиях их выключали в драйвере

📚 Что почитать

  • Continuous Archiving and PITR — базовый бэкап, архив WAL и восстановление из первоисточника
  • pg_dump — форматы, сжатие и параллельный дамп
  • pgBackRest User Guide — от первой станзы до восстановления на момент времени
  • PgBouncer: features — что работает в каждом режиме пула
  • Patroni: DCS Failsafe Mode — почему Patroni понижает мастера при потере DCS