💾 Бэкапы и восстановление
Бэкап нужен в один момент: кто-то удалил таблицу, шифровальщик зашёл на сервер или диск умер вместе с репликой. Тогда спрашивают две вещи: сколько данных потеряли и когда сервис заработает. DevOps отвечает за то, чтобы ответы были известны заранее, а восстановление уже проверено. В вакансиях DevOps PostgreSQL стоит в 17% ключевых навыков мидла именно как сопровождение: бэкапы, реплики, отказоустойчивость
🧠 Как это устроено
RPO и RTO
RPO (Recovery Point Objective) — сколько данных можно потерять, в единицах времени. Бэкап раз в сутки в 03:00 означает RPO до 24 часов: база упала в 02:50, и всё записанное за сутки пропало. RTO (Recovery Time Objective) — за сколько сервис должен вернуться. Если дамп на 500 ГБ восстанавливается 6 часов, RTO меньше 6 часов на этой схеме не получить, сколько ни обещай
| Требование | Схема | Цена |
|---|---|---|
| RPO сутки, RTO полдня | Ночной pg_dump в объектное хранилище | Дёшево, но долго восстанавливать |
| RPO минуты, RTO часы | Физический бэкап + архив WAL, PITR | pgBackRest или WAL-G, место под WAL |
| RPO секунды, RTO минуты | Реплика + автоматический failover и бэкапы с WAL | Несколько серверов, DCS, дежурство |
| RPO ноль | Синхронная реплика | Каждый коммит ждёт второй сервер |
Цифры называет бизнес. Задача DevOps — показать цену каждой строки и честно сказать, какая из них работает сейчас
Правило 3-2-1 и 3-2-1-1-0
3-2-1: три копии данных, на двух разных носителях или системах, одна вне площадки. Бэкап на том же сервере умирает вместе с ним, бэкап в соседней стойке не переживёт пожар в дата-центре
Из-за шифровальщиков правило выросло до 3-2-1-1-0: ещё одна копия офлайн или неизменяемая, и ноль ошибок при проверке восстановления. Злоумышленник первым делом стирает доступные бэкапы. В S3 от этого защищает Object Lock в режиме compliance, а ключи, которыми сервер пишет бэкапы, не должны уметь их удалять
Бэкап без проверки восстановления — это надежда
Проверка — регулярный тестовый restore: раз в неделю поднять из бэкапа отдельный сервер и выполнить контрольные запросы (число строк в ключевых таблицах, время последней записи). Время прогона и есть твой реальный RTO
Второе — алерт на возраст последнего успешного бэкапа. Скрипт после успеха пишет метку времени в метрику, например через textfile collector node_exporter, а правило срабатывает на time() - backup_last_success_timestamp_seconds > 26 * 3600. Алерт на ошибку бэкапа молчит, если cron вообще перестал запускаться: ошибки нет, и бэкапа нет. Как довести такой алерт до человека без шума, разобрано на странице «Алерты без шума»
🐘 PostgreSQL: дамп, физический бэкап и PITR
Актуальная ветка — PostgreSQL 18 (18.7 вышел 12 ноября 2026). Поддерживаются 15–18: у 14 поддержка закончилась в тот же день
Почему нельзя просто скопировать каталог
Реляционная база держит ACID: транзакция применяется целиком или никак, ограничения соблюдены, параллельные транзакции не видят чужих половинчатых изменений, закоммиченное переживает сбой. Ради последнего PostgreSQL сначала пишет изменение в WAL (журнал упреждающей записи), а страницы таблиц сбрасывает позже. Поэтому cp -r на живой базе даёт смесь страниц из разных моментов, которая не запустится или запустится с тихой порчей. Физический бэкап на ходу делают между pg_backup_start() и pg_backup_stop() или через pg_basebackup: при восстановлении база проиграет WAL с отмеченной точки и станет согласованной
Логический бэкап: pg_dump
pg_dump выгружает одну базу в одной транзакции со снимком: дамп согласован и не блокирует ни чтение, ни запись. Форматы: -Fp (SQL для psql), -Fc (сжатый архив для pg_restore, можно достать одну таблицу), -Fd (каталог, файл на таблицу) и редкий -Ft. Параллельный дамп -j N умеет только -Fd, он открывает N+1 соединений. pg_restore -j работает с custom и directory. Сжатие по умолчанию — gzip, через -Z можно взять lz4 или zstd. Роли в дамп базы не попадают, их снимает pg_dumpall --globals-only
Дамп хорош для небольших баз, переезда между мажорными версиями и выгрузки одной схемы. На терабайте он плох: pg_restore заново вставляет все строки и строит все индексы, это часы. И у дампа нет PITR, вернуться можно только на момент его снятия
Физический бэкап, WAL и PITR по шагам
pg_basebackup копирует кластер побайтно: все базы, роли, конфиги. Восстановление — распаковка файлов без перестройки индексов, на больших базах это в разы быстрее дампа. С PostgreSQL 17 есть pg_basebackup --incremental и pg_combinebackup, который склеивает цепочку
Непрерывность дают архив WAL и PITR (point-in-time recovery):
- В
postgresql.confставятwal_level = replicaиarchive_mode = on, оба меняются только перезапуском archive_commandкопирует каждый заполненный 16-мегабайтный сегмент WAL в архив. Вместо команды можно подключить модульarchive_library. Команда обязана вернуть 0 только при успехе: на ноль PostgreSQL считает сегмент сохранённымarchive_timeout = 60переключает сегмент по времени, иначе на спокойной базе последние изменения долго не уходят в архив- Регулярно снимается базовый бэкап. С ним и архивом можно вернуться на любую секунду после его окончания
- Для восстановления разворачивают базовый бэкап, задают
restore_commandиrecovery_target_time, создают пустойrecovery.signalв каталоге данных и запускают сервер - Сервер проигрывает WAL до цели и выполняет
recovery_target_action. По умолчанию этоpause: проверяешь данные и вызываешьpg_wal_replay_resume(). Сpromoteбаза сразу открывается на запись на новой линии времени (timeline)
pgBackRest и WAL-G
Руками cp в archive_command в проде не пишут: нужны сжатие, шифрование, S3, удаление по политике и проверка целостности
| pgBackRest | WAL-G | |
|---|---|---|
| Виды бэкапа | Полный, дифференциальный (от последнего полного), инкрементальный (от последнего любого), блочный инкремент | Полный и delta, глубина цепочки — WALG_DELTA_MAX_STEPS |
| Хранилище | Локально, SFTP, S3, Azure, GCS, несколько репозиториев | S3, GCS, Azure, файловая система |
| Проверка | Контрольная сумма каждого файла при restore и в команде verify | wal-verify integrity timeline ищет пропуски в WAL |
| Настройка | pgbackrest.conf, «станза» на кластер | Переменные окружения |
Текущая версия pgBackRest — 2.60.0 (октябрь 2026). WAL-G чаще встречается в Kubernetes, его использует Zalando postgres-operator. Дифференциальный бэкап восстанавливается из себя и полного, инкрементальный требует всю цепочку: потерял звено, и все следующие бесполезны
🔁 Репликация, Patroni и PgBouncer
Потоковая репликация
Реплика получает WAL от мастера потоком и проигрывает его: выходит побайтная копия кластера, на которой можно читать. По умолчанию репликация асинхронная: мастер подтверждает коммит, не дожидаясь реплики, и при его падении транзакции из лага теряются. Синхронная включается через synchronous_standby_names, глубину ожидания задаёт synchronous_commit:
remote_write— реплика получила WAL и отдала его ОСon— WAL сброшен на диск и на мастере, и на синхронной репликеremote_apply— реплика применила транзакцию, её видно в запросах
Цена: каждый коммит ждёт сетевой круг, а без живой синхронной реплики записи на мастере повисают. Поэтому указывают несколько кандидатов (ANY 1 (s1, s2)), а synchronous_commit меняют на транзакцию: платежи синхронно, клики асинхронно. Лаг видно в pg_stat_replication: write_lag, flush_lag, replay_lag. Слот репликации не даёт мастеру удалить WAL, который реплика ещё не забрала, поэтому отвалившаяся реплика со слотом копит WAL до конца диска. Ограничитель — max_slot_wal_keep_size
Логическая репликация передаёт изменения строк выбранных таблиц в самостоятельную базу, даже другой мажорной версии. Её берут для обновления версии почти без простоя, а не для отказоустойчивости: DDL и последовательности не переезжают
Реплика не бэкап. DROP TABLE orders на мастере через миллисекунды выполнится и на реплике. Реплика спасает от смерти железа, от ошибки человека и шифровальщика спасает только бэкап с историей
Patroni
Patroni — демон рядом с каждым PostgreSQL, который хранит состояние кластера в DCS: etcd, Consul, ZooKeeper или API Kubernetes
- Мастер — тот, кто держит ключ лидера. Ключ живёт
ttl(30 секунд по умолчанию), мастер продлевает его каждыеloop_wait(10 секунд) - Мастер упал, ключ истёк. Реплики с отставанием не больше
maximum_lag_on_failoverпытаются атомарно создать ключ, удаётся одной - Победитель делает promote, остальные переключаются на него
Split-brain — два узла одновременно принимают записи как мастер, данные расходятся, и автоматически их не слить. Patroni защищается так: мастер, который не смог продлить ключ, сам понижает себя до реплики, потому что не отличает сетевой раздел от падения DCS. Кворум etcd из трёх или пяти узлов не даёт меньшинству выбрать лидера. Watchdog перезагружает узел, если Patroni завис и не понизил базу. Режим failsafe_mode оставляет мастера при упавшей DCS, только если тот достучался до всех участников по REST API
PgBouncer
Каждое соединение с PostgreSQL — отдельный процесс. Сто подов по 20 соединений — это 2000 процессов, и база тратит больше на переключения, чем на запросы. PgBouncer держит тысячи клиентов на небольшом пуле серверных соединений. Режимы pool_mode: session (по умолчанию, соединение за клиентом до отключения, экономии почти нет), transaction (возврат в пул после транзакции, главный режим для веб-сервисов) и statement (после каждого запроса, многооператорные транзакции запрещены). Что ломается в transaction mode, ответ ниже в вопросах
☸️ Бэкапы в Kubernetes
Velero сохраняет объекты кластера в объектное хранилище, а тома — CSI-снапшотом или копированием файлов через Kopia. Актуальная ветка — 1.19. CSI VolumeSnapshot — снимок тома средствами хранилища, сами объекты разобраны на странице «Хранение данных»
Снапшот тома под работающей базой crash-consistent: на диске то же, что после выдёргивания питания. PostgreSQL обычно поднимется и проиграет WAL, если WAL и данные на одном томе. Если WAL на отдельном томе, два снапшота сняты в разные моменты, и база может не стартовать или стартовать с порчей. PITR у снапшота нет, и лежит он часто в том же хранилище, что и диск. Pre-hook Velero (pre.hook.backup.velero.io/command) выполнит в поде fsfreeze перед снимком, но для баз надёжнее оператор (CloudNativePG, Zalando) с архивом WAL в S3, а Velero оставить манифестам и простым томам
Redis в двух фразах: RDB — снимок памяти по расписанию, между снимками теряется всё. AOF пишет каждую команду в журнал и при appendfsync everysec теряет около секунды
🛠️ На практике
Дамп в каталог в 4 потока и восстановление в новую базу:
pg_dump -h db -U backup -Fd -j 4 -Z zstd:3 -f /backup/shop-$(date +%F) shop
pg_dumpall -h db -U postgres --globals-only > /backup/globals-$(date +%F).sql
pg_restore -l /backup/shop-2026-11-12 | head # оглавление архива
createdb -h db-restore shop
pg_restore -h db-restore -d shop -j 4 --no-owner /backup/shop-2026-11-12pgBackRest: S3, архив WAL и восстановление на момент времени
# /etc/pgbackrest/pgbackrest.conf
[global]
repo1-type=s3
repo1-s3-bucket=pg-backups
repo1-s3-endpoint=s3.eu-central-1.amazonaws.com
repo1-s3-region=eu-central-1
repo1-path=/pgbackrest
repo1-retention-full=2
repo1-cipher-type=aes-256-cbc
compress-type=zst
process-max=4
[main]
pg1-path=/var/lib/postgresql/18/main
# postgresql.conf
wal_level = replica
archive_mode = on
archive_command = 'pgbackrest --stanza=main archive-push %p'
archive_timeout = 60pgbackrest --stanza=main stanza-create
pgbackrest --stanza=main check # WAL реально доходит до S3
pgbackrest --stanza=main --type=full backup # по воскресеньям
pgbackrest --stanza=main --type=diff backup # в остальные дни
# Назад на 14:29, за минуту до ошибочной миграции
systemctl stop postgresql
pgbackrest --stanza=main --delta --type=time \
"--target=2026-11-12 14:29:00+03" --target-action=promote restore
systemctl start postgresqlБез инструмента механизм виден целиком: на развёрнутый базовый бэкап дописывают в postgresql.auto.conf три строки и создают recovery.signal
restore_command = 'cp /archive/%f %p'
recovery_target_time = '2026-11-12 14:29:00+03'
recovery_target_action = 'promote'На PostgreSQL 17 с тремя вставками по 10 строк и целью между второй и третьей такой прогон вернул 20 строк, а лог сервера написал recovery stopping before commit of transaction про третью
⚠️ Где ошибаются
- Бэкапы есть, восстановления не было. Через полгода выясняется, что
archive_commandпадал, а cron писал ошибку в никуда. Лечится тестовым restore и алертом на возраст бэкапа - Бэкап лежит рядом с базой. Тот же диск, тот же аккаунт облака, ключи с правом удаления: шифровальщик или ошибка в Terraform уносят всё сразу. Нужна копия в другом аккаунте или бакет с Object Lock
- Сохранили только базу. Без ролей, ключа шифрования pgBackRest и конфигов восстановленная база не примет ни одного подключения приложения
🎯 Вопросы с собеседований
Что такое репликация, зачем она нужна и чем синхронная отличается от асинхронной?
Реплика получает WAL от мастера и проигрывает его, держа копию базы на другом сервере. Это нужно для быстрого переключения при отказе и разгрузки чтения. При асинхронной мастер подтверждает коммит, не дожидаясь реплики: записи быстрые, но при падении мастера теряется лаг. При синхронной коммит ждёт реплику: потерь нет, но растёт задержка, а без живой синхронной реплики записи встают. Поэтому ставят несколько кандидатов и следят за лагом в pg_stat_replication
Что такое WAL и как сделать PITR?
WAL — журнал, куда PostgreSQL пишет каждое изменение до изменения страниц таблиц: после сбоя база доигрывает его и не теряет коммиты. Для PITR включают archive_mode и archive_command, чтобы сегменты уходили в архив, и регулярно снимают базовый бэкап. Восстановление: развернуть базовый бэкап, задать restore_command и recovery_target_time, создать recovery.signal и запустить сервер. Он проиграет WAL до заданного момента. В проде это делают pgBackRest или WAL-G
Как работает Patroni и что такое split-brain?
Patroni управляет PostgreSQL на каждом узле и хранит состояние в DCS, например etcd. Мастер держит ключ лидера с TTL и продлевает его, а когда ключ истёк, реплики с допустимым лагом соревнуются за его атомарное создание. Split-brain — два мастера одновременно принимают записи, и данные расходятся. Patroni его избегает: мастер без связи с DCS сам понижает себя, кворум etcd не даёт меньшинству выбрать лидера, watchdog перезагружает зависший узел
Чем RPO отличается от RTO?
RPO — сколько данных можно потерять, время назад от аварии: ночной бэкап даёт RPO до 24 часов. RTO — сколько займёт восстановление, время вперёд от аварии. RPO снижают частотой бэкапов, архивом WAL и репликацией, RTO — физическими бэкапами вместо дампа и готовой репликой. Реальный RTO знаешь только после тестового восстановления
Почему реплика — не бэкап?
Реплика повторяет все изменения мастера, включая ошибочные: DROP TABLE или порча данных багом доходят до неё за доли секунды. Она защищает от отказа железа, но не от ошибки человека или шифровальщика. Бэкап с архивом WAL хранит историю и возвращает базу на момент до ошибки
Что такое ACID и чем реляционные базы отличаются от нереляционных в эксплуатации?
ACID — атомарность, согласованность, изолированность и долговечность транзакций. Для эксплуатации это значит, что бэкап должен быть согласованным снимком: pg_dump в одной транзакции или физический бэкап с WAL, а не копия файлов на ходу. Многие нереляционные базы отдают часть гарантий за встроенное шардирование, и думать приходится о согласованности между узлами и о бэкапе всего кластера сразу
Что ломает PgBouncer в transaction mode?
Серверное соединение возвращается в пул после каждой транзакции, и следующая транзакция клиента может попасть на другой бэкенд. Поэтому не работает сессионное: SET без LOCAL, LISTEN, сессионные advisory locks, курсоры WITH HOLD, временные таблицы без ON COMMIT DROP и SQL-команды PREPARE. Prepared statements уровня протокола, которые делают драйверы, с PgBouncer 1.21 (октябрь 2023) поддерживаются через max_prepared_statements, по умолчанию 200. На старых версиях их выключали в драйвере
📚 Что почитать
- Continuous Archiving and PITR — базовый бэкап, архив WAL и восстановление из первоисточника
- pg_dump — форматы, сжатие и параллельный дамп
- pgBackRest User Guide — от первой станзы до восстановления на момент времени
- PgBouncer: features — что работает в каждом режиме пула
- Patroni: DCS Failsafe Mode — почему Patroni понижает мастера при потере DCS