🧬 Репликация, партиционирование и шардирование
Одна база на одном сервере упирается в три потолка: процессор не тянет чтения, таблица разрослась до сотен гигабайт, при падении сервера данные недоступны. Репликация копирует базу целиком на другие серверы, партиционирование режет одну таблицу на части внутри одной базы, шардирование раскладывает данные по разным базам. На собеседовании мидла спрашивают, чем они отличаются, что такое лаг реплики и как выбрать ключ шардирования. Цифры ниже сняты на PostgreSQL 16 в Docker: мастер и одна потоковая реплика
🧠 Как устроена репликация
Postgres пишет каждое изменение сначала в WAL, журнал предзаписи, и только потом в таблицы. Потоковая репликация передаёт этот журнал по сети на реплику, а реплика проигрывает его у себя. Получается физическая копия всего кластера: все базы, таблицы и индексы, байт в байт
Писать в реплику нельзя. Попытка insert на реплике в тесте:
ERROR: cannot execute INSERT in a read-only transactionЗапросы на чтение реплика обслуживает, и это первая причина её держать: отчёты, аналитика и тяжёлые выборки уходят с мастера. Вторая причина — отказоустойчивость. Если мастер умер, реплику повышают до мастера, и сервис продолжает писать уже в неё. Сам Postgres этого не делает, автоматическое переключение обеспечивают внешние инструменты вроде Patroni
Реплика держит слот репликации на мастере. Слот помнит, до какого места реплика дочитала журнал, и мастер не удаляет WAL, пока она его не получила. Обратная сторона: отключённая реплика с забытым слотом копит журнал на мастере, пока не кончится диск. Предел ставят настройкой max_slot_wal_keep_size
Асинхронная и синхронная
По умолчанию репликация асинхронная: мастер подтверждает коммит клиенту, как только записал WAL у себя, и не ждёт реплику. Коммит быстрый, но если мастер умрёт в эту секунду, транзакции, которые не успели доехать, пропадут. Документация так и пишет: потеря данных пропорциональна отставанию реплики в момент переключения
Синхронная репликация включается списком реплик в synchronous_standby_names. Тогда коммит ждёт ответа реплики, а насколько глубоко ждать, задаёт synchronous_commit:
| Значение | Коммит ждёт, пока реплика | Что гарантирует |
|---|---|---|
remote_write | записала WAL в файловую систему | переживёт падение Postgres на реплике, но не падение её ОС |
on (по умолчанию) | записала WAL на диск с fsync | транзакция не потеряется при падении мастера |
remote_apply | проиграла WAL | изменение уже видно запросам на реплике |
local | ничего, ждём только свой диск | как асинхронная, для отдельных транзакций |
Разница между on и remote_apply видна, если поставить проигрывание на реплике на паузу через pg_wal_replay_pause(). С on коммит прошёл за 1,25 мс: журнал на диск реплики лёг, применять его не требовалось. С remote_apply тот же insert висел 1 минуту 43 секунды, пока его не отменили руками
Синхронность покупают задержкой каждого коммита на сетевой круг до реплики, и это ещё не главная цена. Главная — зависимость от реплики. В тесте реплику остановили, и insert на мастере повис. statement_timeout = '3s' не помог: ожидание реплики после коммита он не прерывает. После pg_cancel_backend клиент получил:
WARNING: canceling wait for synchronous replication due to user request
DETAIL: The transaction has already committed locally, but might not have been replicated to the standby.Транзакция при этом не откатилась: пока она ждала, другие сессии её строку не видели, а после отмены увидели. Поэтому для синхронной репликации держат минимум две реплики и пишут ANY 1 (replica_a, replica_b): коммит ждёт любую одну, и падение одной реплики запись не останавливает
⏳ Лаг реплики
Лаг — насколько реплика отстаёт от мастера. На локальной машине он почти нулевой: после вставки миллиона строк реплика показала тот же count следующим же запросом. На проде лаг растёт от сети, от тяжёлых запросов на самой реплике и от больших пачек записи вроде миграций
Чтобы увидеть лаг, проигрывание на реплике поставили на паузу и обновили на мастере заказ:
-- мастер
update orders set status = 'paid' where id = 1;
select status from orders where id = 1; -- paid
-- реплика
select status from orders where id = 1; -- newЭто главная проблема чтения с реплик, read-your-writes: пользователь оплатил заказ, страница перезагрузилась, чтение ушло на реплику, а там заказ ещё не оплачен. Обычные решения:
- читать с мастера то, что пользователь только что изменил: например, все запросы его сессии в течение нескольких секунд после записи
- читать с мастера всё, где важна свежесть: баланс, статус оплаты, остатки. На реплики отдать каталог, отчёты и поиск
- запомнить позицию журнала после записи (
pg_current_wal_lsn()) и читать с реплики, только когда она до неё дошла
Мерить лаг лучше в байтах журнала. На мастере это pg_wal_lsn_diff(sent_lsn, replay_lsn) из pg_stat_replication, в тесте с паузой там было 29 937 456 байт, около 30 МБ непроигранного журнала. Временные столбцы write_lag, flush_lag, replay_lag в этой же таблице показывают время доставки последних изменений, а не прогноз, когда реплика догонит. В тесте replay_lag показывал 0,65 секунды, хотя последнюю транзакцию реплика проиграла 11 секунд назад
Долгий запрос на реплике
Реплика проигрывает всё, что делает мастер, включая VACUUM. Если мастер вычистил версии строк, которые ещё нужны запросу на реплике, реплика выбирает: ждать или отменить запрос. Ждёт она max_standby_streaming_delay, по умолчанию 30 секунд. В тесте отчёт на реплике держал транзакцию, на мастере удалили 300 тысяч строк и запустили vacuum. Через 33 секунды:
ERROR: canceling statement due to conflict with recovery
DETAIL: User query might have needed to see row versions that must be removed.Есть два выхода, и оба платные. Поднять задержку: отчёты перестанут падать, но на всё время ожидания реплика перестаёт проигрывать журнал и отстаёт. Включить hot_standby_feedback = on: реплика раз в 10 секунд сообщает мастеру, какие версии ей нужны, и VACUUM на мастере их не трогает. В тесте с ним запрос дожил до конца, а vacuum на мастере написал 100000 are dead but not yet removable. Получается та же долгая транзакция со страницы «MVCC и блокировки», только живёт она на другом сервере, и среди сессий мастера её не найти
🗂️ Партиционирование
Партиционирование делит одну большую таблицу на части по ключу, но для приложения это по-прежнему одна таблица. Запросы и insert идут к родителю, строки по партициям раскладывает Postgres. Всё это внутри одного сервера: ни места, ни процессора партиционирование не добавляет
Самый частый случай — события, логи, заказы, которые делят по времени:
create table events (
id bigint generated always as identity,
user_id int not null,
created_at timestamptz not null
) partition by range (created_at);
create table events_2026_10 partition of events
for values from ('2026-10-01') to ('2026-11-01');
-- и так по месяцу на партициюНижняя граница входит в партицию, верхняя нет. Кроме range есть list (партиция на список значений, например регион) и hash (по остатку от хеша, чтобы просто поделить поровну). Индекс на родителе Postgres сам заводит на каждой партиции, в том числе на будущих
Выигрыш даёт отсечение партиций. В тестовой таблице 4 млн событий за четыре месяца. Запрос за неделю октября планировщик отправил в одну партицию:
Parallel Seq Scan on events_2026_10 events
Filter: ((created_at >= '2026-10-01') AND (created_at < '2026-10-08'))Запрос по user_id без даты прошёл по всем четырём партициям, по индексу каждой. Отсюда правило: партиционирование ускоряет только те запросы, в которых есть ключ партиционирования. Если половина запросов к таблице идёт без даты, партиции по дате их замедлят
Вторая выгода — удаление старых данных. Удалить месяц событий через delete в тесте заняло 999 мс, и это ещё не всё: остались мёртвые строки, которые потом будет убирать VACUUM. alter table events detach partition events_2026_08 отцепил миллион строк за 3,6 мс, после чего партицию можно выгрузить в архив или удалить как обычную таблицу
Ограничения, о которых спрашивают:
- первичный ключ и
uniqueобязаны включать ключ партиционирования.primary key (id)на таблице из примера падает сunique constraint on partitioned table must include all partitioning columns, проходитprimary key (id, created_at). Глобальной уникальности одногоidPostgres на такой таблице не гарантирует - строка, для которой нет партиции, не вставится:
no partition of relation "events" found for row. Партиции на будущие месяцы создают заранее, кроном или расширениемpg_partman. Можно завести партициюdefaultдля всего остального, но она прячет проблему. В тесте строка за январь легла вdefault, и создать партицию на январь не дало:updated partition constraint for default partition would be violated by some row. Сначала строки придётся перенести - больше партиций не значит быстрее. Документация говорит, что планировщик хорошо справляется с несколькими тысячами партиций, если запрос отсекает почти все. Чем больше партиций остаётся после отсечения, тем дольше планирование и тем больше памяти
🧩 Шардирование
Шардирование раскладывает данные по нескольким независимым базам: пользователи с одного диапазона живут на одном сервере, с другого на другом. Это единственный из трёх способов, который масштабирует запись и объём: каждый шард пишет только свою часть. Платят за это тем, что пропадает одна база. Join между шардами, транзакция через два шарда и уникальность по всем шардам становятся задачей приложения
Кто-то должен знать, где лежит ключ. Это делает либо приложение, либо прослойка: Citus для Postgres, Vitess для MySQL, встроенное шардирование в MongoDB и ClickHouse. Простейшая маршрутизация в приложении:
shard_for(user_id):
return shards[hash(user_id) % len(shards)]
# один запрос — один шард
db = shard_for(order.user_id)
db.exec("insert into orders ...")Ключ шардирования
Ключ выбирают один раз, и от него зависит почти всё. Хороший ключ:
- с большой кардинальностью и ровным распределением.
statusзаказа с пятью значениями загрузит пять шардов из ста, а заказы в статусеnewлягут на один - есть в большинстве запросов. Тогда запрос идёт в один шард. Запрос без ключа уходит во все шарды сразу, и приложение собирает ответ из кусков
- общий у связанных таблиц. Если
orders,order_itemsиpaymentsшардируются поuser_id, всё про одного пользователя лежит на одном шарде, и join с транзакцией работают как в обычной базе. Для B2B-сервиса таким ключом обычно становитсяtenant_id
Плохой ключ почти всегда — время. По хешу от даты соседние часы разлетаются по разным шардам, и запрос «за вчера» идёт во все. По диапазону дат вся сегодняшняя запись бьёт в один последний шард. Документация Citus советует шардировать по сущности, а время оставить партиционированию внутри шарда. Другая ловушка — горячий ключ: крупный клиент, у которого заказов больше, чем у всех остальных вместе, перегрузит свой шард при любом хорошем распределении
Решардинг
Шардов стало мало, добавляем новый. С hash % N это больно: при переходе с 4 шардов на 5 у 100 тысяч тестовых ключей сменили шард 79,9%, то есть почти все данные переезжают. При удвоении с 4 до 8 переезжает ровно половина. Консистентное хеширование раскладывает ключи по кольцу, и новый шард забирает только свои участки: в той же проверке на кольце с виртуальными узлами переехало 17% ключей
На практике чаще делают проще: заводят сразу много логических шардов, например 256, и раскладывают их по нескольким физическим серверам. Ключ всегда попадает в один и тот же логический шард, а при росте переносят логические шарды целиком на новые серверы. Таблица «логический шард → сервер» маленькая и меняется редко
⚠️ Где ошибаются
Включают синхронную репликацию с одной репликой. Перезагрузка реплики для обновления останавливает запись на мастере. Нужны две реплики и ANY 1, либо осознанное решение жить с асинхронной
Забывают слот отключённой реплики. Реплику выключили, а слот на мастере остался и держит весь новый WAL. Через несколько дней кончается диск мастера. Лечится max_slot_wal_keep_size и алертом на размер pg_wal
Партиционируют таблицу, которую читают без ключа. Таблица заказов разбита по месяцам, а главный запрос ищет заказы пользователя за всё время. За три года он ходит уже в 36 партиций вместо одного индекса
Шардируют раньше времени. Шардирование стоит месяцев работы и навсегда усложняет каждый запрос. Пока данные помещаются на диск одного сервера, а запись укладывается в его процессор, сначала пробуют индексы, реплики, кэш, партиции и сервер помощнее
🎯 Вопросы с собеседований
Чем репликация отличается от шардирования и партиционирования?
Репликация копирует все данные целиком на другие серверы: она масштабирует чтение и спасает от падения мастера, но запись всё так же идёт в один сервер. Партиционирование делит одну таблицу на части внутри одной базы, чтобы запросы читали меньше и старые данные удалялись целой партицией. Шардирование делит данные между разными базами по ключу, и только оно масштабирует запись и объём
Чем синхронная репликация отличается от асинхронной?
При асинхронной мастер подтверждает коммит сразу, не дожидаясь реплики. Это быстро, но при падении мастера теряются транзакции, которые не успели доехать. При синхронной коммит ждёт подтверждения реплики: данные не теряются, зато каждый коммит дольше на сетевой круг, а без живой синхронной реплики запись встаёт. Поэтому синхронных реплик делают минимум две и ждут любую из них
Что такое лаг реплики и как с ним жить?
Это отставание реплики от мастера: изменение уже закоммичено на мастере, а на реплике ещё не видно. Из-за него пользователь может не увидеть своё же изменение, если чтение ушло на реплику. Решения: читать с мастера свежие данные пользователя после записи, отправлять на реплики только то, где допустима задержка, или ждать, пока реплика дойдёт до нужной позиции журнала. Лаг мониторят в байтах журнала через pg_stat_replication и ставят алерт
Почему запрос на реплике упал с conflict with recovery?
Реплика проигрывает изменения мастера, в том числе очистку VACUUM. Если мастер удалил версии строк, которые ещё видит долгий запрос на реплике, реплика ждёт max_standby_streaming_delay, по умолчанию 30 секунд, а потом отменяет запрос. Можно поднять задержку, тогда реплика будет отставать, или включить hot_standby_feedback, тогда мусор будет копиться на мастере. Для тяжёлой аналитики можно выделить отдельную реплику с большим max_standby_streaming_delay, которой отставание не страшно
Как работает партиционирование в Postgres и когда оно помогает?
Таблицу объявляют partition by range, list или hash, а партиции создают как отдельные таблицы со своими границами. Планировщик отсекает партиции, которые не подходят под условие where, и читает только нужные. Помогает, когда почти все запросы содержат ключ партиционирования, обычно дату, и когда старые данные надо удалять целыми периодами через detach вместо delete. Ограничения: первичный ключ обязан включать ключ партиционирования, а партиции на будущее надо создавать заранее
Как выбрать ключ шардирования?
Ключ должен давать много значений с ровным распределением, присутствовать в большинстве запросов и совпадать у связанных таблиц, чтобы join и транзакция оставались внутри одного шарда. Обычно это user_id или tenant_id. Время — плохой ключ: либо запросы за период идут во все шарды, либо вся свежая запись бьёт в один. Отдельно думают про горячие ключи вроде одного огромного клиента
Как добавить шард и не переносить все данные?
С hash(key) % N смена числа шардов меняет шард у большинства ключей: при переходе с 4 на 5 переезжает около 80%. Консистентное хеширование кладёт ключи и шарды на кольцо, и новый шард забирает только соседние участки, это порядка 1/N данных. На практике часто заводят сразу сотни логических шардов и переносят их между серверами целиком, а ключ к логическому шарду не меняется никогда
Как сделать транзакцию или join между шардами?
Средствами одной базы никак, поэтому схему стараются разложить так, чтобы связанные данные лежали на одном шарде. Если операция всё же затрагивает два шарда, используют двухфазный коммит, который медленный и хрупкий, или сагу с компенсирующими действиями. Join между шардами делает приложение или прослойка вроде Citus: запрос уходит во все шарды, результат собирается из частей
📚 Что почитать
- Log-Shipping Standby Servers — потоковая репликация, слоты, синхронная репликация и синтаксис
FIRST/ANY - Hot Standby — что можно делать на реплике, какие бывают конфликты с восстановлением и как их гасить
- Table Partitioning — виды партиционирования, отсечение партиций, ограничения и советы по числу партиций
- Choosing Distribution Column — документация Citus о выборе ключа шардирования для мультитенантных и аналитических нагрузок