💽 Хранение данных
Под в Kubernetes смертен, и всё, что он записал в свою файловую систему, умирает вместе с ним. Чтобы данные пережили перезапуск и переезд на другой узел, есть тома, PersistentVolume, PersistentVolumeClaim и CSI-драйверы, которые создают и подключают диски. На работе это нужно, когда под застрял в ContainerCreating с ошибкой Multi-Attach или после удаления namespace пропала база. На собеседовании про stateful-нагрузки спрашивают почти всегда: чем PV отличается от PVC, что будет с данными при удалении и стоит ли держать Postgres в кластере
🧠 Тома пода
Volume описывается в spec.volumes пода и монтируется в контейнеры через volumeMounts:
| Том | Где данные | Когда пропадают | Зачем |
|---|---|---|---|
emptyDir | На диске узла или в RAM при medium: Memory | Когда под уходит с узла | Временные файлы, обмен файлами между контейнерами пода |
hostPath | Каталог узла | Остаются на узле | Агенты узла: сборщик логов читает /var/log |
projected | ConfigMap, Secret, downward API, токен ServiceAccount в одном каталоге | Вместе с подом | Несколько источников конфигурации в одном месте |
persistentVolumeClaim | Во внешнем хранилище через PV | По reclaimPolicy | Данные, которые должны пережить под |
Падение контейнера emptyDir не стирает: под остаётся на узле, kubelet перезапускает контейнер, файлы на месте. Стирает удаление пода или выселение. С medium: Memory том становится tmpfs, и записанное считается в лимит памяти контейнера
hostPath документация советует избегать. Под с hostPath на / или на сокет containerd получает файлы kubelet, рантайм и учётные данные узла, оттуда путь к побегу из контейнера. Место под hostPath kubelet не учитывает, и узел может упереться в DiskPressure. Для локального диска есть PV типа local, запрет hostPath политикой — на странице «Безопасность Kubernetes»
🗃️ PV, PVC и StorageClass
- PersistentVolume (PV) — конкретный диск: размер, режимы доступа, где лежит, что делать после освобождения. Объект без namespace, его создаёт администратор или провижинер
- PersistentVolumeClaim (PVC) — заявка приложения в namespace: «нужно 20 ГиБ,
ReadWriteOnce, классfast-ssd». Под ссылается только на неё - StorageClass — шаблон для создания дисков: драйвер в
provisioner, параметры, политика освобождения, можно ли расширять
Контроллер связывает PVC с подходящим PV один к одному: PV хранит ссылку на заявку в claimRef, заявка — имя тома в volumeName. Подходящего PV нет и создать его некому — PVC висит в Pending
Статическое выделение — администратор заранее создаёт PV. Динамическое — провижинер класса из storageClassName создаёт диск и PV под конкретную заявку. Класс не указан — берётся класс по умолчанию с аннотацией storageclass.kubernetes.io/is-default-class: "true". storageClassName: "" выключает динамическое выделение: заявка привяжется только к PV без класса
🔌 CSI: кто создаёт и подключает диск
CSI (Container Storage Interface) — gRPC-интерфейс между Kubernetes и драйвером, который пишет вендор хранилища. Старые встроенные плагины облачных дисков переведены на CSI: их манифесты работают, только если установлен соответствующий драйвер
Драйвер ставится двумя частями. Контроллер — Deployment или StatefulSet с выбором лидера, рядом sidecar-контейнеры проекта kubernetes-csi:
- external-provisioner видит новую PVC и вызывает у драйвера
CreateVolume, при удалении —DeleteVolume - external-attacher следит за объектами
VolumeAttachmentи вызываетControllerPublishVolume: облако подключает диск к ВМ узла. Драйверам без этапа подключения, например NFS, он не нужен - external-resizer обрабатывает увеличение PVC, external-snapshotter — снапшоты
Узловой плагин — DaemonSet с доступом к хосту. node-driver-registrar регистрирует драйвер в kubelet, а kubelet вызывает NodeStageVolume, чтобы отформатировать и смонтировать диск на узле, и NodePublishVolume, чтобы пробросить его в каталог пода
Путь диска в режиме Immediate: PVC → провижинер создал диск и PV → планировщик выбрал узел → attacher подключил диск → kubelet смонтировал → контейнер стартовал. С WaitForFirstConsumer первым узел выбирает планировщик, и только потом провижинер создаёт диск, об этом следующий раздел. Сломаться может любой шаг, причину покажут события PVC и пода
🌍 WaitForFirstConsumer и зоны
Облачный блочный диск живёт в одной зоне доступности и к ВМ из соседней зоны не подключится. Поле volumeBindingMode у StorageClass решает, когда его создавать:
Immediate, по умолчанию: диск создаётся сразу после PVC. Провижинер не знает, где окажется под, создаёт диск в зонеa, а свободные узлы только вb, и под висит вPendingWaitForFirstConsumer: PVC ждёт первого пода. Планировщик выбирает узел по requests, nodeSelector, affinity и taints, и диск создаётся в зоне этого узла
В многозонном кластере для блочных дисков бери WaitForFirstConsumer. Подвох один: под с nodeName обходит планировщик, и PVC остаётся в Pending, вместо него используй nodeSelector по kubernetes.io/hostname. Диск навсегда остаётся в своей зоне, и при её отказе под с ним в другую зону не переедет
🔐 Режимы доступа: RWO — это узел
| Режим | Что значит |
|---|---|
ReadWriteOnce, RWO | Чтение и запись с одного узла, подов на этом узле может быть несколько |
ReadOnlyMany, ROX | Только чтение со многих узлов |
ReadWriteMany, RWX | Запись со многих узлов, нужна файловая система вроде NFS или CephFS |
ReadWriteOncePod, RWOP | Запись одним подом во всём кластере. Стабилен с Kubernetes 1.29, только для CSI |
RWO ограничивает узел, а не под. Две реплики Deployment на одном узле смонтируют один RWO-том и будут писать в одни файлы. Нужен строго один писатель — ставь RWOP. Остальные режимы только помогают подобрать PV к PVC и не защищают от записи. Облачные блочные диски дают RWO и RWOP, RWX требует файлового хранилища
♻️ Что будет с данными при удалении
| Что удалили | Что с данными |
|---|---|
| Под | Ничего, новый под подключит ту же PVC |
| PVC, пока её использует под | Уходит в Terminating с финализатором kubernetes.io/pvc-protection, удаляется после пода |
PVC с reclaimPolicy: Delete | PV и диск в облаке удаляются, данные потеряны |
PVC с reclaimPolicy: Retain | PV переходит в Released, диск с данными остаётся |
| Namespace | Удаляются все его PVC, дальше по политике их PV |
У динамических томов политика берётся из StorageClass и по умолчанию равна Delete. Поэтому kubectl delete namespace staging с базой внутри стирает и диски. Для важных данных делают класс с Retain или патчат политику у PV. Recycle устарела
Retain требует ручной работы. Новая PVC к Released-тому сама не привяжется: убирают claimRef из PV, он становится Available, и заявку привязывают по volumeName. После удаления PV диск в облаке остаётся и висит в счёте, пока его не удалят руками
📏 Расширение тома
Увеличить PVC можно, если у класса allowVolumeExpansion: true и драйвер это умеет. Правишь spec.resources.requests.storage, resizer увеличивает диск, kubelet расширяет файловую систему XFS, ext3 или ext4 при старте пода или на лету. Без пода, который использует PVC, расширение не завершится
Уменьшить том нельзя. allowVolumeExpansion у существующего класса можно включить, а provisioner, parameters, reclaimPolicy и volumeBindingMode после создания не меняются
🗄️ StatefulSet и volumeClaimTemplates
Из шаблона data в volumeClaimTemplates StatefulSet pg создаёт по PVC на реплику: data-pg-0, data-pg-1, data-pg-2. Реплика привязана к своей заявке по имени, и pg-1 на другом узле подключает тот же data-pg-1. По умолчанию заявки переживают и уменьшение replicas, и удаление StatefulSet, остальное — на странице «Рабочие нагрузки»
С RWO-диском в одной зоне реплика переезжает только в пределах своей зоны. Поэтому реплики базы разносят по зонам, и у каждой свой диск
🐘 Базы в Kubernetes: чем платишь
Держать Postgres в кластере можно, но за это платят:
- Сетевой диск медленнее локального. У облачного диска задержка на каждую операцию и лимит IOPS по тарифу, для базы это видно по p99 записи. Локальный NVMe через PV
localбыстрее, но привязывает под к одному узлу - Под не переезжает между зонами. Отказ зоны лечат переключением на реплику
- Узел умер без корректного выключения. Под висит в
Terminating, диск числится за мёртвым узлом. Если удаление пода не прошло за 6 минут и узел нездоров, Kubernetes принудительно отключит том. Быстрее — taintnode.kubernetes.io/out-of-service, когда точно известно, что узел выключен - StatefulSet не знает базу. Репликацию, выбор мастера и бэкапы он не делает
Это берут на себя операторы. CloudNativePG ведёт поды и PVC сам, без StatefulSet, переключает мастера при отказе и делает бэкапы по объектам Backup и ScheduledBackup. Zalando postgres-operator строит кластер на Patroni и StatefulSet, архивирует WAL через WAL-G и умеет логические бэкапы в S3. Оператор делает failover сценарием, который проверяют на стенде, но его самого надо знать и обновлять
Альтернатива — управляемая база у облака: failover и бэкапы там чужая забота, а платишь деньгами и меньшим контролем над настройками. Частый компромисс: прод-база в управляемом сервисе, стенды — в кластере с оператором
📸 Снапшоты и Velero
VolumeSnapshot — снимок тома средствами хранилища. VolumeSnapshot, VolumeSnapshotContent и VolumeSnapshotClass — CRD, их и контроллер снапшотов ставит дистрибутив, а снимать умеют только CSI-драйверы с такой поддержкой. Из снапшота создают новую PVC через dataSource, но лежит он в том же хранилище, что и диск. Velero бэкапит объекты кластера вместе с томами и восстанавливает их в другой кластер. Как строить бэкапы баз — на странице «Бэкапы и восстановление»
🛠️ На практике
Класс для блочных дисков, который не теряет данные при удалении заявки и ждёт пода. ebs.csi.aws.com — драйвер EBS в AWS, у другого облака своё имя драйвера и свои parameters:
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: fast-retain
provisioner: ebs.csi.aws.com
parameters:
type: gp3
reclaimPolicy: Retain
allowVolumeExpansion: true
volumeBindingMode: WaitForFirstConsumerЗаявка и под. Пока пода нет, PVC в Pending, и для WaitForFirstConsumer это нормально:
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: app-data
spec:
storageClassName: fast-retain
accessModes: ["ReadWriteOncePod"]
resources:
requests:
storage: 20Gi
---
apiVersion: v1
kind: Pod
metadata:
name: app
spec:
containers:
- name: app
image: nginx:1.27
volumeMounts:
- name: data
mountPath: /data
- name: tmp
mountPath: /tmp
volumes:
- name: data
persistentVolumeClaim:
claimName: app-data
- name: tmp
emptyDir:
sizeLimit: 1GiКоманды для разбора:
kubectl get pvc -A # Pending или Bound, к какому тому
kubectl describe pvc app-data # события провижинера, причина Pending
kubectl get pv # RECLAIM POLICY и STATUS: Bound, Released
kubectl get volumeattachment # какой диск к какому узлу подключён
kubectl patch pv <имя> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'
kubectl patch pvc app-data -p '{"spec":{"resources":{"requests":{"storage":"40Gi"}}}}'⚠️ Где ошибаются
Удаляют namespace стенда вместе с базой. Класс по умолчанию с Delete, диск уходит вместе с PVC. Перед удалением смотри kubectl get pvc -n <ns>, а важному ставь Retain
Масштабируют Deployment с RWO-томом. Пока реплики на одном узле, обе пишут в одни файлы. Вторая уехала на другой узел — висит в ContainerCreating с Multi-Attach error. Общему диску нужен RWX, базе — StatefulSet со своим диском на реплику
Оставляют Immediate в многозонном кластере. Диск создаётся не в той зоне, под не находит места. volumeBindingMode у класса не меняется, поэтому создают новый класс с WaitForFirstConsumer
🎯 Вопросы с собеседований
Чем PV отличается от PVC?
PV — конкретный диск в кластере, объект без namespace с размером, режимами доступа и reclaimPolicy. PVC — заявка приложения в namespace: сколько места, какой режим, какой класс. Контроллер связывает их один к одному, а под ссылается только на PVC. Приложение не знает, что под ним, EBS или Ceph, а диски живут своим циклом
Что такое StorageClass и что делает CSI-драйвер?
StorageClass — шаблон для динамического создания дисков: драйвер в provisioner, параметры, reclaimPolicy, allowVolumeExpansion, volumeBindingMode. На новую PVC external-provisioner вызывает у драйвера CreateVolume и создаёт PV. Контроллерная часть драйвера через external-attacher подключает диск к ВМ узла, узловая часть в DaemonSet монтирует его для kubelet
Что будет с данными, если удалить под? А PVC?
Удаление пода данные не трогает, новый под подключит ту же PVC, исключение — emptyDir. PVC, которую использует под, удалится только после пода из-за финализатора kubernetes.io/pvc-protection. Дальше решает reclaimPolicy: при Delete, умолчании у динамических томов, пропадают PV и диск. При Retain PV уходит в Released, данные остаются и подключаются снова руками
Под с RWO-томом застрял в ContainerCreating с Multi-Attach error. Почему?
RWO разрешает подключение к одному узлу, а диск ещё числится за старым: там вторая реплика Deployment или не удалился старый под. За каким узлом диск, видно в kubectl get volumeattachment. Если на старом узле живой под, нужен RWX или StatefulSet со своим диском на реплику. Если узел умер, Kubernetes отключит том через 6 минут, а быстрее — taint node.kubernetes.io/out-of-service, когда узел точно выключен
Зачем WaitForFirstConsumer?
Блочный диск привязан к зоне. С Immediate диск создаётся сразу после PVC, без учёта того, где поместится под, и под может не найти узла в этой зоне. WaitForFirstConsumer ждёт пода: планировщик выбирает узел, и диск создаётся в его зоне
Стоит ли держать Postgres в Kubernetes?
Можно, если команда готова платить. Сетевой диск добавляет задержку записи, диск не переезжает между зонами, а StatefulSet не умеет ни репликацию, ни failover, ни бэкапы. Это закрывает оператор вроде CloudNativePG или Zalando postgres-operator, но его тоже надо знать. Нет экспертизы — прод-базу берут управляемой у облака, а в кластере держат стенды. Сильный ответ называет критерии: задержка, кто дежурит, проверено ли восстановление
📚 Что почитать
- Persistent Volumes — жизненный цикл PV и PVC, политики освобождения, режимы доступа и таблица поддержки по плагинам
- Storage Classes — поля класса, класс по умолчанию, режимы привязки
- Deploying a CSI Driver on Kubernetes — как драйвер делится на контроллер и узловой плагин и куда ставятся sidecar-контейнеры
- CloudNativePG — оператор Postgres, в FAQ объяснено, почему он обходится без StatefulSet