🏛️ Архитектура кластера
Кластер Kubernetes — это несколько процессов, которые общаются только через API-сервер и хранят всё состояние в etcd. DevOps-инженеру устройство нужно, когда кластер ведёт себя странно: поды висят в Pending, kubectl отвечает таймаутом, после аварии узла ничего не переезжает. На собеседовании по архитектуре проверяют, понимаешь ли ты, кто за что отвечает и что сломается, если один из компонентов упадёт
🧠 Control plane и узел
Control plane хранит состояние и принимает решения, узлы запускают контейнеры. Короткая таблица компонентов есть на странице «Kubernetes» общего модуля, здесь — от чего каждый зависит:
| Компонент | Что делает | От кого зависит |
|---|---|---|
| kube-apiserver | Проверяет запросы, пишет и читает etcd, раздаёт изменения через watch. Без состояния, масштабируется копиями за балансировщиком | etcd |
| etcd | Хранит все объекты с номером ревизии у каждого изменения | Кворум своих участников |
| kube-scheduler | Выбирает узел для пода без узла | apiserver |
| kube-controller-manager | Десятки контроллеров в одном процессе: Deployment, ReplicaSet, Node, Job, EndpointSlice | apiserver |
| cloud-controller-manager | Балансировщики для Service типа LoadBalancer, маршруты, удаление узлов, которых нет в облаке. На своём железе его нет | apiserver, API облака |
| kubelet | Доводит поды своего узла до запуска через CRI, докладывает статус | apiserver, рантайм |
| kube-proxy | Превращает Service и EndpointSlice в правила iptables или nftables. Некоторые CNI, например Cilium, заменяют его | apiserver |
| Container runtime | containerd или CRI-O: образы, песочница пода, контейнеры | — |
Только apiserver ходит в etcd. Scheduler, контроллеры и kubelet — такие же клиенты API, как kubectl, поэтому права и аудит для всех одни
Scheduler и controller-manager работают с одним лидером. В HA-кластере их по три копии, но активна одна, иначе два контроллера ReplicaSet создавали бы лишние поды. Лидерство — объект Lease в kube-system, который лидер продлевает. У kube-scheduler --leader-elect-lease-duration по умолчанию 15 секунд: примерно за это время упавшего лидера заменяет другая копия
В кластерах на kubeadm control plane запущен как статические поды: kubelet запускает их из манифестов в /etc/kubernetes/manifests без apiserver, иначе apiserver некому было бы поднять. С 1.37 статическим подам запрещено ссылаться на Secret и ConfigMap
🔁 Watch и цикл согласования
Компоненты не вызывают друг друга, а подписываются на объекты. Подписка — это watch: HTTP-запрос с ?watch=true, на который apiserver держит соединение и шлёт события ADDED, MODIFIED, DELETED. У каждого изменения свой номер resourceVersion, и клиент работает так:
LIST— все объекты нужного типа и номер версии спискаWATCHс этого номера — только изменения после него- Соединение порвалось — watch с последнего полученного номера
- Номер слишком старый — apiserver отвечает
410 Gone, клиент снова делаетLIST. Кластер с etcd 3 по умолчанию хранит историю за 5 минут
В client-go это обёрнуто в informer: он держит копию объектов в памяти, и контроллер читает из неё, а не из apiserver
Событие только будит контроллер. Дальше идёт цикл согласования (reconciliation loop): контроллер берёт ключ объекта из очереди, читает его состояние целиком, сравнивает с желаемым и делает шаг. Содержимое события он не разбирает, поэтому пропущенное событие или рестарт контроллера ничего не ломают. Контроллер ReplicaSet каждый раз заново считает поды по селектору
От гонок защищает тот же resourceVersion. Клиент передаёт при записи номер, который прочитал, и если объект успели изменить, получает 409 Conflict, перечитывает и пробует снова
🚀 Как под доходит до запуска
На общей странице путь kubectl apply описан крупными шагами. Если разложить его по компонентам, выйдет десять:
- Аутентификация. Кто пришёл: клиентский сертификат, токен ServiceAccount, OIDC. Не опознан —
401 - Авторизация. Можно ли ему
createдляdeploymentsв этом namespace, обычно решает RBAC. Отказ —403 - Мутирующий admission. Плагины и вебхуки дописывают объект: значения по умолчанию, сайдкар, толерантности. Например,
DefaultTolerationSecondsдаёт каждому поду 300 секунд терпения к недоступному узлу - Схема и валидирующий admission. Проверка схемы, затем ValidatingAdmissionPolicy на CEL и валидирующие вебхуки. Отказ любого отклоняет запрос. Здесь же работают Pod Security Admission и Kyverno, о них страница «Безопасность Kubernetes»
- Запись в etcd. Объект получает новую
resourceVersion, подписчики получают событие - Контроллеры. Контроллер Deployment создаёт ReplicaSet, контроллер ReplicaSet — поды. Каждый объект снова проходит шаги 1–5: для apiserver контроллер — обычный клиент со своей учётной записью
- Binding. Scheduler видит под с пустым
spec.nodeName, отсеивает неподходящие узлы, оценивает остальные и создаёт подресурсbinding. apiserver записывает в подspec.nodeName. Как выбирается узел, разобрано на странице «Планирование и масштабирование» - kubelet. Каждый kubelet смотрит только поды со своим узлом в
spec.nodeName. Увидев новый, монтирует тома и идёт в рантайм - CRI.
RunPodSandbox: containerd запускает pause-контейнер с сетевым namespace и вызывает CNI-плагин, тот выдаёт IP. ЗатемPullImage,CreateContainer,StartContainerпо очереди для init-контейнеров, потом для основных. Ниже containerd, shim и runc, как на странице «Как устроен контейнер» - Статус. kubelet пишет условия и IP.
PodReadyToStartContainersзначит, что песочница и сеть готовы,Ready— что под прошёл readiness-пробу и попадёт в EndpointSlice
По застрявшему поду видно шаг. Запрос отклонён сразу — шаги 1–4, ошибка назовёт, кто отказал. Pending без узла — шаг 7, причина в событии FailedScheduling. ContainerCreating — шаги 8–9: том, CNI или образ
🗄️ etcd и кворум
etcd реплицирует данные по протоколу Raft. Записи идут через лидера и считаются принятыми, когда их подтвердило большинство участников, то есть кворум: n/2 + 1 с округлением вниз. Когда apiserver ответил «создано», объект уже лежит на большинстве узлов
| Участников | Кворум | Переживёт отказов |
|---|---|---|
| 1 | 1 | 0 |
| 3 | 2 | 1 |
| 4 | 3 | 1 |
| 5 | 3 | 2 |
| 7 | 4 | 3 |
Чётное число не добавляет надёжности. Четыре узла переживают один отказ, как и три, но ждут больше подтверждений на запись. При разделении сети 2 на 2 кворума нет ни у одной половины. Документация etcd советует не больше 7 участников, на практике ставят 3, для крупных кластеров 5
Без кворума кластер замерзает. etcd не принимает записи, apiserver ничего не может сохранить. Запущенные поды работают, kubelet перезапускает упавшие контейнеры сам. Но деплой, масштабирование и замена погибшего пода не работают. Вернулась связь — etcd восстанавливается сам. Большинство потеряно навсегда — кластер поднимают из снапшота etcdctl snapshot save, об этом страница «Бэкапы и восстановление»
Кластер встаёт и без отказов, если кончилась квота etcd, по умолчанию 2 ГиБ (--quota-backend-bytes): тогда etcd принимает только чтения и удаления, пока историю не сожмут и не дефрагментируют
💥 Что сломается, если упадёт компонент
| Упал | Что работает | Что перестаёт |
|---|---|---|
| kube-apiserver | Запущенные поды, трафик по последним правилам kube-proxy, перезапуск контейнеров kubelet-ом | kubectl, деплой, планирование, обновление EndpointSlice |
| etcd без кворума | То же | Любые записи: apiserver жив, но отвечает ошибками |
| kube-scheduler | Всё запущенное | Новые поды висят в Pending без узла |
| kube-controller-manager | Запущенные поды, планирование уже созданных | Deployment не создаёт ReplicaSet, реплики не восполняются, поды с мёртвого узла не выселяются |
| kubelet на узле | Контейнеры узла | Новые поды и пробы. Через 5 минут после перевода узла в Unknown его поды начинают выселять |
Control plane не держит трафик. Пока узлы живы, пользователи его отказа могут не заметить
HA control plane — минимум три узла за балансировщиком с одним адресом apiserver. kubeadm по умолчанию кладёт etcd на те же узлы (stacked): проще, но отказ узла уносит и apiserver, и участника etcd. Внешний etcd развязывает отказы, но машин нужно вдвое больше
☁️ Управляемые кластеры и платформы
В управляемом кластере (EKS, GKE, AKS, Yandex Managed Service for Kubernetes) control plane и etcd держит провайдер. Бэкап etcd и HA не твоя забота, но и флаги apiserver не поменяешь. Control plane обновляется кнопкой или по расписанию, узлы — по твоим правилам
Платформы добавляют к Kubernetes мониторинг, политики и управляемые обновления. OpenShift от Red Hat работает на CRI-O и даёт oc вместо kubectl. Deckhouse Kubernetes Platform от «Фланта» есть в реестре российского ПО и обновляется по каналам стабильности. Внутри это тот же Kubernetes
🔢 Версии и обновление
Проект поддерживает три последние минорные версии, сейчас 1.37, 1.36 и 1.35, каждую около года: поддержка 1.37 закончится 28 октября 2027. Минорные версии выходят примерно трижды в год, так что кластер без обновлений за год на краю поддержки
Перекос версий (version skew) — насколько компоненты могут отличаться от apiserver:
| Компонент | Допустимо относительно apiserver |
|---|---|
| kube-apiserver в HA | Между экземплярами одна минорная версия |
| controller-manager, scheduler, cloud-controller-manager | Не новее, на одну минорную старше |
| kubelet, kube-proxy | Не новее, до трёх минорных старше |
| kubectl | На одну минорную старше или новее |
Минорные версии не перепрыгивают: с 1.35 на 1.37 идут через 1.36, и каждый шаг повторяет одну последовательность
- Бэкап etcd и release notes: какие версии API удалены. Манифесты с ними после обновления не применятся
- apiserver на всех узлах control plane. В kubeadm это
kubeadm upgrade applyна первом узле иkubeadm upgrade nodeна остальных - controller-manager, scheduler, cloud-controller-manager в любом порядке
- Рабочие узлы по одному или группами:
kubectl drain, новый kubelet,kubectl uncordon. Минорное обновление kubelet без drain не поддерживается
С apiserver 1.37 работают kubelet 1.36, 1.35 и 1.34. Но отставший на три версии kubelet обнови до следующего обновления control plane, иначе перекос станет четыре
⚠️ Где ошибаются
Четыре узла etcd «для надёжности». Отказоустойчивость как у трёх, а разделение сети 2 на 2 оставляет кластер без кворума. Нужен запас — ставь пять
Нет бэкапа etcd, потому что «три реплики». Репликация спасает от отказа машины, но не от kubectl delete namespace prod: удаление честно доезжает до всех участников. Снапшот по расписанию нужен при любом числе узлов
Вебхук admission с failurePolicy: Fail на все namespace. Упали поды вебхука — перестают создаваться поды во всём кластере, включая kube-system. Исключай системные namespace через namespaceSelector и держи у вебхука несколько реплик
🎯 Вопросы с собеседований
Из каких компонентов состоит Kubernetes и за что отвечает каждый?
Control plane: apiserver — единственный вход и единственный клиент etcd, etcd хранит объекты, scheduler назначает подам узлы, controller-manager крутит контроллеры, cloud-controller-manager связывает кластер с облаком. На узле kubelet запускает поды через CRI, kube-proxy программирует правила для Service, containerd или CRI-O запускают контейнеры. Друг друга компоненты не вызывают, а следят за объектами через watch
Как под доходит до запуска? Где здесь CRI?
Под от ReplicaSet проходит аутентификацию, авторизацию и admission и пишется в etcd без узла. Scheduler делает binding, и в поде появляется spec.nodeName. kubelet этого узла видит под через watch и по gRPC-интерфейсу CRI просит рантайм создать песочницу: pause-контейнер с сетевым namespace, IP от CNI. Потом скачивание образа, init-контейнеры по очереди, основные контейнеры и статус обратно в API
Как контроллер узнаёт, что пора действовать?
Через LIST и WATCH с полученной resourceVersion: informer держит копию объектов и ставит ключ изменённого в очередь. Обработчик читает объект целиком, сравнивает желаемое с фактическим и делает шаг, не опираясь на содержимое события. Поэтому пропущенное событие или рестарт контроллера не ломают логику
Как etcd обеспечивает согласованность? Что будет при потере кворума?
Raft: запись проходит через лидера и фиксируется, когда её подтвердило большинство. Без кворума записи не принимаются, и кластер замерзает: поды работают, но деплой и замена подов стоят. Временная потеря проходит сама, когда вернулась сеть, при потере большинства навсегда кластер восстанавливают из снапшота
Почему в etcd нечётное число узлов?
Кворум — больше половины. Три узла переживают один отказ, четыре тоже один, потому что кворум у них три. Лишний чётный узел только добавляет подтверждений на запись и риск разделения сети пополам. Ставят три или пять, больше семи etcd не советует
Что будет, если упадёт control plane?
Трафик продолжит ходить: поды работают, kube-proxy держит последние правила. Перестанут работать kubectl, деплой, восполнение реплик и реакция на смерть узла. Без scheduler новые поды висят в Pending, без controller-manager Deployment не создаёт поды. В HA отказ одного узла control plane незаметен
Как обновлять кластер?
По одной минорной версии, после бэкапа etcd и проверки удалённых API. Сначала все apiserver, потом controller-manager и scheduler, потом узлы через drain и uncordon. Так требует политика перекоса: kubelet может отставать от apiserver на три версии, но не может быть новее
📚 Что почитать
- Cluster Architecture — официальное описание компонентов, включая cloud-controller-manager
- Kubernetes API Concepts — watch,
resourceVersion,410 Goneи закладки - Version Skew Policy — допустимый перекос версий и порядок обновления
- etcd FAQ — почему нечётное число участников и таблица отказоустойчивости