🔒 Безопасность Kubernetes
Каждый запрос к кластеру, от kubectl apply до обращения оператора из пода, проходит в apiserver три проверки: кто пришёл, что ему можно и пропустить ли сам объект. DevOps-инженер выдаёт сервисам ServiceAccount с минимальными правами, запрещает поды под root и образы из чужого registry, включает аудит, чтобы после инцидента было видно, кто удалил namespace. Вопросы интервьюера обычно крутятся вокруг least privilege: как устроен RBAC, чем опасно право создавать поды и как не пустить в кластер неподписанный образ
🧠 Как запрос проходит apiserver
Путь запроса до записи в etcd разобран на странице «Архитектура кластера». Для безопасности на нём три заслона
| Этап | Вопрос | Кто решает | Отказ |
|---|---|---|---|
| Аутентификация | Кто это | Сертификат, токен ServiceAccount, OIDC | 401 |
| Авторизация | Можно ли этому субъекту этот глагол на этот ресурс | RBAC, иногда вебхук | 403 |
| Mutating admission | Что дописать в объект | Встроенные плагины, MutatingAdmissionPolicy, вебхуки | Ошибка от плагина |
| Validating admission | Пропустить ли объект | Pod Security Admission, ValidatingAdmissionPolicy, Kyverno, Gatekeeper | Ошибка от плагина |
RBAC смотрит только на глагол и ресурс, но не на содержимое объекта. Право create pods не различает под с privileged: true и обычный. RBAC решает, кто может создать под, а admission — какой под можно создать
👤 ServiceAccount: учётная запись программы
Людей Kubernetes не хранит, пользователь для него лишь имя из сертификата или OIDC-токена. У программ есть объект ServiceAccount. В каждом namespace есть default, и под без serviceAccountName получает его. Для RBAC сервисный аккаунт — пользователь system:serviceaccount:<namespace>:<имя> в группах system:serviceaccounts и system:serviceaccounts:<namespace>
Токен попадает в под проецируемым томом. kubelet получает его через TokenRequest API, по умолчанию на час, и обновляет, когда токен прожил 80% срока или больше 24 часов. Удалили под — токен перестал действовать. До Kubernetes 1.24 на каждый ServiceAccount автоматически создавался Secret с бессрочным токеном, с 1.24 этого нет. С 1.29 такие старые токены, которыми не пользовались год, помечаются недействительными
Большинству приложений API Kubernetes не нужен, а токен всё равно лежит в /var/run/secrets/kubernetes.io/serviceaccount/ и достаётся тому, кто взломал приложение. automountServiceAccountToken: false отключает монтирование. Ставится на ServiceAccount и на под, при расхождении побеждает под
🔑 RBAC: роли и привязки
Правило RBAC — глаголы (get, list, create, delete и другие) на ресурсы в API-группах. Разрешения только складываются, запрещающих правил нет
| Объект | Где действует | Зачем |
|---|---|---|
| Role | Один namespace | Права на ресурсы этого namespace |
| ClusterRole | Весь кластер | Кластерные ресурсы (узлы, PV), nonResourceURLs вроде /metrics, шаблон прав для многих namespace |
| RoleBinding | Один namespace | Выдаёт Role или ClusterRole субъекту в этом namespace |
| ClusterRoleBinding | Весь кластер | Выдаёт ClusterRole во всех namespace сразу |
ClusterRole через RoleBinding — способ описать права один раз. Роль deployer заводят одной ClusterRole, а в каждом namespace команды создают RoleBinding на неё. Права действуют только в namespace привязки. Так выдают встроенные view, edit и admin: человек становится админом своего namespace, а не кластера
Least privilege в RBAC: у каждого приложения свой ServiceAccount, конкретные ресурсы и глаголы без *, где можно — resourceNames. Людям — view, изменения через CI. Группу system:masters не выдают никому: её члены обходят RBAC, и удаление привязок этого не отменяет
Опасные права
| Право | Почему опасно |
|---|---|
* в глаголах или ресурсах | Захватывает и ресурсы, которые появятся позже, например новые CRD |
get, list, watch на secrets | list отдаёт значения всех Secret, а не только имена |
create на pods или на любой контроллер подов | Под монтирует любой Secret namespace и запускается от любого его ServiceAccount. Без Pod Security ещё и привилегированный под с выходом на узел |
escalate на roles | Снимает запрет создавать роль с правами, которых нет у тебя |
bind на roles | Разрешает привязать роль, которой у тебя нет, в том числе себе |
impersonate на users, groups, serviceaccounts | Действовать от имени другого субъекта |
get на nodes/proxy | Прямой доступ к API kubelet: логи и exec в любой под узла в обход аудита и admission |
create на serviceaccounts/token | Выпустить токен существующего ServiceAccount |
Изменение validatingwebhookconfigurations и mutatingwebhookconfigurations | Свой вебхук видит и меняет каждый объект на входе |
Как проверить, что может субъект
kubectl auth can-i спрашивает apiserver от имени текущего пользователя, а с --as — от чужого. Для --as нужно право impersonate, у админа оно есть
# Может ли CI-аккаунт создавать деплойменты в shop
kubectl auth can-i create deployments -n shop --as=system:serviceaccount:ci:deployer
# Всё, что разрешено ServiceAccount в namespace
kubectl auth can-i --list -n shop --as=system:serviceaccount:shop:orders--list показывает итог, но не откуда пришло право. Привязку ищут в kubectl get rolebindings,clusterrolebindings -A -o wide
🛡️ Pod Security Admission
PodSecurityPolicy объявили устаревшей в 1.21 и удалили в 1.25. Её заменил встроенный контроллер Pod Security Admission, стабильный с 1.25. Он проверяет поды по трём уровням Pod Security Standards
| Уровень | Что запрещает | Для кого |
|---|---|---|
privileged | Ничего | Системные компоненты: CNI, CSI, агенты логов |
baseline | privileged: true, hostNetwork, hostPID, hostIPC, hostPath, hostPort, добавление capabilities сверх безопасного набора | Обычные приложения |
restricted | Всё из baseline плюс требует runAsNonRoot: true, allowPrivilegeEscalation: false, capabilities.drop: ["ALL"], seccomp RuntimeDefault или Localhost, только безопасные типы томов | Приложения, готовые к жёстким настройкам |
Уровень назначают меткой на namespace, и у каждой метки свой режим:
enforce— под с нарушением отклоняетсяwarn— под создаётся, клиент видит предупреждениеaudit— под создаётся, нарушение пишется в аудит-лог
enforce проверяет только сами поды, warn и audit — ещё и Deployment, Job и другие контроллеры. Деплоймент с нарушением под enforce применяется успешно, а поды не появляются: отказ виден в событиях ReplicaSet. Поэтому сначала включают warn и audit, исправляют чарты, потом enforce. Метка pod-security.kubernetes.io/enforce-version фиксирует версию правил, чтобы обновление кластера не ужесточило их внезапно. Что значат runAsNonRoot и capabilities, разобрано на странице «Безопасность контейнеров»
📜 Admission-политики
Pod Security закрывает только настройки пода. «Образы только из нашего registry» или «у Deployment обязана быть метка team» — это уже свои политики
ValidatingAdmissionPolicy стабильна с Kubernetes 1.30. Правило на CEL выполняется внутри apiserver, без вебхука, который может упасть. Политика описывает проверку, ValidatingAdmissionPolicyBinding — где применять и что делать при нарушении: Deny, Warn или Audit. MutatingAdmissionPolicy делает то же для изменения объектов: появилась альфой, в 1.34 стала бетой, выключенной по умолчанию, в 1.36 — стабильной и включённой
Kyverno проверяет, изменяет и генерирует объекты и проверяет подписи образов, актуальная версия — 1.20.0. С 1.17 основные типы политик — CEL-ные ValidatingPolicy, MutatingPolicy, GeneratingPolicy и ImageValidatingPolicy в policies.kyverno.io/v1. Старые ClusterPolicy объявлены устаревшими в 1.19, и перед обновлением до свежих версий их переписывают на новые типы по руководству по миграции
OPA Gatekeeper описывает правило на Rego в ConstraintTemplate, а Constraint применяет его к ресурсам с параметрами. Актуальная версия — 3.23.1. Начиная с 3.20 Gatekeeper генерирует нативные ValidatingAdmissionPolicy из шаблонов на CEL, и проверка уходит в apiserver
| Что нужно | Что взять |
|---|---|
| Пара проверок полей без новых компонентов в кластере | ValidatingAdmissionPolicy |
Простая подстановка значений: метки, imagePullPolicy, сайдкар | MutatingAdmissionPolicy на 1.36 и новее |
| Проверка подписей, генерация объектов (NetworkPolicy по умолчанию в новом namespace), отчёты о нарушениях | Kyverno |
| В компании уже пишут Rego: Conftest для Terraform, OPA в сервисах | OPA Gatekeeper |
Kyverno и Gatekeeper работают вебхуками, и упавший вебхук с failurePolicy: Fail блокирует создание объектов, об этом страница «Архитектура кластера»
✍️ Подпись образа при допуске
Как подписать образ cosign, рассказано на странице «Безопасность контейнеров». Подпись имеет смысл, только если кластер не запускает образ без неё: admission-контроллер перед созданием пода берёт подпись из registry и сверяет, кто подписал
- Kyverno —
ImageValidatingPolicy: какие образы проверять (matchImageReferences), кто должен подписать (attestors, ключ или keyless-личность CI) и CEL-выражение, которое требует валидную подпись у каждого образа - policy-controller из Sigstore —
ClusterImagePolicyс теми же идеями. По умолчанию проверяет только namespace с меткойpolicy.sigstore.dev/include: "true"
Оба приводят тег к дайджесту, чтобы в под попал ровно проверенный образ. Запрет чужого registry проще: хватит ValidatingAdmissionPolicy, которая проверяет префикс image у всех контейнеров, включая initContainers
🧾 Аудит-логи apiserver
Без --audit-policy-file apiserver не пишет ни одного события аудита. В управляемых кластерах аудит включает провайдер и отдаёт в свой сервис логов. Событие содержит, кто и откуда сделал запрос, глагол, ресурс, код ответа и аннотации: какая привязка RBAC разрешила запрос, что сказал Pod Security
| Уровень | Что пишется |
|---|---|
None | Ничего |
Metadata | Пользователь, время, ресурс, глагол, код ответа, без тел |
Request | Плюс тело запроса |
RequestResponse | Плюс тело ответа |
Правила проверяются по порядку, уровень задаёт первое совпавшее, поэтому частные правила ставят выше общих. Secret пишут на Metadata: на Request в лог попадёт тело create secret, на RequestResponse — значения из каждого get, и аудит-лог станет вторым хранилищем паролей. Шум вроде watch системных компонентов отправляют в None. Писать можно в файл (--audit-log-path и ротация --audit-log-maxage, --audit-log-maxbackup, --audit-log-maxsize) или вебхуком во внешнюю систему
После инцидента аудит отвечает, кто удалил namespace и кто выдал себе cluster-admin. Запросы через nodes/proxy идут мимо него
🌐 Сеть и проверка кластера целиком
Какие поды с кем говорят, ограничивает NetworkPolicy, подробно на странице «Сети в Kubernetes». Настройки узлов и control plane сверяют с CIS Kubernetes Benchmark утилитой kube-bench от Aqua Security: она читает флаги компонентов и права на файлы и печатает PASS, FAIL и WARN по пунктам. В управляемом кластере проверяются только узлы
🛠️ На практике
Права для приложения, которое читает свои ConfigMap, и для CI, которому нужна роль edit только в своём namespace
apiVersion: v1
kind: ServiceAccount
metadata:
name: orders
namespace: shop
automountServiceAccountToken: false # под, которому нужен токен, включит у себя
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
name: orders-config-reader
namespace: shop
rules:
- apiGroups: [""]
resources: ["configmaps"]
resourceNames: ["orders-config"]
verbs: ["get", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
name: ci-edit
namespace: shop
subjects:
- kind: ServiceAccount
name: deployer
namespace: ci
roleRef:
kind: ClusterRole # встроенная роль, но права только в shop
name: edit
apiGroup: rbac.authorization.k8s.ioПривязка orders-config-reader к ServiceAccount orders пишется так же, как ci-edit, только с kind: Role в roleRef
YAML · Namespace с Pod Security
apiVersion: v1
kind: Namespace
metadata:
name: shop
labels:
pod-security.kubernetes.io/enforce: baseline
pod-security.kubernetes.io/enforce-version: v1.37
pod-security.kubernetes.io/warn: restricted
pod-security.kubernetes.io/audit: restrictedYAML · ValidatingAdmissionPolicy: образы только из своего registry
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicy
metadata:
name: own-registry-only
spec:
failurePolicy: Fail
matchConstraints:
resourceRules:
- apiGroups: [""]
apiVersions: ["v1"]
operations: ["CREATE", "UPDATE"]
resources: ["pods"]
validations:
- expression: >-
object.spec.containers.all(c, c.image.startsWith('registry.example.com/')) &&
(!has(object.spec.initContainers) ||
object.spec.initContainers.all(c, c.image.startsWith('registry.example.com/')))
message: "образы только из registry.example.com"
---
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicyBinding
metadata:
name: own-registry-only
spec:
policyName: own-registry-only
validationActions: [Deny]
matchResources:
namespaceSelector:
matchLabels:
policy/registry: enforced # включаем по namespace, kube-system не трогаемYAML · Kyverno: только подписанные в CI образы
apiVersion: policies.kyverno.io/v1
kind: ImageValidatingPolicy
metadata:
name: signed-images
spec:
matchConstraints:
resourceRules:
- apiGroups: [""]
apiVersions: ["v1"]
operations: ["CREATE"]
resources: ["pods"]
matchImageReferences:
- glob: "registry.example.com/*"
attestors:
- name: ci
cosign:
keyless:
identities:
- issuer: "https://gitlab.com"
subject: "https://gitlab.com/shop/orders//.gitlab-ci.yml@refs/heads/main"
validations:
- expression: >-
images.containers.map(image, verifyImageSignatures(image, [attestors.ci])).all(e, e > 0)
message: "образ не подписан CI"YAML · Политика аудита
apiVersion: audit.k8s.io/v1
kind: Policy
omitStages: ["RequestReceived"] # не дублировать событие на входе
rules:
- level: None # шум от kube-proxy
users: ["system:kube-proxy"]
verbs: ["watch"]
- level: Metadata # значения секретов в лог не попадут
resources:
- group: ""
resources: ["secrets", "configmaps"]
- level: RequestResponse # кто и что поменял в правах
resources:
- group: "rbac.authorization.k8s.io"
- level: Metadata # всё остальное⚠️ Где ошибаются
Выдают CI cluster-admin, «чтобы точно хватило». Токен из переменной CI становится ключом от всего кластера. CI получает edit через RoleBinding в тех namespace, куда деплоит, а CRD ставит отдельный пайплайн платформенной команды
Оставляют приложениям default ServiceAccount с токеном. Права, выданные default «для одного сервиса», достаются каждому поду namespace. Нужен свой ServiceAccount на приложение
Включают enforce: restricted на живом namespace. kubectl apply зелёный, а новые поды не создаются, и выкатка висит. Сначала warn и audit, потом enforce
Пишут аудит на RequestResponse для всего. В логе оказываются значения Secret, а объём забивает диск control plane
🎯 Вопросы с собеседований
Что такое least privilege и как его сделать в Kubernetes через RBAC?
Каждый субъект получает только те права, без которых не сможет работать. В Kubernetes это свой ServiceAccount на каждое приложение, Role с конкретными ресурсами и глаголами без * и RoleBinding в его namespace вместо ClusterRoleBinding. Токен не монтируют тем, кому API не нужен. Людям дают view, изменения идут через CI
Чем Role отличается от ClusterRole и зачем ClusterRole привязывать через RoleBinding?
Role живёт в namespace и даёт права на его ресурсы. ClusterRole кластерная: нужна для узлов, PV, nonResourceURLs и как шаблон. Через RoleBinding её права действуют только в namespace привязки, так роль описывают один раз и раздают командам, как встроенные view, edit, admin
Как проверить, что может сервисный аккаунт?
kubectl auth can-i --list -n <ns> --as=system:serviceaccount:<ns>:<имя> покажет все разрешённые действия, а kubectl auth can-i create pods -n <ns> --as=... — одно конкретное. Для --as нужно право impersonate. Откуда пришло право, видно по привязкам с этим субъектом и по аннотациям в аудит-логе
Почему право create pods опасно?
Под может смонтировать любой Secret своего namespace и работать от любого его ServiceAccount, значит, автор пода получает права всех этих аккаунтов. Без Pod Security можно запустить привилегированный под с hostPath: / и выйти на узел. То же касается Deployment, Job и любого контроллера подов. Поэтому create pods выдают вместе с Pod Security и не держат в одном namespace сервисы с разным уровнем доверия
Чем заменили PodSecurityPolicy и какие уровни у Pod Security Standards?
PodSecurityPolicy удалили в Kubernetes 1.25, её заменил встроенный Pod Security Admission. Уровни: privileged без ограничений, baseline запрещает известные пути на узел вроде privileged, hostNetwork, hostPath, restricted требует non-root, allowPrivilegeEscalation: false, сброс всех capabilities и seccomp. Уровень ставят меткой namespace в режиме enforce, warn или audit
Как запретить запуск неподписанных образов или образов не из своего registry?
Обе проверки делает admission. Registry проверяют по префиксу image у всех контейнеров: ValidatingAdmissionPolicy, Kyverno или Gatekeeper. Подпись проверяет контроллер, который ходит в registry: ImageValidatingPolicy в Kyverno или ClusterImagePolicy в policy-controller от Sigstore, с указанием, кто должен был подписать. Тег приводится к дайджесту, чтобы запустился ровно проверенный образ
Что пишется в аудит-лог и зачем?
Кто и откуда сделал запрос, глагол, ресурс, ответ и аннотации авторизации и admission. Подробность задаёт политика: None, Metadata, Request или RequestResponse, побеждает первое совпавшее правило. Секреты пишут на Metadata, иначе их значения окажутся в логе. Без --audit-policy-file аудита нет. Лог нужен, чтобы расследовать инциденты и показывать, кто менял права
📚 Что почитать
- Role Based Access Control Good Practices — полный список опасных прав от
escalateдоnodes/proxy - Pod Security Admission — метки, режимы, исключения и что проверяется у контроллеров
- Validating Admission Policy — CEL-выражения, параметры политик и привязки
- Auditing — уровни, стадии, пример политики и бэкенды