К содержимому
Войти

DevOps Road Map

🔒 Безопасность Kubernetes

Каждый запрос к кластеру, от kubectl apply до обращения оператора из пода, проходит в apiserver три проверки: кто пришёл, что ему можно и пропустить ли сам объект. DevOps-инженер выдаёт сервисам ServiceAccount с минимальными правами, запрещает поды под root и образы из чужого registry, включает аудит, чтобы после инцидента было видно, кто удалил namespace. Вопросы интервьюера обычно крутятся вокруг least privilege: как устроен RBAC, чем опасно право создавать поды и как не пустить в кластер неподписанный образ

🧠 Как запрос проходит apiserver

Путь запроса до записи в etcd разобран на странице «Архитектура кластера». Для безопасности на нём три заслона

ЭтапВопросКто решаетОтказ
АутентификацияКто этоСертификат, токен ServiceAccount, OIDC401
АвторизацияМожно ли этому субъекту этот глагол на этот ресурсRBAC, иногда вебхук403
Mutating admissionЧто дописать в объектВстроенные плагины, MutatingAdmissionPolicy, вебхукиОшибка от плагина
Validating admissionПропустить ли объектPod Security Admission, ValidatingAdmissionPolicy, Kyverno, GatekeeperОшибка от плагина

RBAC смотрит только на глагол и ресурс, но не на содержимое объекта. Право create pods не различает под с privileged: true и обычный. RBAC решает, кто может создать под, а admission — какой под можно создать

👤 ServiceAccount: учётная запись программы

Людей Kubernetes не хранит, пользователь для него лишь имя из сертификата или OIDC-токена. У программ есть объект ServiceAccount. В каждом namespace есть default, и под без serviceAccountName получает его. Для RBAC сервисный аккаунт — пользователь system:serviceaccount:<namespace>:<имя> в группах system:serviceaccounts и system:serviceaccounts:<namespace>

Токен попадает в под проецируемым томом. kubelet получает его через TokenRequest API, по умолчанию на час, и обновляет, когда токен прожил 80% срока или больше 24 часов. Удалили под — токен перестал действовать. До Kubernetes 1.24 на каждый ServiceAccount автоматически создавался Secret с бессрочным токеном, с 1.24 этого нет. С 1.29 такие старые токены, которыми не пользовались год, помечаются недействительными

Большинству приложений API Kubernetes не нужен, а токен всё равно лежит в /var/run/secrets/kubernetes.io/serviceaccount/ и достаётся тому, кто взломал приложение. automountServiceAccountToken: false отключает монтирование. Ставится на ServiceAccount и на под, при расхождении побеждает под

🔑 RBAC: роли и привязки

Правило RBAC — глаголы (get, list, create, delete и другие) на ресурсы в API-группах. Разрешения только складываются, запрещающих правил нет

ОбъектГде действуетЗачем
RoleОдин namespaceПрава на ресурсы этого namespace
ClusterRoleВесь кластерКластерные ресурсы (узлы, PV), nonResourceURLs вроде /metrics, шаблон прав для многих namespace
RoleBindingОдин namespaceВыдаёт Role или ClusterRole субъекту в этом namespace
ClusterRoleBindingВесь кластерВыдаёт ClusterRole во всех namespace сразу

ClusterRole через RoleBinding — способ описать права один раз. Роль deployer заводят одной ClusterRole, а в каждом namespace команды создают RoleBinding на неё. Права действуют только в namespace привязки. Так выдают встроенные view, edit и admin: человек становится админом своего namespace, а не кластера

Least privilege в RBAC: у каждого приложения свой ServiceAccount, конкретные ресурсы и глаголы без *, где можно — resourceNames. Людям — view, изменения через CI. Группу system:masters не выдают никому: её члены обходят RBAC, и удаление привязок этого не отменяет

Опасные права

ПравоПочему опасно
* в глаголах или ресурсахЗахватывает и ресурсы, которые появятся позже, например новые CRD
get, list, watch на secretslist отдаёт значения всех Secret, а не только имена
create на pods или на любой контроллер подовПод монтирует любой Secret namespace и запускается от любого его ServiceAccount. Без Pod Security ещё и привилегированный под с выходом на узел
escalate на rolesСнимает запрет создавать роль с правами, которых нет у тебя
bind на rolesРазрешает привязать роль, которой у тебя нет, в том числе себе
impersonate на users, groups, serviceaccountsДействовать от имени другого субъекта
get на nodes/proxyПрямой доступ к API kubelet: логи и exec в любой под узла в обход аудита и admission
create на serviceaccounts/tokenВыпустить токен существующего ServiceAccount
Изменение validatingwebhookconfigurations и mutatingwebhookconfigurationsСвой вебхук видит и меняет каждый объект на входе

Как проверить, что может субъект

kubectl auth can-i спрашивает apiserver от имени текущего пользователя, а с --as — от чужого. Для --as нужно право impersonate, у админа оно есть

# Может ли CI-аккаунт создавать деплойменты в shop
kubectl auth can-i create deployments -n shop --as=system:serviceaccount:ci:deployer

# Всё, что разрешено ServiceAccount в namespace
kubectl auth can-i --list -n shop --as=system:serviceaccount:shop:orders

--list показывает итог, но не откуда пришло право. Привязку ищут в kubectl get rolebindings,clusterrolebindings -A -o wide

🛡️ Pod Security Admission

PodSecurityPolicy объявили устаревшей в 1.21 и удалили в 1.25. Её заменил встроенный контроллер Pod Security Admission, стабильный с 1.25. Он проверяет поды по трём уровням Pod Security Standards

УровеньЧто запрещаетДля кого
privilegedНичегоСистемные компоненты: CNI, CSI, агенты логов
baselineprivileged: true, hostNetwork, hostPID, hostIPC, hostPath, hostPort, добавление capabilities сверх безопасного набораОбычные приложения
restrictedВсё из baseline плюс требует runAsNonRoot: true, allowPrivilegeEscalation: false, capabilities.drop: ["ALL"], seccomp RuntimeDefault или Localhost, только безопасные типы томовПриложения, готовые к жёстким настройкам

Уровень назначают меткой на namespace, и у каждой метки свой режим:

  • enforce — под с нарушением отклоняется
  • warn — под создаётся, клиент видит предупреждение
  • audit — под создаётся, нарушение пишется в аудит-лог

enforce проверяет только сами поды, warn и audit — ещё и Deployment, Job и другие контроллеры. Деплоймент с нарушением под enforce применяется успешно, а поды не появляются: отказ виден в событиях ReplicaSet. Поэтому сначала включают warn и audit, исправляют чарты, потом enforce. Метка pod-security.kubernetes.io/enforce-version фиксирует версию правил, чтобы обновление кластера не ужесточило их внезапно. Что значат runAsNonRoot и capabilities, разобрано на странице «Безопасность контейнеров»

📜 Admission-политики

Pod Security закрывает только настройки пода. «Образы только из нашего registry» или «у Deployment обязана быть метка team» — это уже свои политики

ValidatingAdmissionPolicy стабильна с Kubernetes 1.30. Правило на CEL выполняется внутри apiserver, без вебхука, который может упасть. Политика описывает проверку, ValidatingAdmissionPolicyBinding — где применять и что делать при нарушении: Deny, Warn или Audit. MutatingAdmissionPolicy делает то же для изменения объектов: появилась альфой, в 1.34 стала бетой, выключенной по умолчанию, в 1.36 — стабильной и включённой

Kyverno проверяет, изменяет и генерирует объекты и проверяет подписи образов, актуальная версия — 1.20.0. С 1.17 основные типы политик — CEL-ные ValidatingPolicy, MutatingPolicy, GeneratingPolicy и ImageValidatingPolicy в policies.kyverno.io/v1. Старые ClusterPolicy объявлены устаревшими в 1.19, и перед обновлением до свежих версий их переписывают на новые типы по руководству по миграции

OPA Gatekeeper описывает правило на Rego в ConstraintTemplate, а Constraint применяет его к ресурсам с параметрами. Актуальная версия — 3.23.1. Начиная с 3.20 Gatekeeper генерирует нативные ValidatingAdmissionPolicy из шаблонов на CEL, и проверка уходит в apiserver

Что нужноЧто взять
Пара проверок полей без новых компонентов в кластереValidatingAdmissionPolicy
Простая подстановка значений: метки, imagePullPolicy, сайдкарMutatingAdmissionPolicy на 1.36 и новее
Проверка подписей, генерация объектов (NetworkPolicy по умолчанию в новом namespace), отчёты о нарушенияхKyverno
В компании уже пишут Rego: Conftest для Terraform, OPA в сервисахOPA Gatekeeper

Kyverno и Gatekeeper работают вебхуками, и упавший вебхук с failurePolicy: Fail блокирует создание объектов, об этом страница «Архитектура кластера»

✍️ Подпись образа при допуске

Как подписать образ cosign, рассказано на странице «Безопасность контейнеров». Подпись имеет смысл, только если кластер не запускает образ без неё: admission-контроллер перед созданием пода берёт подпись из registry и сверяет, кто подписал

  • Kyverno — ImageValidatingPolicy: какие образы проверять (matchImageReferences), кто должен подписать (attestors, ключ или keyless-личность CI) и CEL-выражение, которое требует валидную подпись у каждого образа
  • policy-controller из Sigstore — ClusterImagePolicy с теми же идеями. По умолчанию проверяет только namespace с меткой policy.sigstore.dev/include: "true"

Оба приводят тег к дайджесту, чтобы в под попал ровно проверенный образ. Запрет чужого registry проще: хватит ValidatingAdmissionPolicy, которая проверяет префикс image у всех контейнеров, включая initContainers

🧾 Аудит-логи apiserver

Без --audit-policy-file apiserver не пишет ни одного события аудита. В управляемых кластерах аудит включает провайдер и отдаёт в свой сервис логов. Событие содержит, кто и откуда сделал запрос, глагол, ресурс, код ответа и аннотации: какая привязка RBAC разрешила запрос, что сказал Pod Security

УровеньЧто пишется
NoneНичего
MetadataПользователь, время, ресурс, глагол, код ответа, без тел
RequestПлюс тело запроса
RequestResponseПлюс тело ответа

Правила проверяются по порядку, уровень задаёт первое совпавшее, поэтому частные правила ставят выше общих. Secret пишут на Metadata: на Request в лог попадёт тело create secret, на RequestResponse — значения из каждого get, и аудит-лог станет вторым хранилищем паролей. Шум вроде watch системных компонентов отправляют в None. Писать можно в файл (--audit-log-path и ротация --audit-log-maxage, --audit-log-maxbackup, --audit-log-maxsize) или вебхуком во внешнюю систему

После инцидента аудит отвечает, кто удалил namespace и кто выдал себе cluster-admin. Запросы через nodes/proxy идут мимо него

🌐 Сеть и проверка кластера целиком

Какие поды с кем говорят, ограничивает NetworkPolicy, подробно на странице «Сети в Kubernetes». Настройки узлов и control plane сверяют с CIS Kubernetes Benchmark утилитой kube-bench от Aqua Security: она читает флаги компонентов и права на файлы и печатает PASS, FAIL и WARN по пунктам. В управляемом кластере проверяются только узлы

🛠️ На практике

Права для приложения, которое читает свои ConfigMap, и для CI, которому нужна роль edit только в своём namespace

apiVersion: v1
kind: ServiceAccount
metadata:
  name: orders
  namespace: shop
automountServiceAccountToken: false   # под, которому нужен токен, включит у себя
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: orders-config-reader
  namespace: shop
rules:
  - apiGroups: [""]
    resources: ["configmaps"]
    resourceNames: ["orders-config"]
    verbs: ["get", "watch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: ci-edit
  namespace: shop
subjects:
  - kind: ServiceAccount
    name: deployer
    namespace: ci
roleRef:
  kind: ClusterRole          # встроенная роль, но права только в shop
  name: edit
  apiGroup: rbac.authorization.k8s.io

Привязка orders-config-reader к ServiceAccount orders пишется так же, как ci-edit, только с kind: Role в roleRef

YAML · Namespace с Pod Security

apiVersion: v1
kind: Namespace
metadata:
  name: shop
  labels:
    pod-security.kubernetes.io/enforce: baseline
    pod-security.kubernetes.io/enforce-version: v1.37
    pod-security.kubernetes.io/warn: restricted
    pod-security.kubernetes.io/audit: restricted

YAML · ValidatingAdmissionPolicy: образы только из своего registry

apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicy
metadata:
  name: own-registry-only
spec:
  failurePolicy: Fail
  matchConstraints:
    resourceRules:
      - apiGroups: [""]
        apiVersions: ["v1"]
        operations: ["CREATE", "UPDATE"]
        resources: ["pods"]
  validations:
    - expression: >-
        object.spec.containers.all(c, c.image.startsWith('registry.example.com/')) &&
        (!has(object.spec.initContainers) ||
         object.spec.initContainers.all(c, c.image.startsWith('registry.example.com/')))
      message: "образы только из registry.example.com"
---
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicyBinding
metadata:
  name: own-registry-only
spec:
  policyName: own-registry-only
  validationActions: [Deny]
  matchResources:
    namespaceSelector:
      matchLabels:
        policy/registry: enforced    # включаем по namespace, kube-system не трогаем

YAML · Kyverno: только подписанные в CI образы

apiVersion: policies.kyverno.io/v1
kind: ImageValidatingPolicy
metadata:
  name: signed-images
spec:
  matchConstraints:
    resourceRules:
      - apiGroups: [""]
        apiVersions: ["v1"]
        operations: ["CREATE"]
        resources: ["pods"]
  matchImageReferences:
    - glob: "registry.example.com/*"
  attestors:
    - name: ci
      cosign:
        keyless:
          identities:
            - issuer: "https://gitlab.com"
              subject: "https://gitlab.com/shop/orders//.gitlab-ci.yml@refs/heads/main"
  validations:
    - expression: >-
        images.containers.map(image, verifyImageSignatures(image, [attestors.ci])).all(e, e > 0)
      message: "образ не подписан CI"

YAML · Политика аудита

apiVersion: audit.k8s.io/v1
kind: Policy
omitStages: ["RequestReceived"]       # не дублировать событие на входе
rules:
  - level: None                       # шум от kube-proxy
    users: ["system:kube-proxy"]
    verbs: ["watch"]
  - level: Metadata                   # значения секретов в лог не попадут
    resources:
      - group: ""
        resources: ["secrets", "configmaps"]
  - level: RequestResponse            # кто и что поменял в правах
    resources:
      - group: "rbac.authorization.k8s.io"
  - level: Metadata                   # всё остальное

⚠️ Где ошибаются

Выдают CI cluster-admin, «чтобы точно хватило». Токен из переменной CI становится ключом от всего кластера. CI получает edit через RoleBinding в тех namespace, куда деплоит, а CRD ставит отдельный пайплайн платформенной команды

Оставляют приложениям default ServiceAccount с токеном. Права, выданные default «для одного сервиса», достаются каждому поду namespace. Нужен свой ServiceAccount на приложение

Включают enforce: restricted на живом namespace. kubectl apply зелёный, а новые поды не создаются, и выкатка висит. Сначала warn и audit, потом enforce

Пишут аудит на RequestResponse для всего. В логе оказываются значения Secret, а объём забивает диск control plane

🎯 Вопросы с собеседований

Что такое least privilege и как его сделать в Kubernetes через RBAC?

Каждый субъект получает только те права, без которых не сможет работать. В Kubernetes это свой ServiceAccount на каждое приложение, Role с конкретными ресурсами и глаголами без * и RoleBinding в его namespace вместо ClusterRoleBinding. Токен не монтируют тем, кому API не нужен. Людям дают view, изменения идут через CI

Чем Role отличается от ClusterRole и зачем ClusterRole привязывать через RoleBinding?

Role живёт в namespace и даёт права на его ресурсы. ClusterRole кластерная: нужна для узлов, PV, nonResourceURLs и как шаблон. Через RoleBinding её права действуют только в namespace привязки, так роль описывают один раз и раздают командам, как встроенные view, edit, admin

Как проверить, что может сервисный аккаунт?

kubectl auth can-i --list -n <ns> --as=system:serviceaccount:<ns>:<имя> покажет все разрешённые действия, а kubectl auth can-i create pods -n <ns> --as=... — одно конкретное. Для --as нужно право impersonate. Откуда пришло право, видно по привязкам с этим субъектом и по аннотациям в аудит-логе

Почему право create pods опасно?

Под может смонтировать любой Secret своего namespace и работать от любого его ServiceAccount, значит, автор пода получает права всех этих аккаунтов. Без Pod Security можно запустить привилегированный под с hostPath: / и выйти на узел. То же касается Deployment, Job и любого контроллера подов. Поэтому create pods выдают вместе с Pod Security и не держат в одном namespace сервисы с разным уровнем доверия

Чем заменили PodSecurityPolicy и какие уровни у Pod Security Standards?

PodSecurityPolicy удалили в Kubernetes 1.25, её заменил встроенный Pod Security Admission. Уровни: privileged без ограничений, baseline запрещает известные пути на узел вроде privileged, hostNetwork, hostPath, restricted требует non-root, allowPrivilegeEscalation: false, сброс всех capabilities и seccomp. Уровень ставят меткой namespace в режиме enforce, warn или audit

Как запретить запуск неподписанных образов или образов не из своего registry?

Обе проверки делает admission. Registry проверяют по префиксу image у всех контейнеров: ValidatingAdmissionPolicy, Kyverno или Gatekeeper. Подпись проверяет контроллер, который ходит в registry: ImageValidatingPolicy в Kyverno или ClusterImagePolicy в policy-controller от Sigstore, с указанием, кто должен был подписать. Тег приводится к дайджесту, чтобы запустился ровно проверенный образ

Что пишется в аудит-лог и зачем?

Кто и откуда сделал запрос, глагол, ресурс, ответ и аннотации авторизации и admission. Подробность задаёт политика: None, Metadata, Request или RequestResponse, побеждает первое совпавшее правило. Секреты пишут на Metadata, иначе их значения окажутся в логе. Без --audit-policy-file аудита нет. Лог нужен, чтобы расследовать инциденты и показывать, кто менял права

📚 Что почитать