К содержимому
Войти

DevOps Road Map

🐙 GitOps и Argo CD

GitOps — способ доставки, при котором желаемое состояние кластера лежит в Git, а агент внутри кластера сам подтягивает его и держит кластер в этом состоянии. Пайплайн больше не делает kubectl apply в прод: он коммитит новый тег образа, остальное делает Argo CD или Flux. Интервьюеру важен механизм: почему pull лучше push, что будет после ручной правки через kubectl, как раскатать двадцать сервисов на три окружения

🧠 Как это устроено

Четыре принципа

Проект OpenGitOps при CNCF сформулировал четыре принципа:

  1. Декларативность — желаемое состояние системы описано декларативно: манифесты, а не скрипт из команд
  2. Версионирование и неизменяемость — состояние хранится так, что его нельзя тихо переписать, и вся история версий сохраняется. На практике это Git с защищёнными ветками
  3. Автоматическое вытягивание — агенты сами забирают описание состояния из источника. Никто снаружи не толкает его в кластер
  4. Непрерывная сверка — агенты постоянно смотрят на реальное состояние и приводят его к желаемому

Четвёртый принцип отличает GitOps от «храним YAML в Git и катим из CI»: сверка идёт всё время, а не только в момент деплоя

Pull против push

В push-модели CI-джоба держит kubeconfig прода и сама применяет манифесты. Значит, доступ на запись в прод есть у раннера, у каждого, кто может поправить .gitlab-ci.yml, и у любого скрипта из зависимостей сборки. Утёк токен из CI — утёк прод

В pull-модели агент живёт внутри кластера и только читает Git и реестр образов. У CI нет учётных данных кластера, только запись в репозиторий манифестов. Ещё плюсы:

  • кластер за NAT или в закрытом контуре не надо открывать для CI
  • откат — это git revert, и в истории видно, кто, что и когда выкатил
  • агент замечает расхождение даже без нового коммита, а CI видит кластер только в момент запуска джобы

Цена — второй репозиторий, ещё один компонент в кластере, и результат выкатки теперь видно в Argo CD, а не в логе пайплайна

Сверка и дрейф

Дрейф — расхождение между тем, что в Git, и тем, что в кластере. Причины скучные: kubectl scale во время инцидента, HPA поменял replicas. Argo CD сравнивает отрендеренные манифесты с живыми объектами. Если они совпадают, приложение Synced, если есть новый коммит или ручная правка, то OutOfSync

Отдельно считается здоровье: Healthy, Progressing (ещё выкатывается), Degraded (например, под в CrashLoopBackOff), Suspended, Missing. Комбинация Synced + Degraded обычна: манифест применился, а приложение не поднялось

Git Argo CD опрашивает по таймеру. По умолчанию timeout.reconciliation в ConfigMap argocd-cm равен 120 секундам, плюс до 60 секунд случайной задержки (timeout.reconciliation.jitter), то есть новый коммит подхватывается в пределах трёх минут. Чтобы не ждать, настраивают вебхук из GitLab в Argo CD. Изменения в самом кластере контроллер видит сразу через watch, без опроса

🛠️ На практике

Application

Application — главный объект Argo CD: откуда брать манифесты (source), куда их применять (destination) и как синхронизировать (syncPolicy):

apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
  name: orders-prod
  namespace: argocd
  finalizers:
    - resources-finalizer.argocd.argoproj.io  # удалишь Application — удалятся и ресурсы
spec:
  project: shop
  source:
    repoURL: https://gitlab.example.com/shop/deploy.git
    targetRevision: main
    path: apps/orders/overlays/prod
  destination:
    server: https://kubernetes.default.svc
    namespace: orders
  syncPolicy:
    automated:
      prune: true
      selfHeal: true
    syncOptions:
      - CreateNamespace=true
    retry:
      limit: 5
      backoff:
        duration: 5s
        factor: 2
        maxDuration: 3m

Без блока automated Argo CD только показывает OutOfSync и ждёт ручного Sync, с ним синхронизирует сам после нового коммита. Оба флага внутри по умолчанию выключены:

  • prune: true — удалять из кластера то, что убрали из Git. Без него удалённый из репозитория Service продолжит жить
  • selfHeal: true — откатывать ручные правки в кластере. Без него дрейф висит как OutOfSync до следующего коммита. Повторная попытка self-heal — через 5 секунд по умолчанию (--self-heal-timeout-seconds у application-controller)

Sync waves и hooks

Порядок применения задаёт аннотация argocd.argoproj.io/sync-wave. По умолчанию волна 0, бывают отрицательные. Следующая волна начинается, когда ресурсы предыдущей здоровы, так CRD и namespace раскатываются раньше приложения

Хуки — ресурсы, которые запускаются в определённой фазе синхронизации: PreSync, Sync, PostSync, SyncFail, PreDelete, PostDelete. Типичный пример — Job с проверкой или миграцией перед выкаткой:

apiVersion: batch/v1
kind: Job
metadata:
  name: orders-migrate
  annotations:
    argocd.argoproj.io/hook: PreSync
    argocd.argoproj.io/hook-delete-policy: BeforeHookCreation
spec:
  template:
    spec:
      restartPolicy: Never
      containers:
        - name: migrate
          image: registry.example.com/shop/orders:4f2a9c1
          command: ["./orders", "migrate"]

Упал PreSync — синхронизация остановится, новые поды не появятся. Миграции, совместимые со старой версией, разобраны на странице «Стратегии деплоя и откат»

AppProject

AppProject ограничивает приложения: из каких репозиториев брать манифесты (sourceRepos), в какие кластеры и неймспейсы катить (destinations), какие кластерные ресурсы разрешены (clusterResourceWhitelist). Проект default разрешает всё, поэтому командам заводят свои: shop катит только в неймспейсы shop-* и не создаст ClusterRoleBinding

App of Apps и ApplicationSet

App of Apps — одно родительское Application смотрит в каталог, где лежат YAML дочерних Application. Удобно для бутстрапа кластера: ingress, cert-manager, мониторинг. Но каждого ребёнка описывают вручную, а пуш в этот репозиторий равен правам админа Argo CD: дочернее Application может указать любой project

ApplicationSet генерирует Application по шаблону. Генераторы подставляют параметры:

ГенераторОткуда берёт параметры
listиз списка в самом ApplicationSet
clusterиз кластеров, зарегистрированных в Argo CD, с фильтром по меткам
gitиз каталогов (directories) или JSON/YAML-файлов (files) в репозитории
matrix, mergeкомбинируют другие генераторы

Есть и pullRequest для стенда под каждый MR. Ниже матрица: каждый каталог в apps/ на каждое окружение из списка

YAML · ApplicationSet: сервисы × окружения

apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: shop
  namespace: argocd
spec:
  goTemplate: true
  goTemplateOptions: ["missingkey=error"]
  generators:
    - matrix:
        generators:
          - git:
              repoURL: https://gitlab.example.com/shop/deploy.git
              revision: main
              directories:
                - path: apps/*
          - list:
              elements:
                - env: staging
                  server: https://staging-api.example.com
                - env: prod
                  server: https://prod-api.example.com
  template:
    metadata:
      name: '{{.path.basename}}-{{.env}}'
    spec:
      project: shop
      source:
        repoURL: https://gitlab.example.com/shop/deploy.git
        targetRevision: main
        path: '{{.path.path}}/overlays/{{.env}}'
      destination:
        server: '{{.server}}'
        namespace: '{{.path.basename}}'
      syncPolicy:
        automated:
          prune: true
          selfHeal: true

Новый каталог в apps/ через пару минут даёт orders-staging и orders-prod. Как устроены base и overlays внутри каталога — на странице «Helm и Kustomize»

Два репозитория и новый тег образа

Код приложения и манифесты держат в разных репозиториях. Иначе коммит CI с новым тегом запускает пайплайн приложения, тот снова коммитит тег, и получается цикл. И права разные: мерж в манифесты прода может требовать апрува

Новая версия выкатывается так:

  1. Разработчик мержит MR, CI собирает образ с тегом по SHA коммита и пушит его в реестр
  2. Последняя джоба коммитит новый тег в репозиторий манифестов
  3. Argo CD видит коммит, автосинк применяет его, Kubernetes делает rolling update
bump-prod:
  stage: deploy
  image: $CI_REGISTRY/tools/git-kustomize:1.2.0  # любой образ с git и kustomize, с конкретным тегом
  rules:
    - if: $CI_COMMIT_BRANCH == "main"
  script:
    - git clone "https://ci:${DEPLOY_REPO_TOKEN}@gitlab.example.com/shop/deploy.git"
    - cd deploy/apps/orders/overlays/prod
    - kustomize edit set image orders=registry.example.com/shop/orders:${CI_COMMIT_SHORT_SHA}
    - git -c user.name=ci -c user.email=ci@example.com commit -am "orders ${CI_COMMIT_SHORT_SHA}"
    - git push

DEPLOY_REPO_TOKEN — токен с правом записи только в репозиторий манифестов. Это всё, что CI знает о проде

Второй вариант — Argo CD Image Updater. Он следит за реестром и по правилу (semver, newest-build, digest) обновляет тег: параметром в Argo CD или коммитом в Git. Коммит надёжнее, иначе версия живёт вне репозитория. Работает с приложениями на Helm и Kustomize, в версиях 1.x настраивается ресурсом ImageUpdater, а не аннотациями

Flux коротко

Argo CDFlux
Главные объектыApplication, ApplicationSet, AppProjectGitRepository/OCIRepository + Kustomization или HelmRelease
Интерфейсвеб-UI с деревом ресурсов и диффомCLI и kubectl, UI отдельными проектами
Helmрендерит чарт в манифесты (helm template), Helm-релиза в кластере нетHelmRelease ставит настоящий Helm-релиз, работает helm list
Интервал сверкиобщий для всех, timeout.reconciliationу каждого объекта свой, поле interval обязательное
Обновление образовImage Updater, отдельный проектконтроллеры ImageRepository, ImagePolicy, ImageUpdateAutomation
МультитенантностьAppProject и RBAC Argo CDRBAC Kubernetes, сервис-аккаунт на каждый Kustomization

Argo CD чаще выбирают за UI, Flux — за минимализм: только CRD и RBAC Kubernetes

Секреты

Открытый Secret в Git не кладут даже в приватный репозиторий. Варианты: Sealed Secrets (в Git лежит зашифрованный SealedSecret, расшифровывает контроллер в кластере), SOPS (шифрует значения в YAML, Flux расшифровывает сам, для Argo CD нужен плагин) и External Secrets (в Git лежит только ссылка на секрет в Vault или облачном хранилище). Подробно с примерами — на странице «Конфигурация и секреты»

⚠️ Где ошибаются

  • Включают selfHeal, а replicas оставляют в манифесте при HPA. HPA меняет число реплик, Argo CD возвращает значение из Git, и они перетягивают Deployment друг у друга. Убери replicas из манифеста или добавь его в ignoreDifferences
  • Чинят прод через kubectl при включённом selfHeal. Правка живёт секунды. В инцидент коммить в Git или временно сними automated
  • Откатываются кнопкой Rollback в UI. При включённом автосинке Argo CD не даст это сделать, а без него следующий коммит перетрёт откат. Откат при GitOps — git revert в репозитории манифестов
  • Включают prune без финализатора и без понимания, что удалится. Переименовал каталог, и Argo CD удалил старые ресурсы вместе с PVC из манифестов. На хранилища ставят аннотацию argocd.argoproj.io/sync-options: Prune=false
  • Все приложения кладут в проект default. Тогда любая команда может выкатить ClusterRole или задеплоить в чужой неймспейс

🎯 Вопросы с собеседований

Что такое GitOps и используешь ли ты его?

GitOps — подход, при котором желаемое состояние инфраструктуры и приложений декларативно описано в Git, а агент в кластере сам его вытягивает и непрерывно сверяет с реальным. Принципы OpenGitOps: декларативность, версионирование с неизменяемой историей, автоматическое вытягивание, непрерывная сверка. Про опыт отвечай конкретикой: Argo CD, отдельный репозиторий манифестов, CI коммитит тег, автосинк на стейдже и ручной Sync на проде

Чем pull-модель лучше push из CI?

В push-модели у CI есть kubeconfig прода, и компрометация раннера или переменных пайплайна даёт запись в кластер. В pull-модели агент внутри кластера сам читает Git, у CI нет учётных данных кластера, только право записи в репозиторий манифестов. Кластер не открывают наружу, а расхождения ловятся постоянно, не только при деплое

Что делают selfHeal и prune?

Оба флага живут в syncPolicy.automated и выключены по умолчанию. prune удаляет из кластера ресурсы, которые убрали из Git, без него они остаются сиротами. selfHeal синхронизирует приложение, когда живое состояние разошлось с Git без нового коммита, то есть откатывает ручные правки. Без selfHeal автосинк срабатывает только на новые коммиты

Кто-то поправил Deployment руками через kubectl. Что будет?

Контроллер Argo CD видит изменение через watch, и приложение становится OutOfSync. Дальше зависит от настроек: с selfHeal: true Argo CD через несколько секунд вернёт состояние из Git, без него расхождение будет висеть в UI, пока кто-то не нажмёт Sync или не придёт новый коммит. Нюанс: если поля нет в манифесте (например, replicas не задан), его изменение дрейфом не считается

Как устроить App of Apps или ApplicationSet для многих сервисов и окружений?

App of Apps — родительское Application, которое указывает на каталог с YAML дочерних Application, удобно для бутстрапа платформенных компонентов. Для однотипных сервисов лучше ApplicationSet: генератор git по каталогам apps/* в матрице с генератором list по окружениям или cluster по меткам кластеров даёт Application на каждую пару сервис-окружение. Новый сервис добавляется каталогом, новый кластер — меткой

Как при GitOps выкатывается новая версия образа?

CI собирает образ с неизменяемым тегом, обычно SHA коммита, и пушит в реестр. Затем джоба коммитит новый тег в репозиторий манифестов, например kustomize edit set image или правкой values.yaml. Argo CD замечает коммит по опросу или вебхуку и применяет его. Альтернатива — Argo CD Image Updater, он сам следит за реестром. Тег latest не годится: в Git ничего не меняется, и Argo CD не узнает о новой версии

Argo CD или Flux?

Оба реализуют принципы GitOps и входят в CNCF. У Argo CD веб-UI с деревом ресурсов, свои проекты и RBAC, ApplicationSet, Helm он рендерит в манифесты. Flux — контроллеры на CRD без своего UI, HelmRelease ставит настоящий Helm-релиз, обновление образов встроено. Argo CD берут ради наглядности для разработчиков, Flux — ради минимализма

📚 Что почитать

  • OpenGitOps — четыре принципа в каноничной формулировке, коротко
  • Automated Sync Policy — prune, selfHeal, allowEmpty и когда автосинк не повторяет попытку
  • ApplicationSet Generators — все генераторы с примерами, начни с Git и Matrix
  • Flux Kustomization — как Flux сверяет состояние и что делает prune, для сравнения с Argo CD