🐙 GitOps и Argo CD
GitOps — способ доставки, при котором желаемое состояние кластера лежит в Git, а агент внутри кластера сам подтягивает его и держит кластер в этом состоянии. Пайплайн больше не делает kubectl apply в прод: он коммитит новый тег образа, остальное делает Argo CD или Flux. Интервьюеру важен механизм: почему pull лучше push, что будет после ручной правки через kubectl, как раскатать двадцать сервисов на три окружения
🧠 Как это устроено
Четыре принципа
Проект OpenGitOps при CNCF сформулировал четыре принципа:
- Декларативность — желаемое состояние системы описано декларативно: манифесты, а не скрипт из команд
- Версионирование и неизменяемость — состояние хранится так, что его нельзя тихо переписать, и вся история версий сохраняется. На практике это Git с защищёнными ветками
- Автоматическое вытягивание — агенты сами забирают описание состояния из источника. Никто снаружи не толкает его в кластер
- Непрерывная сверка — агенты постоянно смотрят на реальное состояние и приводят его к желаемому
Четвёртый принцип отличает GitOps от «храним YAML в Git и катим из CI»: сверка идёт всё время, а не только в момент деплоя
Pull против push
В push-модели CI-джоба держит kubeconfig прода и сама применяет манифесты. Значит, доступ на запись в прод есть у раннера, у каждого, кто может поправить .gitlab-ci.yml, и у любого скрипта из зависимостей сборки. Утёк токен из CI — утёк прод
В pull-модели агент живёт внутри кластера и только читает Git и реестр образов. У CI нет учётных данных кластера, только запись в репозиторий манифестов. Ещё плюсы:
- кластер за NAT или в закрытом контуре не надо открывать для CI
- откат — это
git revert, и в истории видно, кто, что и когда выкатил - агент замечает расхождение даже без нового коммита, а CI видит кластер только в момент запуска джобы
Цена — второй репозиторий, ещё один компонент в кластере, и результат выкатки теперь видно в Argo CD, а не в логе пайплайна
Сверка и дрейф
Дрейф — расхождение между тем, что в Git, и тем, что в кластере. Причины скучные: kubectl scale во время инцидента, HPA поменял replicas. Argo CD сравнивает отрендеренные манифесты с живыми объектами. Если они совпадают, приложение Synced, если есть новый коммит или ручная правка, то OutOfSync
Отдельно считается здоровье: Healthy, Progressing (ещё выкатывается), Degraded (например, под в CrashLoopBackOff), Suspended, Missing. Комбинация Synced + Degraded обычна: манифест применился, а приложение не поднялось
Git Argo CD опрашивает по таймеру. По умолчанию timeout.reconciliation в ConfigMap argocd-cm равен 120 секундам, плюс до 60 секунд случайной задержки (timeout.reconciliation.jitter), то есть новый коммит подхватывается в пределах трёх минут. Чтобы не ждать, настраивают вебхук из GitLab в Argo CD. Изменения в самом кластере контроллер видит сразу через watch, без опроса
🛠️ На практике
Application
Application — главный объект Argo CD: откуда брать манифесты (source), куда их применять (destination) и как синхронизировать (syncPolicy):
apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
name: orders-prod
namespace: argocd
finalizers:
- resources-finalizer.argocd.argoproj.io # удалишь Application — удалятся и ресурсы
spec:
project: shop
source:
repoURL: https://gitlab.example.com/shop/deploy.git
targetRevision: main
path: apps/orders/overlays/prod
destination:
server: https://kubernetes.default.svc
namespace: orders
syncPolicy:
automated:
prune: true
selfHeal: true
syncOptions:
- CreateNamespace=true
retry:
limit: 5
backoff:
duration: 5s
factor: 2
maxDuration: 3mБез блока automated Argo CD только показывает OutOfSync и ждёт ручного Sync, с ним синхронизирует сам после нового коммита. Оба флага внутри по умолчанию выключены:
prune: true— удалять из кластера то, что убрали из Git. Без него удалённый из репозитория Service продолжит житьselfHeal: true— откатывать ручные правки в кластере. Без него дрейф висит какOutOfSyncдо следующего коммита. Повторная попытка self-heal — через 5 секунд по умолчанию (--self-heal-timeout-secondsу application-controller)
Sync waves и hooks
Порядок применения задаёт аннотация argocd.argoproj.io/sync-wave. По умолчанию волна 0, бывают отрицательные. Следующая волна начинается, когда ресурсы предыдущей здоровы, так CRD и namespace раскатываются раньше приложения
Хуки — ресурсы, которые запускаются в определённой фазе синхронизации: PreSync, Sync, PostSync, SyncFail, PreDelete, PostDelete. Типичный пример — Job с проверкой или миграцией перед выкаткой:
apiVersion: batch/v1
kind: Job
metadata:
name: orders-migrate
annotations:
argocd.argoproj.io/hook: PreSync
argocd.argoproj.io/hook-delete-policy: BeforeHookCreation
spec:
template:
spec:
restartPolicy: Never
containers:
- name: migrate
image: registry.example.com/shop/orders:4f2a9c1
command: ["./orders", "migrate"]Упал PreSync — синхронизация остановится, новые поды не появятся. Миграции, совместимые со старой версией, разобраны на странице «Стратегии деплоя и откат»
AppProject
AppProject ограничивает приложения: из каких репозиториев брать манифесты (sourceRepos), в какие кластеры и неймспейсы катить (destinations), какие кластерные ресурсы разрешены (clusterResourceWhitelist). Проект default разрешает всё, поэтому командам заводят свои: shop катит только в неймспейсы shop-* и не создаст ClusterRoleBinding
App of Apps и ApplicationSet
App of Apps — одно родительское Application смотрит в каталог, где лежат YAML дочерних Application. Удобно для бутстрапа кластера: ingress, cert-manager, мониторинг. Но каждого ребёнка описывают вручную, а пуш в этот репозиторий равен правам админа Argo CD: дочернее Application может указать любой project
ApplicationSet генерирует Application по шаблону. Генераторы подставляют параметры:
| Генератор | Откуда берёт параметры |
|---|---|
list | из списка в самом ApplicationSet |
cluster | из кластеров, зарегистрированных в Argo CD, с фильтром по меткам |
git | из каталогов (directories) или JSON/YAML-файлов (files) в репозитории |
matrix, merge | комбинируют другие генераторы |
Есть и pullRequest для стенда под каждый MR. Ниже матрица: каждый каталог в apps/ на каждое окружение из списка
YAML · ApplicationSet: сервисы × окружения
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
name: shop
namespace: argocd
spec:
goTemplate: true
goTemplateOptions: ["missingkey=error"]
generators:
- matrix:
generators:
- git:
repoURL: https://gitlab.example.com/shop/deploy.git
revision: main
directories:
- path: apps/*
- list:
elements:
- env: staging
server: https://staging-api.example.com
- env: prod
server: https://prod-api.example.com
template:
metadata:
name: '{{.path.basename}}-{{.env}}'
spec:
project: shop
source:
repoURL: https://gitlab.example.com/shop/deploy.git
targetRevision: main
path: '{{.path.path}}/overlays/{{.env}}'
destination:
server: '{{.server}}'
namespace: '{{.path.basename}}'
syncPolicy:
automated:
prune: true
selfHeal: trueНовый каталог в apps/ через пару минут даёт orders-staging и orders-prod. Как устроены base и overlays внутри каталога — на странице «Helm и Kustomize»
Два репозитория и новый тег образа
Код приложения и манифесты держат в разных репозиториях. Иначе коммит CI с новым тегом запускает пайплайн приложения, тот снова коммитит тег, и получается цикл. И права разные: мерж в манифесты прода может требовать апрува
Новая версия выкатывается так:
- Разработчик мержит MR, CI собирает образ с тегом по SHA коммита и пушит его в реестр
- Последняя джоба коммитит новый тег в репозиторий манифестов
- Argo CD видит коммит, автосинк применяет его, Kubernetes делает rolling update
bump-prod:
stage: deploy
image: $CI_REGISTRY/tools/git-kustomize:1.2.0 # любой образ с git и kustomize, с конкретным тегом
rules:
- if: $CI_COMMIT_BRANCH == "main"
script:
- git clone "https://ci:${DEPLOY_REPO_TOKEN}@gitlab.example.com/shop/deploy.git"
- cd deploy/apps/orders/overlays/prod
- kustomize edit set image orders=registry.example.com/shop/orders:${CI_COMMIT_SHORT_SHA}
- git -c user.name=ci -c user.email=ci@example.com commit -am "orders ${CI_COMMIT_SHORT_SHA}"
- git pushDEPLOY_REPO_TOKEN — токен с правом записи только в репозиторий манифестов. Это всё, что CI знает о проде
Второй вариант — Argo CD Image Updater. Он следит за реестром и по правилу (semver, newest-build, digest) обновляет тег: параметром в Argo CD или коммитом в Git. Коммит надёжнее, иначе версия живёт вне репозитория. Работает с приложениями на Helm и Kustomize, в версиях 1.x настраивается ресурсом ImageUpdater, а не аннотациями
Flux коротко
| Argo CD | Flux | |
|---|---|---|
| Главные объекты | Application, ApplicationSet, AppProject | GitRepository/OCIRepository + Kustomization или HelmRelease |
| Интерфейс | веб-UI с деревом ресурсов и диффом | CLI и kubectl, UI отдельными проектами |
| Helm | рендерит чарт в манифесты (helm template), Helm-релиза в кластере нет | HelmRelease ставит настоящий Helm-релиз, работает helm list |
| Интервал сверки | общий для всех, timeout.reconciliation | у каждого объекта свой, поле interval обязательное |
| Обновление образов | Image Updater, отдельный проект | контроллеры ImageRepository, ImagePolicy, ImageUpdateAutomation |
| Мультитенантность | AppProject и RBAC Argo CD | RBAC Kubernetes, сервис-аккаунт на каждый Kustomization |
Argo CD чаще выбирают за UI, Flux — за минимализм: только CRD и RBAC Kubernetes
Секреты
Открытый Secret в Git не кладут даже в приватный репозиторий. Варианты: Sealed Secrets (в Git лежит зашифрованный SealedSecret, расшифровывает контроллер в кластере), SOPS (шифрует значения в YAML, Flux расшифровывает сам, для Argo CD нужен плагин) и External Secrets (в Git лежит только ссылка на секрет в Vault или облачном хранилище). Подробно с примерами — на странице «Конфигурация и секреты»
⚠️ Где ошибаются
- Включают
selfHeal, аreplicasоставляют в манифесте при HPA. HPA меняет число реплик, Argo CD возвращает значение из Git, и они перетягивают Deployment друг у друга. Убериreplicasиз манифеста или добавь его вignoreDifferences - Чинят прод через
kubectlпри включённомselfHeal. Правка живёт секунды. В инцидент коммить в Git или временно снимиautomated - Откатываются кнопкой Rollback в UI. При включённом автосинке Argo CD не даст это сделать, а без него следующий коммит перетрёт откат. Откат при GitOps —
git revertв репозитории манифестов - Включают
pruneбез финализатора и без понимания, что удалится. Переименовал каталог, и Argo CD удалил старые ресурсы вместе с PVC из манифестов. На хранилища ставят аннотациюargocd.argoproj.io/sync-options: Prune=false - Все приложения кладут в проект
default. Тогда любая команда может выкатить ClusterRole или задеплоить в чужой неймспейс
🎯 Вопросы с собеседований
Что такое GitOps и используешь ли ты его?
GitOps — подход, при котором желаемое состояние инфраструктуры и приложений декларативно описано в Git, а агент в кластере сам его вытягивает и непрерывно сверяет с реальным. Принципы OpenGitOps: декларативность, версионирование с неизменяемой историей, автоматическое вытягивание, непрерывная сверка. Про опыт отвечай конкретикой: Argo CD, отдельный репозиторий манифестов, CI коммитит тег, автосинк на стейдже и ручной Sync на проде
Чем pull-модель лучше push из CI?
В push-модели у CI есть kubeconfig прода, и компрометация раннера или переменных пайплайна даёт запись в кластер. В pull-модели агент внутри кластера сам читает Git, у CI нет учётных данных кластера, только право записи в репозиторий манифестов. Кластер не открывают наружу, а расхождения ловятся постоянно, не только при деплое
Что делают selfHeal и prune?
Оба флага живут в syncPolicy.automated и выключены по умолчанию. prune удаляет из кластера ресурсы, которые убрали из Git, без него они остаются сиротами. selfHeal синхронизирует приложение, когда живое состояние разошлось с Git без нового коммита, то есть откатывает ручные правки. Без selfHeal автосинк срабатывает только на новые коммиты
Кто-то поправил Deployment руками через kubectl. Что будет?
Контроллер Argo CD видит изменение через watch, и приложение становится OutOfSync. Дальше зависит от настроек: с selfHeal: true Argo CD через несколько секунд вернёт состояние из Git, без него расхождение будет висеть в UI, пока кто-то не нажмёт Sync или не придёт новый коммит. Нюанс: если поля нет в манифесте (например, replicas не задан), его изменение дрейфом не считается
Как устроить App of Apps или ApplicationSet для многих сервисов и окружений?
App of Apps — родительское Application, которое указывает на каталог с YAML дочерних Application, удобно для бутстрапа платформенных компонентов. Для однотипных сервисов лучше ApplicationSet: генератор git по каталогам apps/* в матрице с генератором list по окружениям или cluster по меткам кластеров даёт Application на каждую пару сервис-окружение. Новый сервис добавляется каталогом, новый кластер — меткой
Как при GitOps выкатывается новая версия образа?
CI собирает образ с неизменяемым тегом, обычно SHA коммита, и пушит в реестр. Затем джоба коммитит новый тег в репозиторий манифестов, например kustomize edit set image или правкой values.yaml. Argo CD замечает коммит по опросу или вебхуку и применяет его. Альтернатива — Argo CD Image Updater, он сам следит за реестром. Тег latest не годится: в Git ничего не меняется, и Argo CD не узнает о новой версии
Argo CD или Flux?
Оба реализуют принципы GitOps и входят в CNCF. У Argo CD веб-UI с деревом ресурсов, свои проекты и RBAC, ApplicationSet, Helm он рендерит в манифесты. Flux — контроллеры на CRD без своего UI, HelmRelease ставит настоящий Helm-релиз, обновление образов встроено. Argo CD берут ради наглядности для разработчиков, Flux — ради минимализма
📚 Что почитать
- OpenGitOps — четыре принципа в каноничной формулировке, коротко
- Automated Sync Policy —
prune,selfHeal,allowEmptyи когда автосинк не повторяет попытку - ApplicationSet Generators — все генераторы с примерами, начни с Git и Matrix
- Flux Kustomization — как Flux сверяет состояние и что делает
prune, для сравнения с Argo CD