К содержимому
Войти

DevOps Road Map

🦊 GitLab CI

В российских вакансиях GitLab CI — инструмент по умолчанию: пайплайн живёт в .gitlab-ci.yml рядом с кодом, а задания выполняют раннеры, которые команда поднимает сама. DevOps-инженер этот файл пишет, чинит и ускоряет, а ещё отвечает за раннеры и за то, чтобы секреты из переменных не утекли в лог. На собеседовании спрашивают синтаксис через механизм: чем cache отличается от artifacts, зачем needs, почему rules вместо only

🧠 Как это устроено

GitLab на каждый пуш, MR, тег или расписание читает .gitlab-ci.yml, собирает из него пайплайн и кладёт задания в очередь. Сам GitLab ничего не выполняет. Раннер, отдельный процесс gitlab-runner на твоей машине или в кластере, опрашивает GitLab, забирает подходящее задание, выполняет script и отправляет назад лог, статус и артефакты

Основы Git, разница CI и CD и ускорение длинного пайплайна — на странице «Git и CI/CD» общего модуля

Stages, jobs и DAG

Job — задание с script. Stage — группа заданий: задания одной стадии идут параллельно, следующая стадия ждёт, пока предыдущая закончится целиком. Из-за этого правила test-frontend ждёт сборку бэкенда, хотя она ему не нужна

needs снимает ограничение. Задание стартует, как только закончились задания из его списка, и стадии перестают быть барьером. Получается DAG, направленный граф без циклов: каждая ветка пайплайна идёт со своей скоростью. needs: [] запускает задание сразу при создании пайплайна — так удобно гонять линтеры. Лимит — 50 заданий в needs, на self-managed администратор его меняет. Вместе с needs задание скачивает артефакты только перечисленных заданий, а не всех предыдущих стадий

rules

rules решает, попадёт ли задание в пайплайн. Правила проверяются по порядку, первое совпавшее решает: when: never выкидывает задание, when: manual делает его ручным, when: on_success оставляет. Если не совпало ни одно правило, задания в пайплайне нет. Условия пишут через if с переменными, changes по изменённым файлам и exists по наличию файлов

only и except в документации объявлены устаревшими: работают для обратной совместимости и могут уйти в будущей мажорной версии. Вместе с rules в одном задании их использовать нельзя, конфиг не пройдёт проверку. workflow:rules работает так же для пайплайна целиком

cache и artifacts

Оба сохраняют файлы между заданиями, но решают разные задачи:

cacheartifacts
Что кладутЗависимости: node_modules, .m2, ~/.cache/go-buildРезультат задания: бинарник, отчёт тестов, dist/
Где лежитНа машине раннера или в S3 при распределённом кэшеВ GitLab
Кто видитСледующие пайплайны с тем же keyСледующие задания этого пайплайна, скачать из UI
ГарантияНет: кэша может не оказатьсяЕсть, пока не истёк срок
СрокПока не вытеснили30 дней по умолчанию, expire_in

Ключ кэша лучше строить от lock-файла: cache:key:files: [package-lock.json] даёт новый кэш только при смене зависимостей. policy: pull в заданиях, которые кэш только читают, экономит выгрузку. Защищённые и обычные ветки по умолчанию кэш не делят, чтобы ветка разработчика не подложила файлы в сборку main

Переменные и секреты

Переменная из ручного запуска или расписания перебивает переменную проекта, та — группы, а все они перебивают variables из самого .gitlab-ci.yml. Последними идут предопределённые CI_*

Для секретов у переменной в настройках две галочки:

  • Protected — переменная попадает только в пайплайны защищённых веток и тегов. Пайплайн на ветке feature/x токена прода не увидит
  • Masked — значение заменяется на [MASKED] в логе. Требования: одна строка без пробелов, от 8 символов. Вариант Masked and hidden ещё и не показывает значение в настройках

Документация прямо говорит, что маскирование не гарантия. echo $TOKEN | base64 или любое изменение строки обходит маску, а скрипт может отправить значение наружу curl-ом. Защита держится на protected и на том, кто может пушить в защищённые ветки: он может и прочитать их секреты

Environments

environment: production связывает задание с окружением: GitLab показывает, какой коммит где развёрнут, и даёт повторить прошлое развёртывание. Для временных стендов на MR есть on_stop (задание, которое удаляет стенд) и auto_stop_in: 1 day. resource_group не даёт двум деплоям в одно окружение идти одновременно

include, extends и !reference

Общие куски пайплайна не копируют между репозиториями:

  • include подключает файлы: local из этого репозитория, project из другого, remote по URL, template из встроенных шаблонов GitLab, component из каталога CI/CD-компонентов. До 150 включений на пайплайн с учётом вложенных
  • extends наследует задание от шаблона, обычно скрытого (имя с точкой, .deploy). Словари сливаются глубоко, массивы заменяются целиком: свой script у потомка затирает script родителя. Уровней можно до 11, документация советует не больше трёх
  • !reference [.setup, script] вставляет кусок другого задания, например общий before_script, в середину своего массива. YAML-якоря так не умеют: они работают только внутри одного файла

🛠️ На практике

Пайплайн с DAG, кэшем по lock-файлу и деплоем только из main:

stages: [build, test, deploy]

default:
  image: node:22-alpine
  tags: [docker]

.npm-cache:
  cache:
    key:
      files: [package-lock.json]
    paths: [.npm/]
    policy: pull

lint:
  stage: test
  needs: []                       # не ждёт сборку
  extends: .npm-cache
  script:
    - npm ci --cache .npm --prefer-offline
    - npm run lint

build:
  stage: build
  extends: .npm-cache
  cache:
    policy: pull-push             # только сборка обновляет кэш
  script:
    - npm ci --cache .npm --prefer-offline
    - npm run build
  artifacts:
    paths: [dist/]
    expire_in: 1 week

deploy:
  stage: deploy
  needs: [build, lint]
  environment:
    name: production
  resource_group: production
  rules:
    - if: $CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH
      when: manual
  script:
    - ./deploy.sh dist/

На ветках, кроме main, задания deploy в пайплайне нет совсем

Раннеры и executors

Executor решает, где выполняется script:

ExecutorКак работаетКогда брать
shellПрямо в шелле хоста от пользователя gitlab-runnerОсобый хост: железо, сборка под macOS. Задания видят друг друга
dockerКаждое задание в новом контейнере из imageОбычный выбор для одной-двух машин
kubernetesКаждое задание — под в кластере, масштабируется с кластеромМного параллельных заданий, команда уже живёт в Kubernetes
docker-autoscaler, instanceПоднимают облачные ВМ под нагрузкуНужен автоскейлинг без Kubernetes

docker-machine устарел, shell, ssh, virtualbox, parallels и custom получают только исправления безопасности. Теги связывают задание с раннером: задание с tags: [docker, gpu] возьмёт только раннер, у которого есть оба тега. Задание без тегов достанется любому раннеру, которому разрешены задания без тегов

Сборка образа без Docker-in-Docker

Классический Docker-in-Docker, сервис docker:dind рядом с заданием, требует privileged = true у раннера. Привилегированный контейнер почти равен root на хосте: кто запускает пайплайн, тот может выйти на узел. Проброс /var/run/docker.sock привилегий не требует, но отдаёт заданию демон хоста целиком

Варианты без демона и без привилегий:

  • BuildKit rootless: образ moby/buildkit:rootless, команда buildctl-daemonless.sh. Документация GitLab называет его заменой kaniko. Раннеру нужен seccomp-профиль, который разрешает вызовы для user namespaces, а не seccomp:unconfined
  • Buildah: собирает OCI-образ без демона, в rootless-режиме с BUILDAH_ISOLATION: chroot и STORAGE_DRIVER: vfs. У GitLab есть пример для Kubernetes и OpenShift
  • Kaniko: проект Google архивирован, страница о нём в документации GitLab помечена как удалённая. Поддержку продолжает форк Chainguard, но готовые образы он публикует только для своих клиентов, остальным собирать самим. В новом пайплайне лучше взять BuildKit или Buildah

YAML · Сборка образа через rootless BuildKit

build-image:
  stage: build
  image:
    name: moby/buildkit:rootless
    entrypoint: [""]              # иначе стартует демон, и задание висит до таймаута
  variables:
    BUILDKITD_FLAGS: --oci-worker-no-process-sandbox
  before_script:
    - mkdir -p ~/.docker
    - |
      echo "{\"auths\":{\"$CI_REGISTRY\":{\"auth\":\"$(printf '%s:%s' "$CI_REGISTRY_USER" "$CI_REGISTRY_PASSWORD" | base64 | tr -d '\n')\"}}}" > ~/.docker/config.json
  script:
    - |
      buildctl-daemonless.sh build \
        --frontend dockerfile.v0 \
        --local context=. \
        --local dockerfile=. \
        --output type=image,name=$CI_REGISTRY_IMAGE:$CI_COMMIT_SHORT_SHA,push=true

Как устроен сам Dockerfile и кэш слоёв, разобрано на странице «Образы и сборка». Сканирование образа в пайплайне подробно будет на странице «DevSecOps в пайплайне»

GitLab CI, Jenkins и GitHub Actions

GitLab CIJenkinsGitHub Actions
Конфиг.gitlab-ci.yml, декларативный YAMLJenkinsfile на Groovy, можно настраивать и в UI.github/workflows/*.yml
Где живётВстроен в GitLab вместе с Git, MR, registryОтдельный сервер, к Git подключается плагиномВстроен в GitHub
ИсполнителиРаннеры с executorsАгенты, которые подключает контроллерОблачные или self-hosted раннеры
Расширениеinclude, шаблоны, CI/CD-компонентыПлагины на всё, их надо обновлять и проверять совместимостьГотовые actions из Marketplace

⚠️ Где ошибаются

  • Передают сборку через cache. Бинарник положили в кэш, а следующее задание попало на другой раннер, кэша там нет, и деплой падает через раз. Результат сборки кладут в artifacts
  • Ставят needs и забывают про артефакты. Задание с needs: [lint] скачает артефакты только lint, а dist/ из стадии сборки уже не получит. Добавь build в needs
  • Включают privileged ради одной сборки образа. Права получает каждое задание на этом раннере, включая пайплайны из MR. Если без DinD никак, выдели под него отдельный раннер с тегом

🎯 Вопросы с собеседований

Чем cache отличается от artifacts?

cache ускоряет повторную работу: туда кладут зависимости, он живёт на раннере или в S3 и переиспользуется между пайплайнами по ключу. Гарантии нет, задание обязано работать и без кэша. artifacts — результат задания: GitLab хранит его у себя, отдаёт следующим заданиям того же пайплайна и даёт скачать, по умолчанию 30 дней. Правило простое: без чего следующий шаг не сработает, то в artifacts, а что можно скачать заново, то в cache

Что такое needs и зачем DAG?

По умолчанию стадия ждёт, пока закончится вся предыдущая, даже если заданию нужна только одна сборка. needs перечисляет конкретные зависимости, и задание стартует сразу после них: стадии превращаются в направленный граф без циклов. needs: [] запускает линтер в первую секунду. Побочный эффект: артефакты приходят только от заданий из needs

Чем rules лучше only/except?

only и except объявлены устаревшими, а rules выразительнее: одно задание может быть автоматическим в MR, ручным в main и отсутствовать в остальных ветках. Правила идут по порядку, первое совпавшее решает, и в нём же можно задать when, allow_failure и variables. Смешивать rules с only в одном задании нельзя

Как защитить секрет в переменной CI?

Хранить в настройках проекта или группы, а не в YAML. Ставить protected, чтобы переменная доходила только до защищённых веток и тегов, и masked, чтобы значение не печаталось в лог как есть. Пределы надо знать: маска не спасёт от base64 или отправки curl-ом, а любой, кто может запушить в защищённую ветку, может прочитать её секреты. Поэтому важны права на ветки и ревью изменений .gitlab-ci.yml, а долгоживущие ключи лучше заменить короткими токенами из Vault или OIDC

Какие бывают executors и какой выбрать?

shell выполняет задание прямо на хосте: просто, но задания делят окружение и видят друг друга. docker даёт каждому заданию чистый контейнер, это выбор по умолчанию для своих машин. kubernetes запускает задание подом и масштабируется вместе с кластером, docker-autoscaler и instance поднимают облачные ВМ. Компании в Kubernetes подойдёт kubernetes executor, без него — docker, а shell остаётся для особых хостов

Как собрать Docker-образ в CI без привилегированного DinD?

Docker-in-Docker требует privileged-раннер, а это фактически root на узле для любого пайплайна. Проброс docker.sock привилегий не требует, но отдаёт демон хоста. Поэтому берут сборщики без демона: rootless BuildKit через buildctl-daemonless.sh или Buildah с chroot-изоляцией. Kaniko раньше был стандартным ответом, но проект Google архивирован, жив только форк Chainguard, и GitLab в документации предлагает BuildKit как замену

Чем GitLab CI отличается от Jenkins?

GitLab CI встроен в GitLab: репозиторий, MR, registry и пайплайн в одном месте, конфиг — декларативный YAML в репозитории, а раннеры лёгкие и одинаковые. Jenkins — отдельный сервер с Groovy-пайплайнами и плагинами на всё, включая интеграцию с Git. Он гибче в нестандартных сценариях, но его надо сопровождать: обновлять ядро и плагины, следить за их совместимостью. В России новые проекты чаще стартуют на GitLab CI, Jenkins остаётся там, где на нём уже живут годы пайплайнов

📚 Что почитать