К содержимому
Войти

DevOps Road Map

🚀 Загрузка Linux и systemd

Между нажатием кнопки питания и работающим сервисом сменяются четыре программы: прошивка, загрузчик, ядро и systemd. На работе это знание нужно, когда сервер не поднимается после обновления ядра, сервис падает в цикле перезапусков или не хочет останавливаться. На собеседовании почти всегда просят пройти цепочку загрузки по шагам и написать unit-файл для своего приложения

🧠 Как это устроено

От кнопки до PID 1

  1. Прошивка. BIOS или UEFI проверяет железо и ищет, откуда грузиться. BIOS читает первые 512 байт диска (MBR) и передаёт управление крошечному коду, который подгружает остальную часть загрузчика. UEFI устроен иначе: он сам читает раздел EFI System Partition с файловой системой FAT и запускает оттуда файл .efi. При включённом Secure Boot прошивка проверяет подпись этого файла
  2. Загрузчик. Обычно GRUB, реже systemd-boot. Он показывает меню, читает свой конфиг и кладёт в память ядро (vmlinuz) и образ initramfs, передавая ядру командную строку. Что ядро получило, видно в /proc/cmdline
  3. Ядро и initramfs. Ядро инициализирует процессор, память и драйверы, затем распаковывает initramfs в tmpfs. initramfs — маленькая временная корневая система с модулями и утилитами, без которых не смонтировать настоящий корень: драйвер RAID, LVM, расшифровка LUKS, сетевой диск. В современных дистрибутивах внутри initramfs уже работает systemd
  4. Смена корня. systemd в initramfs монтирует настоящий корень в /sysroot и переключается на него через initrd-switch-root.service. Дальше управление переходит к systemd с основного диска, и он остаётся процессом с PID 1 до выключения
  5. Таргеты. systemd идёт к default.target, который обычно указывает на multi-user.target на сервере или graphical.target на десктопе. По дороге он проходит sysinit.target (монтирование, swap, базовая настройка) и basic.target, после чего запускает сервисы

Почему PID 1 особенный и что он делает с сиротами и сигналами, разобрано на странице «Процессы, потоки и сигналы»

Где ломается чаще всего: после обновления ядра не собрался initramfs, и ядро не находит корень, или в /etc/fstab осталась строка для отключённого диска, и загрузка уходит в emergency-режим. Первое лечится выбором старого ядра в меню GRUB, второе — правкой fstab из emergency-оболочки. Чтобы попасть в оболочку специально, к командной строке ядра в меню GRUB дописывают systemd.unit=rescue.target или emergency

Настройки GRUB правят не в grub.cfg, а в /etc/default/grub, после чего пересобирают конфиг: update-grub на Debian и Ubuntu, grub2-mkconfig -o … на RHEL-семействе. Ручную правку grub.cfg затрёт следующее обновление ядра

Юниты и таргеты

Юнит — всё, чем управляет systemd: сервис (.service), таймер (.timer), точка монтирования (.mount), сокет (.socket), группа юнитов (.target). Файлы лежат в трёх местах, и важно, кто главнее:

КаталогКто туда пишетПриоритет
/usr/lib/systemd/systemпакеты дистрибутиванизший, затирается обновлением пакета
/run/systemd/systemгенераторы, временные юнитысредний, живёт до перезагрузки
/etc/systemd/systemадминистраторвысший

Таргет — точка синхронизации без собственных процессов, аналог старых runlevel. systemctl enable ничего не запускает: он создаёт симлинк в multi-user.target.wants/, чтобы сервис стартовал при следующей загрузке. Запустить сразу — systemctl enable --now

Порядок и зависимость

Это самая частая путаница на собеседовании. В systemd зависимость и порядок задаются разными директивами и друг друга не подразумевают

ДирективаЧто значит
Wants=bпри старте a запустить и b. Если b не поднялся, a всё равно стартует
Requires=bто же, но если b явно остановили или перезапустили, a остановится или перезапустится вместе с ним
BindsTo=bсильнее Requires=: a останавливается и тогда, когда b упал сам
After=bесли оба в одной транзакции, a стартует после того, как b запустился. Запускать b эта строка не заставляет
Before=bзеркало After=

Без After= юниты из Requires= стартуют параллельно. Сервис может подняться раньше базы и упасть на первом подключении, и даже провал b не помешает старту a: по документации блокировка срабатывает только при заданном After=. Поэтому почти всегда пишут парой: Requires= или Wants= плюс After= на тот же юнит

С сетью отдельная тонкость. network.target значит только, что сетевой стек запущен, а интерфейсы могут быть ещё без адресов. Сервису, которому нужна сеть на старте, пишут Wants=network-online.target и After=network-online.target

🛠️ На практике

Unit-файл для своего сервиса

Типичный HTTP-сервис на Go или Node, который должен подниматься при загрузке, перезапускаться при падении и не съедать всю память машины. Файл — /etc/systemd/system/orders-api.service:

[Unit]
Description=Orders API
Wants=network-online.target
After=network-online.target
# не больше 5 запусков за 60 секунд, дальше юнит в failed
StartLimitIntervalSec=60
StartLimitBurst=5

[Service]
Type=exec
User=orders
WorkingDirectory=/opt/orders
EnvironmentFile=/etc/orders/orders.env
ExecStart=/opt/orders/bin/orders-api --port 8080
Restart=on-failure
RestartSec=5s
TimeoutStopSec=30s
# мягкий предел: процесс тормозят и отбирают память
MemoryHigh=900M
# жёсткий предел: OOM killer внутри юнита
MemoryMax=1G
LimitNOFILE=65536
TasksMax=512

[Install]
WantedBy=multi-user.target

Что здесь не по умолчанию и почему:

  • Type=exec вместо умолчания simple. С simple systemd считает сервис запущенным сразу после fork(), и опечатка в пути к бинарнику или несуществующий User= всплывут уже после «успешного» старта. С exec он ждёт, пока бинарник реально запустится. Если приложение умеет сообщать о готовности через sd_notify, ставят Type=notify
  • Restart=on-failure. По умолчанию Restart=no, и упавший сервис так и лежит. always перезапускает даже после чистого выхода с кодом 0
  • RestartSec=5s. Умолчание 100 мс, а лимит запусков по умолчанию 5 за 10 секунд. Сервис, который падает на старте, исчерпает лимит меньше чем за секунду, и юнит уйдёт в failed с сообщением о слишком частых запусках
  • MemoryHigh= и MemoryMax= — лимиты cgroup v2. Старый MemoryLimit= из cgroup v1 объявлен устаревшим. Подробно про cgroups будет в модуле «Контейнеры изнутри»
  • LimitNOFILE= поднимает лимит открытых файлов. Умолчание для сервисов — 1024 мягкий и 524288 жёсткий, и сервис с тысячей соединений упирается в Too many open files. Строка ulimit -n в /etc/security/limits.conf на сервисы systemd не действует: этот файл читает PAM при входе пользователя
  • StandardOutput= не указан: по умолчанию stdout и stderr идут в журнал, поэтому приложению достаточно писать в stdout

После создания или правки файла systemd ничего не перечитывает сам:

sudo systemctl daemon-reload          # перечитать unit-файлы
sudo systemctl enable --now orders-api
systemctl status orders-api           # состояние, PID, память, последние строки лога
systemctl cat orders-api              # итоговый файл со всеми drop-in

Drop-in вместо правки чужого файла

Юнит из пакета, например nginx.service в /usr/lib, не правят: обновление пакета вернёт всё назад. Вместо этого создают drop-in — кусок конфига, который накладывается поверх:

sudo systemctl edit nginx

Команда откроет редактор на файле /etc/systemd/system/nginx.service.d/override.conf и после сохранения сама сделает daemon-reload. В drop-in пишут только то, что меняют:

[Service]
LimitNOFILE=200000
# список команд сначала сбросить пустым значением, иначе ExecStart станет два
ExecStart=
ExecStart=/usr/sbin/nginx -g 'daemon off;'

Обычные директивы перекрываются, а списочные вроде ExecStart= и Environment= дописываются. Пустое присваивание сбрасывает список

Журнал

journalctl -u orders-api -f                       # хвост в реальном времени
journalctl -u orders-api --since "1 hour ago"     # за последний час
journalctl -u orders-api -b -1                    # прошлая загрузка: почему упал до ребута
journalctl -p err -b                              # только ошибки с этой загрузки
journalctl --disk-usage                           # сколько журнал занял на диске
sudo journalctl --vacuum-size=500M                # удалить старые архивы до 500 МБ

-b -1 работает, только если журнал хранится на диске. Это задаёт Storage= в journald.conf: при volatile, а также при auto без каталога /var/log/journal, журнал живёт в /run и пропадает при перезагрузке. Как собирать логи со многих машин, разобрано на странице «Логи»

Таймер вместо cron

Ночная очистка старых файлов. Два файла с одним именем: таймер сам запускает сервис с тем же именем

# /etc/systemd/system/cleanup.service
[Unit]
Description=Cleanup old uploads

[Service]
Type=oneshot
ExecStart=/opt/orders/bin/cleanup --older-than 30d

# /etc/systemd/system/cleanup.timer
[Unit]
Description=Nightly cleanup

[Timer]
OnCalendar=*-*-* 03:00:00
RandomizedDelaySec=15min
Persistent=true

[Install]
WantedBy=timers.target

Включают таймер, а не сервис: systemctl enable --now cleanup.timer. Расписание всех таймеров — systemctl list-timers

Что получаешь против cron: вывод задачи в журнале (journalctl -u cleanup), лимиты памяти и User= той же директивой, что у сервиса, и защиту от наложения — пока прошлый запуск не закончился, второй не стартует. Persistent=true запустит пропущенную задачу сразу после загрузки, если машина была выключена в 03:00. RandomizedDelaySec= размазывает старт, чтобы сотня серверов не ударила по одному хранилищу одновременно. Синтаксис расписания проверяет systemd-analyze calendar "*-*-* 03:00:00"

Ситуация с прода: сервис не останавливается

Деплой висит полторы минуты на systemctl restart. Механизм такой: при остановке systemd шлёт процессам юнита SIGTERM, ждёт TimeoutStopSec= (по умолчанию 90 секунд) и добивает SIGKILL. Если приложение не обрабатывает SIGTERM, каждый рестарт стоит 90 секунд простоя, а незавершённые запросы обрываются

Что смотреть: journalctl -u orders-api -b покажет, что сервис был убит по таймауту. Дальше два варианта. Правильный — научить приложение на SIGTERM дочитывать текущие запросы и выходить. Временный — поставить TimeoutStopSec= поменьше, понимая, что это тот же SIGKILL, только раньше. В отличие от контейнера, обёртка-скрипт здесь не прячет сигнал: по умолчанию (KillMode=control-group) systemd шлёт SIGTERM всем процессам cgroup юнита

⚠️ Где ошибаются

  • Поправили unit-файл и сразу перезапустили. Без systemctl daemon-reload systemd работает со старой версией и предупреждает об этом в systemctl status. systemctl edit перечитывает сам, ручная правка — нет
  • Написали After= и решили, что зависимость есть. After=postgresql.service не запускает Postgres, а только упорядочивает старт, если Postgres кто-то и так запускает. И наоборот, Requires= без After= стартует оба юнита параллельно
  • Правят файл в /usr/lib/systemd/system. Следующий apt upgrade или dnf update вернёт его к пакетной версии. Свои изменения — через drop-in в /etc
  • В drop-in написали новый ExecStart= без пустой строки перед ним. Для обычного сервиса это ошибка конфигурации: команд запуска стало две
  • Сервис в цикле падений с Restart=always и короткой паузой. Через 5 рестартов за 10 секунд юнит уходит в failed и больше не поднимается. Причину ищут в journalctl -u, а после исправления сбрасывают счётчик: systemctl reset-failed orders-api
  • Демонизирующийся процесс с Type=simple. Программа сама уходит в фон через двойной fork, systemd видит выход главного процесса и считает сервис завершённым. Либо запускать приложение в foreground, либо Type=forking с PIDFile=

🎯 Вопросы с собеседований

Как загружается Linux: BIOS/UEFI, загрузчик, ядро, init?

Прошивка проверяет железо и передаёт управление загрузчику: BIOS через MBR, UEFI запускает .efi-файл с раздела EFI. Загрузчик (обычно GRUB) загружает в память ядро и initramfs и передаёт командную строку ядра. Ядро инициализирует железо, распаковывает initramfs и запускает из него init. В initramfs монтируется настоящий корень, если для него нужны LVM, RAID или шифрование, затем происходит switch root. systemd с основного диска становится PID 1 и поднимает юниты до default.target, обычно multi-user.target

Что такое systemd и как написать unit-файл?

systemd — система инициализации и менеджер сервисов: PID 1, который запускает и перезапускает сервисы, держит их в cgroups, собирает их логи в journald и запускает задачи по таймерам. Unit-файл сервиса — три секции. В [Unit] описание и зависимости с порядком (Wants= плюс After=). В [Service] — ExecStart= с абсолютным путём, User=, Restart=on-failure, RestartSec= и лимиты вроде MemoryMax= и LimitNOFILE=. В [Install] — WantedBy=multi-user.target, чтобы enable включил его в загрузку. Файл кладут в /etc/systemd/system, затем daemon-reload и enable --now

Чем Requires= отличается от After=?

Requires= — зависимость: вместе с юнитом запустить и другой, а при его остановке или рестарте остановить и этот. After= — только порядок: стартовать после, если оба запускаются. Директивы независимы, поэтому без After= юниты из Requires= стартуют параллельно. На практике пишут парой. Для мягкой зависимости, которая не роняет юнит при провале, есть Wants=

Зачем нужен initramfs, если ядро может смонтировать диск само?

Ядро может, если драйвер диска и файловой системы встроены и корень лежит на обычном разделе. Как только корень на LVM, программном RAID, зашифрован LUKS или подключён по сети, нужны утилиты из пространства пользователя. Встраивать всё это в ядро невыгодно, поэтому дистрибутив кладёт нужные модули и утилиты в initramfs. Отсюда типичная поломка: после обновления ядра initramfs не пересобрался, и загрузка останавливается на поиске корня

Как поменять настройку сервиса из пакета так, чтобы её не затёрло обновление?

Через drop-in: systemctl edit имя создаёт /etc/systemd/system/имя.service.d/override.conf и после сохранения сама делает daemon-reload. В файл пишут только изменённые директивы. Списочные, например ExecStart=, сначала сбрасывают пустым присваиванием. Итог проверяют через systemctl cat

Чем таймеры systemd лучше cron?

Вывод задачи попадает в журнал, а не в почту root. К задаче применяются те же User=, лимиты памяти и CPU, что к сервису. Новый запуск не наложится на незаконченный. Persistent=true догоняет запуск, пропущенный, пока машина была выключена, а RandomizedDelaySec= разносит старт по времени. Платишь двумя файлами вместо одной строки в crontab

📚 Что почитать

  • bootup(7) — схема загрузки от прошивки до default.target и порядок таргетов
  • systemd.service(5) — все значения Type= и Restart= с таблицей, при каких выходах сервис перезапускается
  • systemd.resource-control(5) — MemoryHigh=, MemoryMax=, CPUQuota=, TasksMax= и чем они отличаются
  • Running Services After the Network Is Up — разница между network.target и network-online.target от авторов systemd