К содержимому
Войти

DevOps Road Map

🪵 Сбор логов в кластере

В кластере логи собирает агент на каждом узле: он читает файлы контейнеров, дописывает к строкам имя пода и namespace и отправляет их в хранилище. О нём вспоминают, когда хранилище легло, агент съел память узла или счёт за S3 вырос втрое. Тогда решают буфер, метки и retention

🧠 Как устроен сбор

Kubelet и рантайм пишут stdout контейнеров в файлы /var/log/pods/<namespace>_<под>_<uid>/<контейнер>/0.log, а в /var/log/containers лежат симлинки на них с плоскими именами. Агент работает как DaemonSet: по копии на узел, каталог узла смонтирован через hostPath. Со строкой он делает пять вещей:

  1. Читает файлы и помнит позицию в каждом, переживая ротацию. Vector хранит позиции в data_dir, Fluent Bit — в базе db у входа tail
  2. Разбирает формат CRI: время, поток, флаг P или F и текст. Длинную строку рантайм режет на части с флагом P, и агент склеивает их обратно (у Vector auto_partial_merge включён по умолчанию, у Fluent Bit multiline.parser: docker,cri)
  3. Обогащает: под и контейнер берёт из пути файла, метки пода и владельца спрашивает у API-сервера и кэширует. Fluent Bit на больших кластерах можно перевести на kubelet своего узла (Use_Kubelet On)
  4. Обрабатывает: JSON, стектрейсы, шум
  5. Буферизует и отправляет пачками, с ретраями

Sidecar и агрегатор

Sidecar — второй контейнер в поде, который читает лог-файл приложения из общего тома. Он нужен, когда приложение не умеет писать в stdout, когда сервису нужен свой конвейер с отдельными правами, или когда DaemonSet поставить нельзя, как на Fargate. Платишь памятью в каждом поде и ротацией файла, которую kubelet за тебя не сделает

Агрегатор — центральный слой между агентами и хранилищем: Vector в роли aggregator или Kafka. Агенты только читают и обогащают, агрегатор делает тяжёлые преобразования, пишет в несколько хранилищ и держит ключи к ним. Kafka перед хранилищем даёт часы буфера и повторное чтение: лёг ClickHouse или нашли ошибку в парсере — консьюмер перечитает топик с нужного смещения. Цена — ещё одна система в эксплуатации, и кластеру на 20 узлов с Loki агрегатор обычно не нужен

🧩 Агенты

АгентЧто этоКогда брать
VectorRust, один бинарник для агента и агрегатора, преобразования на VRLОбработка на лету, несколько хранилищ, Kafka или ClickHouse
Fluent BitC, лёгкий, CNCF graduatedАгент по умолчанию во многих Helm-чартах и облаках
FluentdRuby и C, огромный каталог плагинов, тяжелее по памятиАгрегатор за Fluent Bit или старые установки
Grafana AlloyСборщик Grafana на базе OpenTelemetry Collector: метрики, логи и трейсы одним агентомСтек Grafana, замена Promtail
PromtailАгент LokiТолько поддерживать существующее

Promtail закончил жизнь 2 марта 2026: Grafana пишет, что обновлений больше не будет, развивается Alloy. Конфиг Promtail переводится в синтаксис Alloy командой alloy convert. Сам Alloy читает логи подов либо по файлам как DaemonSet (loki.source.file), либо через API (loki.source.kubernetes) без доступа к диску узла, но с большей нагрузкой на kubelet

🗄️ Хранилища

LokiElasticsearch / OpenSearchClickHouse
Что индексируетсяТолько метки потока, текст лежит сжатыми чанкамиКаждое поле: инвертированный индекс по токенамПервичный ключ (ORDER BY) и skip-индексы, с 26.2 текстовый индекс в GA
Чем платятПоиск по редкому слову читает все чанки выбранных потоковИндекс сравним с объёмом данных, память под кучу JVM и файловый кэш, шарды и репликиПроектированием схемы: колонки ищутся быстро, остальное сканом
Где данныеОбъектное хранилище (S3, MinIO)Локальные диски узловЛокальные диски, старые части можно в S3
СтоимостьДёшево хранитьСамое дорогое на гигабайтКолоночное сжатие, дёшево на больших объёмах
ЯзыкLogQLKQL и LuceneSQL

Loki выбирают, когда логи читают по сервису и времени и у команды уже Grafana. Elasticsearch или OpenSearch — когда нужен полнотекстовый поиск по всем полям или SIEM. ClickHouse — когда логов терабайты в день, их агрегируют как события («сколько 5xx по эндпоинтам за сутки») и есть кому спроектировать таблицу

🏷️ Потоки, чанки и лимиты Loki

Поток (stream) в Loki — уникальный набор меток, и ingester держит каждый поток в памяти отдельным чанком. Чанк сжимается (по умолчанию gzip) и уходит в хранилище, когда дорос до chunk_target_size (1,5 МБ сжатого), простоял без записей chunk_idle_period (30 минут) или прожил max_chunk_age (2 часа). Поэтому 50 тысяч мелких потоков — это 50 тысяч полупустых чанков в памяти и россыпь мелких объектов в S3

Лимиты из limits_config, в которые упираются первыми:

НастройкаПо умолчаниюЧто ограничивает
max_global_streams_per_user5000Активные потоки тенанта на кластер
max_label_names_per_series15Число меток у потока
ingestion_rate_mb / ingestion_burst_size_mb4 / 6Приём тенанта, МБ в секунду
per_stream_rate_limit / per_stream_rate_limit_burst3MB / 15MBПриём одного потока
max_line_size256KBДлина строки

При превышении Loki отвечает агенту 429, а отброшенное видно в loki_discarded_samples_total с причиной в метке reason. На эту метрику стоит алерт

Куда класть поля:

  • метки — то, с чего начинается любой запрос: кластер, namespace, приложение, контейнер. Десятки значений, а не тысячи
  • structured metadata — пары ключ-значение рядом со строкой, без индекса: имя пода, id контейнера, trace id. Нужны схема v13 и индекс tsdb, приём включён по умолчанию. Фильтр пишется после селектора: {namespace="shop"} | pod="cart-7d9f-x2k4q"
  • поля в JSON строки — всё остальное, разбирается на запросе: | json | status >= 500

Обратная крайность тоже ломает: с одной меткой {cluster="prod"} весь трафик идёт в один поток, он упирается в per_stream_rate_limit, а каждый запрос читает всё подряд

🔍 Где парсить

JSON дешевле regexp. Разбор JSON — одна функция без настройки, регулярка под текстовый формат ломается от первого изменения шаблона лога и стоит CPU на каждой строке. Проще договориться с командой о JSON-логгере, чем поддерживать регулярки

Парсить на агенте — значит платить CPU каждого узла, зато в хранилище приходят готовые поля, и шум отбрасывается до отправки. Парсинг в хранилище дешевле на входе: Loki разбирает | json при каждом запросе, Elasticsearch гоняет ingest pipeline на своих узлах. Обычный компромисс — JSON и отсев мусора на агенте, тяжёлое в агрегаторе или на запросе

🛠️ Пример: Vector в Kubernetes с отправкой в Loki

Конфиг агента для DaemonSet. Проверен командой vector validate --no-environment на Vector 0.58, в кластере не запускался

data_dir: /var/lib/vector

sources:
  pods:
    type: kubernetes_logs        # читает /var/log/pods своего узла

transforms:
  parsed:
    type: remap
    inputs: [pods]
    source: |
      # JSON-строку раскладываем на поля, обычный текст оставляем как есть
      parsed, err = parse_json(.message)
      if err == null && is_object(parsed) {
        . = merge!(., parsed)
      }

sinks:
  loki:
    type: loki
    inputs: [parsed]
    endpoint: http://loki-gateway.logging.svc
    encoding:
      codec: json
    labels:                      # только то, что мало меняется
      namespace: "{{ kubernetes.pod_namespace }}"
      app: "{{ kubernetes.pod_labels.\"app.kubernetes.io/name\" }}"
      container: "{{ kubernetes.container_name }}"
    structured_metadata:
      pod: "{{ kubernetes.pod_name }}"
    buffer:
      type: disk
      max_size: 1073741824       # 1 ГиБ на узле, дальше block
      when_full: block

data_dir кладут на hostPath: в emptyDir рестарт пода стирает позиции и буфер, и агент либо перечитает файлы с начала (дубли), либо начнёт с конца (дыра). Имя пода ушло в structured metadata, потому что после каждого деплоя новое имя в метке стало бы новым потоком

🧯 Если хранилище недоступно

Агент копит строки в буфере, и исход зависит от того, где буфер:

  • в памяти — по умолчанию и у Vector, и у Fluent Bit. Рестарт агента теряет накопленное. У Fluent Bit mem_buf_limit по умолчанию не ограничен, и агент может съесть память узла
  • на диске — Vector buffer.type: disk (минимум около 256 МиБ), Fluent Bit storage.type filesystem. Переживает рестарт

Когда буфер полон, Vector по умолчанию (when_full: block) включает backpressure: источник перестаёт читать файлы. Fluent Bit по storage.total_limit_size выбрасывает самые старые чанки. Backpressure не бесконечен: пока агент стоит, буфером служит сам лог-файл, а kubelet его ротирует. Посчитай: узел пишет 2 МБ в секунду, это около 7 ГБ за час, и буфер на 1 ГиБ кончится через 9 минут. Час без потерь даёт только Kafka или агрегатор с большим диском

После восстановления агенты разом шлют накопленное, Loki отвечает 429 по ingestion_rate_mb, и догон растягивается. Алерт на рост буфера агента заметит проблему раньше людей

⏳ Retention и стоимость

Горячие логи лежат последние дни на быстрых дисках, тёплые нужны неделями для разбора инцидентов, холодные хранят месяцами для аудита. Самый дешёвый лог тот, который не записали: debug и health-check'и с прода отбрасываются на агенте

СрокДешёвое хранение
LokiCompactor с retention_enabled: true и retention_period. По умолчанию retention выключен, логи хранятся вечно. retention_stream задаёт срок по селектору, например 3 дня для {namespace="dev"}Чанки и так в S3. Lifecycle бакета — только страховка со сроком больше retention, иначе сломается индекс
Elasticsearch / OpenSearchILM (в OpenSearch ISM): фазы hot, warm, cold, frozen, delete и rollover по размеру шарда или возрастуWarm и cold на дешёвых дисках с меньшим числом реплик, frozen — поиск по снапшотам в объектном хранилище
ClickHouseTTL ts + INTERVAL 30 DAY DELETE, партиции по днюTTL ts + INTERVAL 7 DAY TO VOLUME 'cold' переносит старые части на дешёвый том или S3

⚠️ Где ошибаются

  • Имя пода, id запроса или user_id в метках Loki. Потоки упираются в max_global_streams_per_user, приём отвечает 429, и теряются логи нового деплоя
  • Буфер в памяти без лимита. Лёгшее хранилище превращается в OOM агента, а иногда и соседей по узлу
  • Склейка стектрейсов после агрегатора. Строки разных подов там уже перемешаны, склеивать надо на агенте
  • Retention «потом настроим». Loki по умолчанию ничего не удаляет, а Elasticsearch без ILM копит индексы, пока не упрётся в watermark диска и не перестанет писать

🎯 Вопросы с собеседований

Почему не ClickHouse для логов? А когда он как раз лучше?

ClickHouse силён, когда логи — события с понятной схемой: статус, эндпоинт, время ответа. Тогда «сколько 5xx по эндпоинтам за неделю» считается за секунды на терабайтах, а колоночное сжатие делает хранение дешевле Elasticsearch. Против: схему надо проектировать, и поиск по произвольной подстроке в message идёт сканом, если не настроен текстовый индекс (GA с 26.2). Беру ClickHouse под большие объёмы и аналитику, Loki или ELK — когда логи читают глазами

Loki или ELK — что выберешь и почему?

Loki индексирует только метки и хранит чанки в S3: дёшево и просто, но поиск по редкому слову без хорошего селектора читает много данных. Elasticsearch индексирует каждое поле и находит что угодно быстро, а платишь памятью, дисками под индекс и шардами. Запросы вида «логи сервиса за час с ошибкой» и Grafana в команде — Loki. Полнотекстовый поиск по всем полям или SIEM — ELK или OpenSearch

Как собирать логи в Kubernetes: DaemonSet или sidecar?

По умолчанию DaemonSet: один агент на узел читает /var/log/pods всех контейнеров, приложение пишет в stdout, ресурсы тратятся раз на узел. Sidecar — когда приложение пишет только в файл, когда сервису нужен свой конвейер и права, или когда DaemonSet поставить нельзя, как на Fargate

Хранилище логов легло на час. Что будет с логами?

Агент копит строки в буфере. Память теряется при рестарте агента, диск переживает рестарт, но конечен: 2 МБ в секунду с узла — около 7 ГБ за час. Полный буфер либо держит backpressure, и тогда логи теряются на ротации kubelet, либо выбрасывает события. Если час простоя не должен ничего терять, между агентами и хранилищем ставят Kafka

Как склеить многострочный стектрейс Java в одну запись?

Лучше всего не склеивать: JSON-логгер кладёт стектрейс в одно поле, и в stdout уходит одна строка. Если формат не поменять, склеиваю на агенте: новая запись начинается со строки с датой, а строки с at и Caused by: дописываются к предыдущей. В Fluent Bit это multiline-парсер (есть встроенный java), в Vector — transform reduce с starts_when. Группировать обязательно по поду и контейнеру, иначе строки соседей перемешаются

Сколько хранить логи и как не разориться?

Для отладки обычно хватает 7–14 дней, аудит и логи доступа держат столько, сколько скажут безопасность и закон. Старое уезжает в объектное хранилище, а debug и health-check'и режутся ещё на агенте

Loki начал отвечать агенту 429. Куда смотреть?

В loki_discarded_samples_total по метке reason: упёрлись в приём тенанта, в лимит потока или в число потоков. Если потоков много, ищу метку с растущей кардинальностью и переношу её в structured metadata. Если один поток слишком толстый, добавляю ему метку, например container. Лимиты поднимаю в последнюю очередь

📚 Что почитать