🪵 Сбор логов в кластере
В кластере логи собирает агент на каждом узле: он читает файлы контейнеров, дописывает к строкам имя пода и namespace и отправляет их в хранилище. О нём вспоминают, когда хранилище легло, агент съел память узла или счёт за S3 вырос втрое. Тогда решают буфер, метки и retention
🧠 Как устроен сбор
Kubelet и рантайм пишут stdout контейнеров в файлы /var/log/pods/<namespace>_<под>_<uid>/<контейнер>/0.log, а в /var/log/containers лежат симлинки на них с плоскими именами. Агент работает как DaemonSet: по копии на узел, каталог узла смонтирован через hostPath. Со строкой он делает пять вещей:
- Читает файлы и помнит позицию в каждом, переживая ротацию. Vector хранит позиции в
data_dir, Fluent Bit — в базеdbу входаtail - Разбирает формат CRI: время, поток, флаг
PилиFи текст. Длинную строку рантайм режет на части с флагомP, и агент склеивает их обратно (у Vectorauto_partial_mergeвключён по умолчанию, у Fluent Bitmultiline.parser: docker,cri) - Обогащает: под и контейнер берёт из пути файла, метки пода и владельца спрашивает у API-сервера и кэширует. Fluent Bit на больших кластерах можно перевести на kubelet своего узла (
Use_Kubelet On) - Обрабатывает: JSON, стектрейсы, шум
- Буферизует и отправляет пачками, с ретраями
Sidecar и агрегатор
Sidecar — второй контейнер в поде, который читает лог-файл приложения из общего тома. Он нужен, когда приложение не умеет писать в stdout, когда сервису нужен свой конвейер с отдельными правами, или когда DaemonSet поставить нельзя, как на Fargate. Платишь памятью в каждом поде и ротацией файла, которую kubelet за тебя не сделает
Агрегатор — центральный слой между агентами и хранилищем: Vector в роли aggregator или Kafka. Агенты только читают и обогащают, агрегатор делает тяжёлые преобразования, пишет в несколько хранилищ и держит ключи к ним. Kafka перед хранилищем даёт часы буфера и повторное чтение: лёг ClickHouse или нашли ошибку в парсере — консьюмер перечитает топик с нужного смещения. Цена — ещё одна система в эксплуатации, и кластеру на 20 узлов с Loki агрегатор обычно не нужен
🧩 Агенты
| Агент | Что это | Когда брать |
|---|---|---|
| Vector | Rust, один бинарник для агента и агрегатора, преобразования на VRL | Обработка на лету, несколько хранилищ, Kafka или ClickHouse |
| Fluent Bit | C, лёгкий, CNCF graduated | Агент по умолчанию во многих Helm-чартах и облаках |
| Fluentd | Ruby и C, огромный каталог плагинов, тяжелее по памяти | Агрегатор за Fluent Bit или старые установки |
| Grafana Alloy | Сборщик Grafana на базе OpenTelemetry Collector: метрики, логи и трейсы одним агентом | Стек Grafana, замена Promtail |
| Promtail | Агент Loki | Только поддерживать существующее |
Promtail закончил жизнь 2 марта 2026: Grafana пишет, что обновлений больше не будет, развивается Alloy. Конфиг Promtail переводится в синтаксис Alloy командой alloy convert. Сам Alloy читает логи подов либо по файлам как DaemonSet (loki.source.file), либо через API (loki.source.kubernetes) без доступа к диску узла, но с большей нагрузкой на kubelet
🗄️ Хранилища
| Loki | Elasticsearch / OpenSearch | ClickHouse | |
|---|---|---|---|
| Что индексируется | Только метки потока, текст лежит сжатыми чанками | Каждое поле: инвертированный индекс по токенам | Первичный ключ (ORDER BY) и skip-индексы, с 26.2 текстовый индекс в GA |
| Чем платят | Поиск по редкому слову читает все чанки выбранных потоков | Индекс сравним с объёмом данных, память под кучу JVM и файловый кэш, шарды и реплики | Проектированием схемы: колонки ищутся быстро, остальное сканом |
| Где данные | Объектное хранилище (S3, MinIO) | Локальные диски узлов | Локальные диски, старые части можно в S3 |
| Стоимость | Дёшево хранить | Самое дорогое на гигабайт | Колоночное сжатие, дёшево на больших объёмах |
| Язык | LogQL | KQL и Lucene | SQL |
Loki выбирают, когда логи читают по сервису и времени и у команды уже Grafana. Elasticsearch или OpenSearch — когда нужен полнотекстовый поиск по всем полям или SIEM. ClickHouse — когда логов терабайты в день, их агрегируют как события («сколько 5xx по эндпоинтам за сутки») и есть кому спроектировать таблицу
🏷️ Потоки, чанки и лимиты Loki
Поток (stream) в Loki — уникальный набор меток, и ingester держит каждый поток в памяти отдельным чанком. Чанк сжимается (по умолчанию gzip) и уходит в хранилище, когда дорос до chunk_target_size (1,5 МБ сжатого), простоял без записей chunk_idle_period (30 минут) или прожил max_chunk_age (2 часа). Поэтому 50 тысяч мелких потоков — это 50 тысяч полупустых чанков в памяти и россыпь мелких объектов в S3
Лимиты из limits_config, в которые упираются первыми:
| Настройка | По умолчанию | Что ограничивает |
|---|---|---|
max_global_streams_per_user | 5000 | Активные потоки тенанта на кластер |
max_label_names_per_series | 15 | Число меток у потока |
ingestion_rate_mb / ingestion_burst_size_mb | 4 / 6 | Приём тенанта, МБ в секунду |
per_stream_rate_limit / per_stream_rate_limit_burst | 3MB / 15MB | Приём одного потока |
max_line_size | 256KB | Длина строки |
При превышении Loki отвечает агенту 429, а отброшенное видно в loki_discarded_samples_total с причиной в метке reason. На эту метрику стоит алерт
Куда класть поля:
- метки — то, с чего начинается любой запрос: кластер, namespace, приложение, контейнер. Десятки значений, а не тысячи
- structured metadata — пары ключ-значение рядом со строкой, без индекса: имя пода, id контейнера, trace id. Нужны схема v13 и индекс
tsdb, приём включён по умолчанию. Фильтр пишется после селектора:{namespace="shop"} | pod="cart-7d9f-x2k4q" - поля в JSON строки — всё остальное, разбирается на запросе:
| json | status >= 500
Обратная крайность тоже ломает: с одной меткой {cluster="prod"} весь трафик идёт в один поток, он упирается в per_stream_rate_limit, а каждый запрос читает всё подряд
🔍 Где парсить
JSON дешевле regexp. Разбор JSON — одна функция без настройки, регулярка под текстовый формат ломается от первого изменения шаблона лога и стоит CPU на каждой строке. Проще договориться с командой о JSON-логгере, чем поддерживать регулярки
Парсить на агенте — значит платить CPU каждого узла, зато в хранилище приходят готовые поля, и шум отбрасывается до отправки. Парсинг в хранилище дешевле на входе: Loki разбирает | json при каждом запросе, Elasticsearch гоняет ingest pipeline на своих узлах. Обычный компромисс — JSON и отсев мусора на агенте, тяжёлое в агрегаторе или на запросе
🛠️ Пример: Vector в Kubernetes с отправкой в Loki
Конфиг агента для DaemonSet. Проверен командой vector validate --no-environment на Vector 0.58, в кластере не запускался
data_dir: /var/lib/vector
sources:
pods:
type: kubernetes_logs # читает /var/log/pods своего узла
transforms:
parsed:
type: remap
inputs: [pods]
source: |
# JSON-строку раскладываем на поля, обычный текст оставляем как есть
parsed, err = parse_json(.message)
if err == null && is_object(parsed) {
. = merge!(., parsed)
}
sinks:
loki:
type: loki
inputs: [parsed]
endpoint: http://loki-gateway.logging.svc
encoding:
codec: json
labels: # только то, что мало меняется
namespace: "{{ kubernetes.pod_namespace }}"
app: "{{ kubernetes.pod_labels.\"app.kubernetes.io/name\" }}"
container: "{{ kubernetes.container_name }}"
structured_metadata:
pod: "{{ kubernetes.pod_name }}"
buffer:
type: disk
max_size: 1073741824 # 1 ГиБ на узле, дальше block
when_full: blockdata_dir кладут на hostPath: в emptyDir рестарт пода стирает позиции и буфер, и агент либо перечитает файлы с начала (дубли), либо начнёт с конца (дыра). Имя пода ушло в structured metadata, потому что после каждого деплоя новое имя в метке стало бы новым потоком
🧯 Если хранилище недоступно
Агент копит строки в буфере, и исход зависит от того, где буфер:
- в памяти — по умолчанию и у Vector, и у Fluent Bit. Рестарт агента теряет накопленное. У Fluent Bit
mem_buf_limitпо умолчанию не ограничен, и агент может съесть память узла - на диске — Vector
buffer.type: disk(минимум около 256 МиБ), Fluent Bitstorage.type filesystem. Переживает рестарт
Когда буфер полон, Vector по умолчанию (when_full: block) включает backpressure: источник перестаёт читать файлы. Fluent Bit по storage.total_limit_size выбрасывает самые старые чанки. Backpressure не бесконечен: пока агент стоит, буфером служит сам лог-файл, а kubelet его ротирует. Посчитай: узел пишет 2 МБ в секунду, это около 7 ГБ за час, и буфер на 1 ГиБ кончится через 9 минут. Час без потерь даёт только Kafka или агрегатор с большим диском
После восстановления агенты разом шлют накопленное, Loki отвечает 429 по ingestion_rate_mb, и догон растягивается. Алерт на рост буфера агента заметит проблему раньше людей
⏳ Retention и стоимость
Горячие логи лежат последние дни на быстрых дисках, тёплые нужны неделями для разбора инцидентов, холодные хранят месяцами для аудита. Самый дешёвый лог тот, который не записали: debug и health-check'и с прода отбрасываются на агенте
| Срок | Дешёвое хранение | |
|---|---|---|
| Loki | Compactor с retention_enabled: true и retention_period. По умолчанию retention выключен, логи хранятся вечно. retention_stream задаёт срок по селектору, например 3 дня для {namespace="dev"} | Чанки и так в S3. Lifecycle бакета — только страховка со сроком больше retention, иначе сломается индекс |
| Elasticsearch / OpenSearch | ILM (в OpenSearch ISM): фазы hot, warm, cold, frozen, delete и rollover по размеру шарда или возрасту | Warm и cold на дешёвых дисках с меньшим числом реплик, frozen — поиск по снапшотам в объектном хранилище |
| ClickHouse | TTL ts + INTERVAL 30 DAY DELETE, партиции по дню | TTL ts + INTERVAL 7 DAY TO VOLUME 'cold' переносит старые части на дешёвый том или S3 |
⚠️ Где ошибаются
- Имя пода, id запроса или
user_idв метках Loki. Потоки упираются вmax_global_streams_per_user, приём отвечает 429, и теряются логи нового деплоя - Буфер в памяти без лимита. Лёгшее хранилище превращается в OOM агента, а иногда и соседей по узлу
- Склейка стектрейсов после агрегатора. Строки разных подов там уже перемешаны, склеивать надо на агенте
- Retention «потом настроим». Loki по умолчанию ничего не удаляет, а Elasticsearch без ILM копит индексы, пока не упрётся в watermark диска и не перестанет писать
🎯 Вопросы с собеседований
Почему не ClickHouse для логов? А когда он как раз лучше?
ClickHouse силён, когда логи — события с понятной схемой: статус, эндпоинт, время ответа. Тогда «сколько 5xx по эндпоинтам за неделю» считается за секунды на терабайтах, а колоночное сжатие делает хранение дешевле Elasticsearch. Против: схему надо проектировать, и поиск по произвольной подстроке в message идёт сканом, если не настроен текстовый индекс (GA с 26.2). Беру ClickHouse под большие объёмы и аналитику, Loki или ELK — когда логи читают глазами
Loki или ELK — что выберешь и почему?
Loki индексирует только метки и хранит чанки в S3: дёшево и просто, но поиск по редкому слову без хорошего селектора читает много данных. Elasticsearch индексирует каждое поле и находит что угодно быстро, а платишь памятью, дисками под индекс и шардами. Запросы вида «логи сервиса за час с ошибкой» и Grafana в команде — Loki. Полнотекстовый поиск по всем полям или SIEM — ELK или OpenSearch
Как собирать логи в Kubernetes: DaemonSet или sidecar?
По умолчанию DaemonSet: один агент на узел читает /var/log/pods всех контейнеров, приложение пишет в stdout, ресурсы тратятся раз на узел. Sidecar — когда приложение пишет только в файл, когда сервису нужен свой конвейер и права, или когда DaemonSet поставить нельзя, как на Fargate
Хранилище логов легло на час. Что будет с логами?
Агент копит строки в буфере. Память теряется при рестарте агента, диск переживает рестарт, но конечен: 2 МБ в секунду с узла — около 7 ГБ за час. Полный буфер либо держит backpressure, и тогда логи теряются на ротации kubelet, либо выбрасывает события. Если час простоя не должен ничего терять, между агентами и хранилищем ставят Kafka
Как склеить многострочный стектрейс Java в одну запись?
Лучше всего не склеивать: JSON-логгер кладёт стектрейс в одно поле, и в stdout уходит одна строка. Если формат не поменять, склеиваю на агенте: новая запись начинается со строки с датой, а строки с at и Caused by: дописываются к предыдущей. В Fluent Bit это multiline-парсер (есть встроенный java), в Vector — transform reduce с starts_when. Группировать обязательно по поду и контейнеру, иначе строки соседей перемешаются
Сколько хранить логи и как не разориться?
Для отладки обычно хватает 7–14 дней, аудит и логи доступа держат столько, сколько скажут безопасность и закон. Старое уезжает в объектное хранилище, а debug и health-check'и режутся ещё на агенте
Loki начал отвечать агенту 429. Куда смотреть?
В loki_discarded_samples_total по метке reason: упёрлись в приём тенанта, в лимит потока или в число потоков. Если потоков много, ищу метку с растущей кардинальностью и переношу её в structured metadata. Если один поток слишком толстый, добавляю ему метку, например container. Лимиты поднимаю в последнюю очередь
📚 Что почитать
- Vector: kubernetes_logs — какие поля пода добавляются и как агент работает с файлами
- Fluent Bit: Kubernetes filter — обогащение метаданными,
Merge_Log,Use_Kubelet - Loki: structured metadata — что класть рядом со строкой вместо меток
- Loki: retention — compactor, сроки по селектору и почему lifecycle бакета опасен