1. Главная
  2. Хаб
  3. Сценарии
  4. Логи серверов в ClickHouse: Vector, поиск по словам и холодный архив в S3

Сценарий 21

Логи серверов в ClickHouse: Vector, поиск по словам и холодный архив в S3

Собираем журналы systemd со всех серверов агентом Vector и складываем в управляемый ClickHouse. Свежие логи лежат на быстром диске, через неделю сами уезжают в объектное хранилище, через 90 дней удаляются. Поиск — обычным SQL с индексом по словам.

40 минСредний5 шагов ClickHouse, Серверы, S3 обновлено

Содержание
  1. 01Создайте ClickHouse с гибридным хранилищем
  2. 02Заведите базу и пользователей с разными правами
  3. 03Создайте таблицу логов с TTL и архивом
  4. 04Установите Vector на серверы
  5. 05Ищите в логах обычным SQL
  6. Проверка результата
  7. Как удалить ресурсы
  8. Типичные ошибки
  9. Сколько стоит

Что получится

ClickHouse с гибридным хранилищем, таблица logs.journal с TTL «7 дней на диске → архив в S3 → удаление через 90 дней», агент Vector на серверах, пишущий от пользователя только с правом вставки, и аналитик с доступом только на чтение.

Что понадобится

  • Один или несколько серверов Ubuntu в сети проекта, с которых собираем логи, — например, из сценария «Сайт на облачном сервере».
  • CLI h3 с API-ключом проекта (h3 init).
  1. Шаг 1. Создайте ClickHouse с гибридным хранилищем

    Гибридное хранилище задаётся только при создании базы: у неё появляется диск cold в объектном хранилище платформы и политика hot_cold. Включить его у существующей базы нельзя.

    CLI

    Терминал
    echo '{"clickhouseConfig":{"coldStorage":true}}' | \
      h3 db create --from-file - --name logs-ch --engine clickhouse --version 26.8 --cpu 2 --memory 4Gi --size 50
    h3 db get <id ClickHouse> -o json     # status RUNNING, internalIP — адрес в VPC

    API

    Терминал
    h3 api POST /api/databases/v1 -d '{
      "projectId": "<id проекта>", "name": "logs-ch", "engine": "clickhouse", "version": "26.8",
      "cpu": 2, "memory": "4Gi", "sizeGb": "50",
      "clickhouseConfig": {"coldStorage": true}
    }'

    Проверка

    В консоли, в Базы данных, база logs-ch в статусе «Работает»; в блоке «Подключение» на вкладке «Внутри VPC» — Адрес в VPC. Запишите его.

  2. Шаг 2. Заведите базу и пользователей с разными правами

    У каждого из трёх пользователей своя роль: logs_admin владеет базой и меняет схему, vector только вставляет строки (пресет readwrite), analyst только читает (readonly) с профилем small: запросу достаётся четверть памяти сервера и до 60 секунд, чтобы тяжёлый поиск не мешал записи.

    CLI

    Терминал
    h3 db user create <id ClickHouse> --name logs_admin
    h3 db database create <id ClickHouse> --name logs --owner logs_admin
    echo '{"name":"vector","grants":[{"database":"logs","preset":"readwrite"}]}' | h3 db user create <id ClickHouse> --from-file -
    echo '{"name":"analyst","grants":[{"database":"logs","preset":"readonly"}],"profile":"small","quota":"basic"}' | \
      h3 db user create <id ClickHouse> --from-file -
    h3 db user list <id ClickHouse>

    Проверка

    Три пользователя в статусе «READY», у каждого свой пресет на logs. Пароли сохраните из ответов команд; посмотреть снова — h3 db user credentials <id ClickHouse> <имя>.

    Если не получилось

    • Логи держите в отдельной базе, как здесь: пока объектное хранилище недоступно, база с холодными кусками не открывается — включая горячие куски её таблиц. Остальные базы сервера работают.
  3. Шаг 3. Создайте таблицу логов с TTL и архивом

    Сортировка (host, unit, ts) делает быстрыми запросы «логи сервиса на хосте за период». Индекс tokenbf_v1 ускоряет поиск по словам в тексте сообщения. TTL переносит куски старше 7 дней на диск cold и удаляет строки старше 90 дней.

    Подключение к ClickHouse — только по TLS. Скачайте в карточке базы Скачать сертификат CA (h3llo-db-ca.pem); сертификат сервера выдан на имя db.h3llo.cloud, поэтому сопоставим имя с адресом базы в /etc/hosts.

    На сервере в сети проекта: клиент
    echo "<адрес в VPC> db.h3llo.cloud" | sudo tee -a /etc/hosts
    curl https://clickhouse.com/ | sh
    cat > ch.xml <<'EOF'
    <config>
      <openSSL><client>
        <loadDefaultCAFile>false</loadDefaultCAFile>
        <caConfig>/home/user/h3llo-db-ca.pem</caConfig>
        <verificationMode>strict</verificationMode>
        <invalidCertificateHandler><name>RejectCertificateHandler</name></invalidCertificateHandler>
      </client></openSSL>
    </config>
    EOF
    journal.sql
    CREATE TABLE logs.journal
    (
        ts      DateTime64(3),
        host    LowCardinality(String),
        unit    LowCardinality(String),
        level   LowCardinality(String),
        message String,
        INDEX message_tokens message TYPE tokenbf_v1(32768, 3, 0) GRANULARITY 4
    )
    ENGINE = MergeTree
    PARTITION BY toDate(ts)
    ORDER BY (host, unit, ts)
    TTL toDateTime(ts) + INTERVAL 7 DAY TO DISK 'cold',
        toDateTime(ts) + INTERVAL 90 DAY DELETE
    SETTINGS storage_policy = 'hot_cold';
    Выполнить от logs_admin
    ./clickhouse client --config-file ch.xml --secure --host db.h3llo.cloud --port 9440 \
      --user logs_admin --password '<пароль logs_admin>' --queries-file journal.sql

    Проверка

    Таблица создана, политика хранения — hot_cold:

    Терминал
    ./clickhouse client --config-file ch.xml --secure --host db.h3llo.cloud --port 9440 \
      --user logs_admin --password '<пароль logs_admin>' --query "SHOW CREATE TABLE logs.journal"

    Если не получилось

    • Unknown storage policy hot_cold — база создана без coldStorage. Уберите строку TO DISK 'cold' и SETTINGS или создайте новую базу с гибридным хранилищем.
  4. Шаг 4. Установите Vector на серверы

    Vector читает журнал systemd, приводит записи к колонкам таблицы и отправляет пачками по HTTPS на порт 8443. Пароль пользователя vector хранится в файле окружения службы, а не в конфиге.

    На каждом сервере
    bash -c "$(curl -L https://setup.vector.dev)"
    sudo apt install -y vector
    sudo usermod -aG systemd-journal vector
    echo "<адрес в VPC> db.h3llo.cloud" | sudo tee -a /etc/hosts
    sudo cp h3llo-db-ca.pem /etc/vector/h3llo-db-ca.pem
    echo 'CH_PASSWORD=<пароль vector>' | sudo tee /etc/default/vector >/dev/null
    sudo chmod 600 /etc/default/vector
    /etc/vector/vector.yaml
    sources:
      journal:
        type: journald
        current_boot_only: false
    
    transforms:
      to_row:
        type: remap
        inputs: [journal]
        source: |
          ts = format_timestamp!(.timestamp, format: "%Y-%m-%d %H:%M:%S%.3f")
          unit = string(._SYSTEMD_UNIT) ?? "kernel"
          level = to_syslog_level(to_int(.PRIORITY) ?? 6) ?? "info"
          . = {"ts": ts, "host": .host, "unit": unit, "level": level, "message": string(.message) ?? ""}
    
    sinks:
      clickhouse:
        type: clickhouse
        inputs: [to_row]
        endpoint: https://db.h3llo.cloud:8443
        database: logs
        table: journal
        auth:
          strategy: basic
          user: vector
          password: "${CH_PASSWORD}"
        tls:
          ca_file: /etc/vector/h3llo-db-ca.pem
        batch:
          timeout_secs: 5
    Проверить конфиг и запустить
    sudo vector validate /etc/vector/vector.yaml
    sudo systemctl enable --now vector
    sudo systemctl restart vector

    Проверка

    vector validate печатает Validated, служба в статусе active (running), в journalctl -u vector -n 20 нет ошибок отправки.

    Если не получилось

    • Authentication failed в журнале Vector — неверный пароль или пользователь. Пароль: h3 db user credentials <id ClickHouse> vector.
    • certificate verify failed — не сопоставлено имя db.h3llo.cloud с адресом в /etc/hosts или не тот файл CA.
    • Cannot parse input — колонки таблицы и поля события не совпадают. Проверьте, что transform отдаёт только ts, host, unit, level, message.
  5. Шаг 5. Ищите в логах обычным SQL

    Время в ts — UTC. hasToken ищет целое слово и использует индекс; ILIKE '%…%' найдёт и часть слова, но читает больше данных.

    Запросы аналитика
    -- ошибки за последний час
    SELECT ts, host, unit, message
    FROM logs.journal
    WHERE level IN ('err', 'crit', 'alert', 'emerg') AND ts > now() - INTERVAL 1 HOUR
    ORDER BY ts DESC LIMIT 50;
    
    -- кто стучался по SSH
    SELECT host, count() AS attempts
    FROM logs.journal
    WHERE unit = 'ssh.service' AND hasToken(message, 'Invalid') AND ts > now() - INTERVAL 1 DAY
    GROUP BY host ORDER BY attempts DESC;
    От пользователя analyst
    ./clickhouse client --config-file ch.xml --secure --host db.h3llo.cloud --port 9440 \
      --user analyst --password '<пароль analyst>' --database logs

    Проверка

    Запросы возвращают свежие строки со всех серверов, где работает Vector. Попытка analyst удалить данные (TRUNCATE TABLE logs.journal) завершается ACCESS_DENIED.

Проверка результата

Через неделю работы старые куски переезжают на диск cold. Распределение по дискам видно в системной таблице:

Терминал
./clickhouse client --config-file ch.xml --secure --host db.h3llo.cloud --port 9440 --user logs_admin --password '<пароль logs_admin>' \
  --query "SELECT disk_name, count() AS parts, formatReadableSize(sum(bytes_on_disk)) AS size FROM system.parts WHERE database = 'logs' AND active GROUP BY disk_name"

Как удалить ресурсы

Удаление базы удаляет и горячие данные, и архив на диске cold.

CLI

Терминал
h3 db delete <id ClickHouse>
  1. На серверах остановите агент: sudo systemctl disable --now vector.
  2. Базы данных → logs-ch → меню «…» → Удалить.

Типичные ошибки

Можно ли отправлять логи через Kafka, а не напрямую?

Да, это надёжнее при всплесках: Vector пишет в топик Managed Kafka (sink `kafka` с SASL_SSL и SCRAM-SHA-512), а ClickHouse забирает его через интеграцию Kafka и материализованное представление — как в сценарии о потоке событий из Kafka в ClickHouse. Kafka при этом сглаживает пики и держит события, пока ClickHouse перезапускается.

Холодные данные читаются медленно

Первое чтение куска на `cold` идёт из S3, дальше работает локальный кеш. Держите на быстром диске тот период, по которому ищут чаще всего, — поменять TTL можно в любой момент: `ALTER TABLE logs.journal MODIFY TTL …`.

Почему не OpenSearch?

Полнотекстовый поиск с морфологией у OpenSearch лучше, но логи — это в основном фильтры по времени, хосту и сервису плюс поиск слов. ClickHouse хранит их в разы компактнее, а холодный архив в S3 дешевле дисков.

Как ограничить аналитиков, чтобы тяжёлый запрос не положил базу?

Профиль `small` или квота `basic` у пользователя: `h3 api PATCH /api/databases/v1/<id ClickHouse>/users/analyst -d '{"profile":"small","quota":"basic"}'` — применяется без перезапуска.

Связанные продукты и материалы

Сколько стоит

≈ 6,18 ₽ в час · 4 446 ₽ в месяц при работе 24/7

vCPU ClickHouse2 × 1 035 ₽
RAM ClickHouse, ГБ4 × 414 ₽
Диск ClickHouse до 20 000 IOPS*, ГБ (горячие логи и кеш)50 × 14,40 ₽

Холодный архив оплачивается отдельно по фактическому объёму в S3 — 2,58 ₽ за ГБ в месяц. Логи сжимаются в ClickHouse в 5–15 раз, поэтому архив обычно в разы меньше исходных файлов. Агент Vector работает на ваших серверах и отдельно не оплачивается.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.

* IOPS растут с объёмом диска; точные значения для вашего объёма видны в консоли при выборе.