1. Главная
  2. Хаб
  3. Сценарии
  4. События между микросервисами на Managed Kafka: топики, пользователи и потоковая обработка

Сценарий 38

События между микросервисами на Managed Kafka: топики, пользователи и потоковая обработка

Поднимаем Kafka в сети проекта, заводим топик заказов и отдельных пользователей для каждого сервиса, пишем продюсер и консьюмер на Python, а затем добавляем маленький обработчик потока: читает заказы, обогащает и публикует в новый топик.

45 минСредний8 шагов Kafka, Серверы обновлено

Содержание
  1. 01Создайте кластер Kafka
  2. 02Создайте топики
  3. 03Заведите пользователя на каждый сервис
  4. 04Создайте сервер сервисов в той же сети
  5. 05Подготовьте клиент на сервере
  6. 06Продюсер: сервис оформления пишет заказы
  7. 07Консьюмер: сервис биллинга читает в группе
  8. 08Обработчик потока: читает, обогащает и публикует дальше
  9. Проверка результата
  10. Как удалить ресурсы
  11. Типичные ошибки
  12. Сколько стоит

Что получится

Kafka 4.x с топиками orders и orders.enriched, три пользователя с минимальными правами (checkout, billing, enricher), сервер в той же VPC с работающими продюсером, группой потребителей и обработчиком потока consume → transform → produce.

Что понадобится

  • Аккаунт h3llo.cloud и проект.
  • SSH-ключ в профиле консоли. Как его добавить, показано в сценарии «Сайт на облачном сервере».
  • Для варианта с CLI — h3 и API-ключ проекта (h3 init).
  1. Шаг 1. Создайте кластер Kafka

    Kafka работает только внутри сети проекта: публичного адреса у неё нет. Клиенты — серверы и кластеры Kubernetes того же проекта.

    Для пробы хватит одного брокера. Для продакшена выберите три: каждое сообщение хранится на трёх брокерах, и кластер работает, пока доступны два из них. Число брокеров после создания не меняется.

    Консоль

    1. В меню проекта откройте Базы данных и нажмите Создать базу данных (если базы уже есть — Создать).
    2. СУБД — Kafka, последняя версия в списке. Брокеры — «1 брокер».
    3. Автосоздание топиков оставьте выключенным: топики заведём сами, с нужным числом партиций.
    4. vCPU — 1, RAM — 2 ГБ, Диски — 10 ГБ (это ресурсы одного брокера).
    5. Имя базы данных — events. Сеть оставьте предложенной.
    6. Нажмите Создать базу данных.

    CLI

    Терминал
    h3 db create --name events --engine kafka --cpu 1 --memory 2Gi --size 10
    # три брокера:
    # echo '{"kafkaConfig":{"brokers":3}}' | h3 db create --from-file - --name events --engine kafka --cpu 1 --memory 2Gi --size 10
    h3 db list

    Проверка

    Статус кластера — «Работает». В карточке появился раздел «Подключение» с полем «Адреса брокеров» (значение bootstrap.servers) и кнопкой Скачать ca.crt.

    Если не получилось

    • «Kafka пока недоступна на этой платформе» — движок выключен для вашего проекта; напишите в поддержку.
  2. Шаг 2. Создайте топики

    Топик orders — события «заказ создан» от сервиса оформления. Партиций три: столько потребителей одной группы смогут читать его параллельно. Число партиций потом можно только увеличить.

    Консоль

    1. В карточке кластера в разделе «Топики» нажмите Создать топик.
    2. В окне «Новый топик»: Имя топика orders, Партиции 3, Срок хранения, часов — пусто (7 дней). Нажмите Создать.
    3. Так же создайте топик orders.enriched с 3 партициями — в него обработчик будет писать результат.

    CLI

    Терминал
    h3 db topic create <id кластера> --name orders --partitions 3
    h3 db topic create <id кластера> --name orders.enriched --partitions 3
    h3 db topic list <id кластера>

    Проверка

    В таблице «Топики» две строки, в колонке «Партиции» — 3, «Срок хранения» — 7 дней.

    Если не получилось

    • «Недопустимое имя топика» — допустимы латинские буквы, цифры, точка, _ и -, до 249 символов, имя не начинается с __.
  3. Шаг 3. Заведите пользователя на каждый сервис

    Не давайте всем сервисам общий пароль: утечка из одного сервиса откроет все топики. Права выдаются на топик, на префикс со звёздочкой (orders.*) или на все топики (*). Любой пользователь может работать в любой группе потребителей — иначе консьюмер не сможет сохранять прочитанные смещения.

    Логин для подключения — имя пользователя с суффиксом кластера, например checkout-1a2b3c4d. Консоль показывает его в окне создания.

    Консоль

    1. В разделе «Пользователи» нажмите Создать пользователя. В окне «Новый пользователь»: Имя пользователя checkout, Доступ — «Чтение и запись», Топики orders. Нажмите Создать.
    2. В окне «Пользователь создан» скопируйте Логин и Пароль и нажмите Я сохранил пароль.
    3. Повторите для billing — «Только чтение», топики orders — и для enricher — «Чтение и запись», топики orders* (обработчику нужно читать orders и писать в orders.enriched).

    CLI

    Терминал
    echo '{"name":"checkout","grants":[{"database":"orders","preset":"readwrite"}]}' | h3 db user create <id кластера> --from-file -
    echo '{"name":"billing","grants":[{"database":"orders","preset":"readonly"}]}'  | h3 db user create <id кластера> --from-file -
    echo '{"name":"enricher","grants":[{"database":"orders*","preset":"readwrite"}]}' | h3 db user create <id кластера> --from-file -
    h3 db user list <id кластера>

    Проверка

    В таблице «Пользователи» три логина, в колонке «Доступ» — топики и уровень доступа. Пароль можно посмотреть позже: меню пользователя → Показать пароль.

    Если не получилось

    • «Пользователь создан, пароль ещё не готов» — пароль выпускается в течение минуты. Откройте Показать пароль чуть позже.
    • Лимит — 20 пользователей на кластер.
  4. Шаг 4. Создайте сервер сервисов в той же сети

    Сервисы будут работать на одном сервере, для примера этого хватит. Публичный IP нужен только для SSH; к Kafka сервер ходит по внутренним адресам.

    Консоль

    1. Откройте Инстансы и нажмите Создать (в пустом списке — Создать виртуальную машину).
    2. ОС → вкладка Образы ОС → Ubuntu 24.04 LTS. vCPU — 1, RAM — 2 ГБ, Диски — 20 ГБ.
    3. Имя виртуальной машины — svc-1. Сеть — та же, что у кластера Kafka. SSH-ключи — ваш ключ. Публичный IPv4 — «Вкл.», «Выделить новый IP».
    4. Нажмите Собрать и запустить.

    Terraform

    main.tf
    resource "h3_vm" "svc" {
      project_id = var.project_id
      name       = "svc-1"
      cpu        = 1
      memory     = "2Gi"
      image      = "ubuntu:24.04"
      disk_size  = "20Gi"
      ssh_key    = trimspace(var.ssh_public_key)
      white_ip   = true
    }

    CLI

    Терминал
    h3 vm create --name svc-1 --image ubuntu:24.04 --cpu 1 --memory 2Gi --disk-size 20Gi \
      --ssh-key-ids <id ключа> --white-ip

    Проверка

    Сервер в статусе «Работает», по SSH пускает: ssh user@<IP сервера>.

  5. Шаг 5. Подготовьте клиент на сервере

    Скачайте в карточке кластера Скачать ca.crt и скопируйте адреса брокеров. Клиент проверяет сертификат брокера по этому CA.

    На вашем компьютере
    scp ~/Downloads/ca.crt user@<IP сервера>:~/kafka-ca.crt
    На сервере
    sudo apt update && sudo apt install -y python3-venv kcat
    python3 -m venv ~/kafka-venv && ~/kafka-venv/bin/pip install confluent-kafka
    cat > ~/kafka.env <<'EOF'
    BOOTSTRAP=<адреса брокеров из карточки>
    CHECKOUT_LOGIN=<логин checkout>
    CHECKOUT_PASSWORD=<пароль checkout>
    BILLING_LOGIN=<логин billing>
    BILLING_PASSWORD=<пароль billing>
    ENRICHER_LOGIN=<логин enricher>
    ENRICHER_PASSWORD=<пароль enricher>
    EOF
    chmod 600 ~/kafka.env

    Проверка

    kcat видит кластер и топики (метаданные доступны любому пользователю с правами на топик):

    Терминал
    set -a; . ~/kafka.env; set +a
    kcat -L -b "$BOOTSTRAP" -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 \
      -X sasl.username="$BILLING_LOGIN" -X sasl.password="$BILLING_PASSWORD" -X ssl.ca.location=$HOME/kafka-ca.crt | head

    Если не получилось

    • Authentication failed — в sasl.username указано имя без суффикса. Нужен логин целиком, как в колонке «Логин».
    • certificate verify failed — не тот файл CA: у Kafka свой сертификат, скачайте его кнопкой Скачать ca.crt именно этого кластера.
    • Подключение висит — сервер в другой сети или проекте. Kafka доступна только из VPC своего проекта.
  6. Шаг 6. Продюсер: сервис оформления пишет заказы

    ~/producer.py
    import json, os, random, time
    from confluent_kafka import Producer
    
    p = Producer({
        "bootstrap.servers": os.environ["BOOTSTRAP"],
        "security.protocol": "SASL_SSL",
        "sasl.mechanisms": "SCRAM-SHA-512",
        "sasl.username": os.environ["CHECKOUT_LOGIN"],
        "sasl.password": os.environ["CHECKOUT_PASSWORD"],
        "ssl.ca.location": os.path.expanduser("~/kafka-ca.crt"),
        "acks": "all",
        "enable.idempotence": True,
    })
    
    for i in range(1, 11):
        order = {"order_id": i, "user_id": random.randint(1, 5), "amount": round(random.uniform(100, 5000), 2), "ts": int(time.time())}
        # ключ — пользователь: все заказы одного пользователя попадут в одну партицию и сохранят порядок
        p.produce("orders", key=str(order["user_id"]), value=json.dumps(order))
    p.flush(10)
    print("sent 10 orders")
    Запуск
    set -a; . ~/kafka.env; set +a
    ~/kafka-venv/bin/python ~/producer.py

    Проверка

    Скрипт печатает sent 10 orders, а kcat читает их из топика:

    Терминал
    kcat -C -b "$BOOTSTRAP" -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 \
      -X sasl.username="$BILLING_LOGIN" -X sasl.password="$BILLING_PASSWORD" -X ssl.ca.location=$HOME/kafka-ca.crt \
      -t orders -o beginning -e -f '%p %k %s\n'

    Если не получилось

    • TOPIC_AUTHORIZATION_FAILED — у пользователя нет права записи в этот топик. Проверьте колонку «Доступ» или выдайте доступ через меню пользователя → Изменить доступ (новый доступ заменяет текущий).
  7. Шаг 7. Консьюмер: сервис биллинга читает в группе

    Потребители с одинаковым group.id делят партиции между собой: запустите скрипт в двух терминалах — каждый получит свою часть заказов. Смещения сохраняются после обработки, поэтому после перезапуска чтение продолжится с места остановки.

    ~/consumer.py
    import json, os
    from confluent_kafka import Consumer
    
    c = Consumer({
        "bootstrap.servers": os.environ["BOOTSTRAP"],
        "security.protocol": "SASL_SSL",
        "sasl.mechanisms": "SCRAM-SHA-512",
        "sasl.username": os.environ["BILLING_LOGIN"],
        "sasl.password": os.environ["BILLING_PASSWORD"],
        "ssl.ca.location": os.path.expanduser("~/kafka-ca.crt"),
        "group.id": "billing",
        "auto.offset.reset": "earliest",
        "enable.auto.commit": False,
    })
    c.subscribe(["orders"])
    try:
        while True:
            msg = c.poll(1.0)
            if msg is None:
                continue
            if msg.error():
                print("error:", msg.error()); continue
            order = json.loads(msg.value())
            print(f"partition={msg.partition()} invoice for order {order['order_id']}: {order['amount']} RUB")
            c.commit(message=msg)   # фиксируем смещение только после обработки
    finally:
        c.close()
    Запуск
    set -a; . ~/kafka.env; set +a
    ~/kafka-venv/bin/python ~/consumer.py

    Проверка

    Консьюмер печатает 10 строк «invoice for order …». Остановите его (Ctrl+C), отправьте ещё заказы продюсером и запустите снова — придут только новые.

  8. Шаг 8. Обработчик потока: читает, обогащает и публикует дальше

    Простейшая потоковая обработка — это консьюмер и продюсер в одном процессе: прочитать событие, посчитать, записать результат в другой топик и только после этого зафиксировать смещение. При сбое событие обработается ещё раз, поэтому потребители orders.enriched должны спокойно переносить повторы (например, по order_id).

    ~/enricher.py
    import json, os
    from confluent_kafka import Consumer, Producer
    
    common = {
        "bootstrap.servers": os.environ["BOOTSTRAP"],
        "security.protocol": "SASL_SSL",
        "sasl.mechanisms": "SCRAM-SHA-512",
        "sasl.username": os.environ["ENRICHER_LOGIN"],
        "sasl.password": os.environ["ENRICHER_PASSWORD"],
        "ssl.ca.location": os.path.expanduser("~/kafka-ca.crt"),
    }
    c = Consumer({**common, "group.id": "enricher", "auto.offset.reset": "earliest", "enable.auto.commit": False})
    p = Producer({**common, "acks": "all", "enable.idempotence": True})
    c.subscribe(["orders"])
    while True:
        msg = c.poll(1.0)
        if msg is None or msg.error():
            continue
        order = json.loads(msg.value())
        order["segment"] = "large" if order["amount"] >= 3000 else "regular"
        order["amount_with_vat"] = round(order["amount"] * 1.2, 2)
        p.produce("orders.enriched", key=msg.key(), value=json.dumps(order))
        p.flush(10)                 # результат записан …
        c.commit(message=msg)       # … и только потом смещение
    Запуск в фоне и проверка результата
    set -a; . ~/kafka.env; set +a
    nohup ~/kafka-venv/bin/python ~/enricher.py > ~/enricher.log 2>&1 &
    ~/kafka-venv/bin/python ~/producer.py
    kcat -C -b "$BOOTSTRAP" -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 \
      -X sasl.username="$ENRICHER_LOGIN" -X sasl.password="$ENRICHER_PASSWORD" -X ssl.ca.location=$HOME/kafka-ca.crt \
      -t orders.enriched -o beginning -e

    Проверка

    В orders.enriched лежат заказы с полями segment и amount_with_vat. Для постоянной работы оформите обработчик как сервис systemd или под в Kubernetes того же проекта.

Проверка результата

В карточке кластера: топики orders и orders.enriched, три пользователя со своими правами. Пользователь billing не может писать — попытка записи завершается ошибкой авторизации:

Терминал
echo test | kcat -P -b "$BOOTSTRAP" -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 \
  -X sasl.username="$BILLING_LOGIN" -X sasl.password="$BILLING_PASSWORD" -X ssl.ca.location=$HOME/kafka-ca.crt -t orders

Как удалить ресурсы

У Kafka нет резервных копий: удаление кластера удаляет все сообщения без возможности восстановления.

CLI

Терминал
h3 db delete <id кластера>
h3 vm delete <id сервера>
  1. Остановите обработчик: pkill -f enricher.py.
  2. Базы данных → events → меню «…» → Удалить и подтвердите.
  3. Инстансы → svc-1 → Удалить. Проверьте раздел IP адреса: свободный адрес продолжает оплачиваться, удалите его через меню строки → Удалить.

Типичные ошибки

Сколько партиций делать?

Столько, сколько потребителей одной группы вы хотите запускать параллельно, с запасом. Увеличить число партиций можно в любой момент («Изменить» в меню топика), уменьшить — нельзя. Учтите, что после увеличения ключи распределяются по партициям заново и порядок для ключа гарантируется только для новых сообщений.

Приложение само создаёт топики, а Kafka отвечает, что топика нет

Автосоздание топиков выключено по умолчанию. Его включают при создании кластера переключателем «Автосоздание топиков» — тогда пользователи с правом записи создают топики сами, но такие топики не видны в списке консоли.

Можно ли подключиться к Kafka со своего компьютера?

Нет, у Kafka нет публичного адреса. Работайте с сервера или из кластера Kubernetes того же проекта, а для отладки — через SSH на сервер.

Где хранить пароли сервисов?

Не в коде и не в образе: в переменных окружения сервиса или в Secret Kubernetes. Пароль можно сменить в меню пользователя → «Сбросить пароль» — старый перестанет работать сразу.

Связанные продукты и материалы

Сколько стоит

≈ 5,23 ₽ в час · 3 762 ₽ в месяц при работе 24/7

vCPU брокера Kafka1 × 900 ₽
RAM брокера Kafka, ГБ2 × 360 ₽
Диск брокера до 20 000 IOPS*, ГБ10 × 14,40 ₽
vCPU сервера сервисов1 × 900 ₽
RAM сервера сервисов, ГБ2 × 360 ₽
Диск сервера до 20 000 IOPS*, ГБ20 × 14,40 ₽
Публичный IPv4 сервера (для SSH)1 × 90 ₽

Расчёт сделан для одного брокера: это конфигурация для разработки. В кластере из трёх брокеров каждый брокер оплачивается отдельно. Трафик внутри VPC бесплатен.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.

* IOPS растут с объёмом диска; точные значения для вашего объёма видны в консоли при выборе.