Что получится
Kafka 4.x с топиками orders и orders.enriched, три пользователя с минимальными правами (checkout, billing, enricher), сервер в той же VPC с работающими продюсером, группой потребителей и обработчиком потока consume → transform → produce.
Что понадобится
- Аккаунт h3llo.cloud и проект.
- SSH-ключ в профиле консоли. Как его добавить, показано в сценарии «Сайт на облачном сервере».
- Для варианта с CLI —
h3и API-ключ проекта (h3 init).
-
Шаг 1. Создайте кластер Kafka
Kafka работает только внутри сети проекта: публичного адреса у неё нет. Клиенты — серверы и кластеры Kubernetes того же проекта.
Для пробы хватит одного брокера. Для продакшена выберите три: каждое сообщение хранится на трёх брокерах, и кластер работает, пока доступны два из них. Число брокеров после создания не меняется.
Консоль
- В меню проекта откройте Базы данных и нажмите Создать базу данных (если базы уже есть — Создать).
- СУБД — Kafka, последняя версия в списке. Брокеры — «1 брокер».
- Автосоздание топиков оставьте выключенным: топики заведём сами, с нужным числом партиций.
- vCPU — 1, RAM — 2 ГБ, Диски — 10 ГБ (это ресурсы одного брокера).
- Имя базы данных —
events. Сеть оставьте предложенной. - Нажмите Создать базу данных.
CLI
Терминалh3 db create --name events --engine kafka --cpu 1 --memory 2Gi --size 10 # три брокера: # echo '{"kafkaConfig":{"brokers":3}}' | h3 db create --from-file - --name events --engine kafka --cpu 1 --memory 2Gi --size 10 h3 db listПроверка
Статус кластера — «Работает». В карточке появился раздел «Подключение» с полем «Адреса брокеров» (значение
bootstrap.servers) и кнопкой Скачать ca.crt.Если не получилось
- «Kafka пока недоступна на этой платформе» — движок выключен для вашего проекта; напишите в поддержку.
-
Шаг 2. Создайте топики
Топик
orders— события «заказ создан» от сервиса оформления. Партиций три: столько потребителей одной группы смогут читать его параллельно. Число партиций потом можно только увеличить.Консоль
- В карточке кластера в разделе «Топики» нажмите Создать топик.
- В окне «Новый топик»: Имя топика
orders, Партиции3, Срок хранения, часов — пусто (7 дней). Нажмите Создать. - Так же создайте топик
orders.enrichedс 3 партициями — в него обработчик будет писать результат.
CLI
Терминалh3 db topic create <id кластера> --name orders --partitions 3 h3 db topic create <id кластера> --name orders.enriched --partitions 3 h3 db topic list <id кластера>Проверка
В таблице «Топики» две строки, в колонке «Партиции» — 3, «Срок хранения» — 7 дней.
Если не получилось
- «Недопустимое имя топика» — допустимы латинские буквы, цифры, точка,
_и-, до 249 символов, имя не начинается с__.
-
Шаг 3. Заведите пользователя на каждый сервис
Не давайте всем сервисам общий пароль: утечка из одного сервиса откроет все топики. Права выдаются на топик, на префикс со звёздочкой (
orders.*) или на все топики (*). Любой пользователь может работать в любой группе потребителей — иначе консьюмер не сможет сохранять прочитанные смещения.Логин для подключения — имя пользователя с суффиксом кластера, например
checkout-1a2b3c4d. Консоль показывает его в окне создания.Консоль
- В разделе «Пользователи» нажмите Создать пользователя. В окне «Новый пользователь»: Имя пользователя
checkout, Доступ — «Чтение и запись», Топикиorders. Нажмите Создать. - В окне «Пользователь создан» скопируйте Логин и Пароль и нажмите Я сохранил пароль.
- Повторите для
billing— «Только чтение», топикиorders— и дляenricher— «Чтение и запись», топикиorders*(обработчику нужно читатьordersи писать вorders.enriched).
CLI
Терминалecho '{"name":"checkout","grants":[{"database":"orders","preset":"readwrite"}]}' | h3 db user create <id кластера> --from-file - echo '{"name":"billing","grants":[{"database":"orders","preset":"readonly"}]}' | h3 db user create <id кластера> --from-file - echo '{"name":"enricher","grants":[{"database":"orders*","preset":"readwrite"}]}' | h3 db user create <id кластера> --from-file - h3 db user list <id кластера>Проверка
В таблице «Пользователи» три логина, в колонке «Доступ» — топики и уровень доступа. Пароль можно посмотреть позже: меню пользователя → Показать пароль.
Если не получилось
- «Пользователь создан, пароль ещё не готов» — пароль выпускается в течение минуты. Откройте Показать пароль чуть позже.
- Лимит — 20 пользователей на кластер.
- В разделе «Пользователи» нажмите Создать пользователя. В окне «Новый пользователь»: Имя пользователя
-
Шаг 4. Создайте сервер сервисов в той же сети
Сервисы будут работать на одном сервере, для примера этого хватит. Публичный IP нужен только для SSH; к Kafka сервер ходит по внутренним адресам.
Консоль
- Откройте Инстансы и нажмите Создать (в пустом списке — Создать виртуальную машину).
- ОС → вкладка Образы ОС → Ubuntu 24.04 LTS. vCPU — 1, RAM — 2 ГБ, Диски — 20 ГБ.
- Имя виртуальной машины —
svc-1. Сеть — та же, что у кластера Kafka. SSH-ключи — ваш ключ. Публичный IPv4 — «Вкл.», «Выделить новый IP». - Нажмите Собрать и запустить.
Terraform
main.tfresource "h3_vm" "svc" { project_id = var.project_id name = "svc-1" cpu = 1 memory = "2Gi" image = "ubuntu:24.04" disk_size = "20Gi" ssh_key = trimspace(var.ssh_public_key) white_ip = true }CLI
Терминалh3 vm create --name svc-1 --image ubuntu:24.04 --cpu 1 --memory 2Gi --disk-size 20Gi \ --ssh-key-ids <id ключа> --white-ipПроверка
Сервер в статусе «Работает», по SSH пускает:
ssh user@<IP сервера>. -
Шаг 5. Подготовьте клиент на сервере
Скачайте в карточке кластера Скачать ca.crt и скопируйте адреса брокеров. Клиент проверяет сертификат брокера по этому CA.
На вашем компьютереscp ~/Downloads/ca.crt user@<IP сервера>:~/kafka-ca.crtНа сервереsudo apt update && sudo apt install -y python3-venv kcat python3 -m venv ~/kafka-venv && ~/kafka-venv/bin/pip install confluent-kafka cat > ~/kafka.env <<'EOF' BOOTSTRAP=<адреса брокеров из карточки> CHECKOUT_LOGIN=<логин checkout> CHECKOUT_PASSWORD=<пароль checkout> BILLING_LOGIN=<логин billing> BILLING_PASSWORD=<пароль billing> ENRICHER_LOGIN=<логин enricher> ENRICHER_PASSWORD=<пароль enricher> EOF chmod 600 ~/kafka.envПроверка
kcat видит кластер и топики (метаданные доступны любому пользователю с правами на топик):
Терминалset -a; . ~/kafka.env; set +a kcat -L -b "$BOOTSTRAP" -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 \ -X sasl.username="$BILLING_LOGIN" -X sasl.password="$BILLING_PASSWORD" -X ssl.ca.location=$HOME/kafka-ca.crt | headЕсли не получилось
Authentication failed— вsasl.usernameуказано имя без суффикса. Нужен логин целиком, как в колонке «Логин».certificate verify failed— не тот файл CA: у Kafka свой сертификат, скачайте его кнопкой Скачать ca.crt именно этого кластера.- Подключение висит — сервер в другой сети или проекте. Kafka доступна только из VPC своего проекта.
-
Шаг 6. Продюсер: сервис оформления пишет заказы
~/producer.pyimport json, os, random, time from confluent_kafka import Producer p = Producer({ "bootstrap.servers": os.environ["BOOTSTRAP"], "security.protocol": "SASL_SSL", "sasl.mechanisms": "SCRAM-SHA-512", "sasl.username": os.environ["CHECKOUT_LOGIN"], "sasl.password": os.environ["CHECKOUT_PASSWORD"], "ssl.ca.location": os.path.expanduser("~/kafka-ca.crt"), "acks": "all", "enable.idempotence": True, }) for i in range(1, 11): order = {"order_id": i, "user_id": random.randint(1, 5), "amount": round(random.uniform(100, 5000), 2), "ts": int(time.time())} # ключ — пользователь: все заказы одного пользователя попадут в одну партицию и сохранят порядок p.produce("orders", key=str(order["user_id"]), value=json.dumps(order)) p.flush(10) print("sent 10 orders")Запускset -a; . ~/kafka.env; set +a ~/kafka-venv/bin/python ~/producer.pyПроверка
Скрипт печатает
sent 10 orders, а kcat читает их из топика:Терминалkcat -C -b "$BOOTSTRAP" -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 \ -X sasl.username="$BILLING_LOGIN" -X sasl.password="$BILLING_PASSWORD" -X ssl.ca.location=$HOME/kafka-ca.crt \ -t orders -o beginning -e -f '%p %k %s\n'Если не получилось
TOPIC_AUTHORIZATION_FAILED— у пользователя нет права записи в этот топик. Проверьте колонку «Доступ» или выдайте доступ через меню пользователя → Изменить доступ (новый доступ заменяет текущий).
-
Шаг 7. Консьюмер: сервис биллинга читает в группе
Потребители с одинаковым
group.idделят партиции между собой: запустите скрипт в двух терминалах — каждый получит свою часть заказов. Смещения сохраняются после обработки, поэтому после перезапуска чтение продолжится с места остановки.~/consumer.pyimport json, os from confluent_kafka import Consumer c = Consumer({ "bootstrap.servers": os.environ["BOOTSTRAP"], "security.protocol": "SASL_SSL", "sasl.mechanisms": "SCRAM-SHA-512", "sasl.username": os.environ["BILLING_LOGIN"], "sasl.password": os.environ["BILLING_PASSWORD"], "ssl.ca.location": os.path.expanduser("~/kafka-ca.crt"), "group.id": "billing", "auto.offset.reset": "earliest", "enable.auto.commit": False, }) c.subscribe(["orders"]) try: while True: msg = c.poll(1.0) if msg is None: continue if msg.error(): print("error:", msg.error()); continue order = json.loads(msg.value()) print(f"partition={msg.partition()} invoice for order {order['order_id']}: {order['amount']} RUB") c.commit(message=msg) # фиксируем смещение только после обработки finally: c.close()Запускset -a; . ~/kafka.env; set +a ~/kafka-venv/bin/python ~/consumer.pyПроверка
Консьюмер печатает 10 строк «invoice for order …». Остановите его (Ctrl+C), отправьте ещё заказы продюсером и запустите снова — придут только новые.
-
Шаг 8. Обработчик потока: читает, обогащает и публикует дальше
Простейшая потоковая обработка — это консьюмер и продюсер в одном процессе: прочитать событие, посчитать, записать результат в другой топик и только после этого зафиксировать смещение. При сбое событие обработается ещё раз, поэтому потребители
orders.enrichedдолжны спокойно переносить повторы (например, поorder_id).~/enricher.pyimport json, os from confluent_kafka import Consumer, Producer common = { "bootstrap.servers": os.environ["BOOTSTRAP"], "security.protocol": "SASL_SSL", "sasl.mechanisms": "SCRAM-SHA-512", "sasl.username": os.environ["ENRICHER_LOGIN"], "sasl.password": os.environ["ENRICHER_PASSWORD"], "ssl.ca.location": os.path.expanduser("~/kafka-ca.crt"), } c = Consumer({**common, "group.id": "enricher", "auto.offset.reset": "earliest", "enable.auto.commit": False}) p = Producer({**common, "acks": "all", "enable.idempotence": True}) c.subscribe(["orders"]) while True: msg = c.poll(1.0) if msg is None or msg.error(): continue order = json.loads(msg.value()) order["segment"] = "large" if order["amount"] >= 3000 else "regular" order["amount_with_vat"] = round(order["amount"] * 1.2, 2) p.produce("orders.enriched", key=msg.key(), value=json.dumps(order)) p.flush(10) # результат записан … c.commit(message=msg) # … и только потом смещениеЗапуск в фоне и проверка результатаset -a; . ~/kafka.env; set +a nohup ~/kafka-venv/bin/python ~/enricher.py > ~/enricher.log 2>&1 & ~/kafka-venv/bin/python ~/producer.py kcat -C -b "$BOOTSTRAP" -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 \ -X sasl.username="$ENRICHER_LOGIN" -X sasl.password="$ENRICHER_PASSWORD" -X ssl.ca.location=$HOME/kafka-ca.crt \ -t orders.enriched -o beginning -eПроверка
В
orders.enrichedлежат заказы с полямиsegmentиamount_with_vat. Для постоянной работы оформите обработчик как сервис systemd или под в Kubernetes того же проекта.
Проверка результата
В карточке кластера: топики orders и orders.enriched, три пользователя со своими правами. Пользователь billing не может писать — попытка записи завершается ошибкой авторизации:
echo test | kcat -P -b "$BOOTSTRAP" -X security.protocol=SASL_SSL -X sasl.mechanisms=SCRAM-SHA-512 \
-X sasl.username="$BILLING_LOGIN" -X sasl.password="$BILLING_PASSWORD" -X ssl.ca.location=$HOME/kafka-ca.crt -t orders Как удалить ресурсы
У Kafka нет резервных копий: удаление кластера удаляет все сообщения без возможности восстановления.
CLI
h3 db delete <id кластера>
h3 vm delete <id сервера> - Остановите обработчик:
pkill -f enricher.py. - Базы данных →
events→ меню «…» → Удалить и подтвердите. - Инстансы →
svc-1→ Удалить. Проверьте раздел IP адреса: свободный адрес продолжает оплачиваться, удалите его через меню строки → Удалить.
Типичные ошибки
Сколько партиций делать?
Столько, сколько потребителей одной группы вы хотите запускать параллельно, с запасом. Увеличить число партиций можно в любой момент («Изменить» в меню топика), уменьшить — нельзя. Учтите, что после увеличения ключи распределяются по партициям заново и порядок для ключа гарантируется только для новых сообщений.
Приложение само создаёт топики, а Kafka отвечает, что топика нет
Автосоздание топиков выключено по умолчанию. Его включают при создании кластера переключателем «Автосоздание топиков» — тогда пользователи с правом записи создают топики сами, но такие топики не видны в списке консоли.
Можно ли подключиться к Kafka со своего компьютера?
Нет, у Kafka нет публичного адреса. Работайте с сервера или из кластера Kubernetes того же проекта, а для отладки — через SSH на сервер.
Где хранить пароли сервисов?
Не в коде и не в образе: в переменных окружения сервиса или в Secret Kubernetes. Пароль можно сменить в меню пользователя → «Сбросить пароль» — старый перестанет работать сразу.
Связанные продукты и материалы
- Сценарий · 45 минСайт на облачном сервере: публичный IP, домен и HTTPS
- Сценарий · 35 минManaged PostgreSQL для приложения: пользователь, pgvector и восстановление на момент времени
- Сценарий · 40 минПриложение в Managed Kubernetes из своего реестра образов
- Сценарий · 25 минРезервные копии сервера в S3 по расписанию: rclone, cron и ротация
- ПродуктKafka
- ПродуктСерверы
Сколько стоит
≈ 5,23 ₽ в час · 3 762 ₽ в месяц при работе 24/7
| vCPU брокера Kafka | 1 × 900 ₽ |
| RAM брокера Kafka, ГБ | 2 × 360 ₽ |
| Диск брокера до 20 000 IOPS*, ГБ | 10 × 14,40 ₽ |
| vCPU сервера сервисов | 1 × 900 ₽ |
| RAM сервера сервисов, ГБ | 2 × 360 ₽ |
| Диск сервера до 20 000 IOPS*, ГБ | 20 × 14,40 ₽ |
| Публичный IPv4 сервера (для SSH) | 1 × 90 ₽ |
Расчёт сделан для одного брокера: это конфигурация для разработки. В кластере из трёх брокеров каждый брокер оплачивается отдельно. Трафик внутри VPC бесплатен.
Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.
Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.