Топик Kafka в 3D: пучок партиций вращается, записи бегут от продюсера к хвосту журнала, мятные кольца — курсоры групп потребителей

  1. Главная
  2. Базы данных
  3. Kafka

Managed Kafka

Kafka, которую не надо нянчить

Apache Kafka 4.3.1 на KRaft, без ZooKeeper — в вашей VPC за несколько минут. TLS, SCRAM-SHA-512 и права на топики включены сразу. Вы платите только за брокеры: оператор и служебные процессы в счёт не входят.

Уровень OCL L1Установка

Брокер от 2,45 ₽ в час: 1 vCPU, 2 ГБ RAM и 10 ГБ диска.

листайте: топик разворачивается в журнал ↓

01 · журнал

Чтение не удаляет сообщение

Сообщение не исчезает после чтения: оно лежит в партиции под своим номером — offset — до конца срока хранения, а старый хвост журнала сворачивается сам. Каждая группа потребителей читает в своём темпе, а после сбоя продолжает с того места, где остановилась.

KRaft вместо ZooKeeper·срок хранения на топик·партиции только растут

02 · три брокера

Если брокер упал, поток идёт дальше

Партиции топика делятся между тремя брокерами, у каждой — три копии на разных серверах. Если брокер пропал, лидером партиции становится другая копия, а платформа его поднимает. Один брокер — для разработки: любой его перезапуск останавливает сервис.

3 копии каждого топика·брокеры на разных серверах·перезапуск по одному

03 · только VPC

Из интернета кластер не виден

У кластера нет публичного адреса: брокеры живут в подсети вашей VPC, и подключиться можно только с ВМ или из пода в этой сети. Соседние VPC и проекты до них не достают.

TLS на порту 9094·SCRAM-SHA-512·сертификат CA в карточке

04 · права

Опечатка не создаст топик

Права выдаются на топик или префикс вроде orders.*: «чтение и запись» или «только чтение». Автосоздание топиков выключено, пока вы сами не включите его при создании кластера. Пароль сбрасывается одной кнопкой, и старый сразу перестаёт работать.

до 20 пользователей·префиксы топиков·сброс пароля

05 · счёт

Платите только за брокеры

В счёте только vCPU, RAM и диск каждого брокера. Оператор кластера и служебные процессы мы держим за свой счёт. Списание поминутное, как у остальных баз.

vCPU 1,25 ₽/ч·RAM 0,50 ₽/ч за ГБ·обвязка 0 ₽

Что входит

Kafka 4.3.1 на KRaft

Свежая ветка Kafka 4.x без ZooKeeper. Версия 4.2.1 тоже доступна, выбирается при создании.

1 или 3 брокера

Один — для разработки. Три — каждый на своём сервере, топики в трёх копиях.

Рост без пересоздания

vCPU, RAM и диск брокера можно увеличить. Брокеры перезапускаются по одному, при трёх брокерах поток не прерывается.

Только внутри VPC

Брокеры живут в подсети вашей VPC. У каждого брокера постоянный адрес: он не меняется, когда платформа пересоздаёт под.

TLS и SCRAM-SHA-512

Шифрование и пароли по умолчанию. Сертификат CA и список адресов брокеров — в карточке кластера.

Топики и права

До 500 топиков и 100 партиций на топик, пользователи с правами на топик или префикс.

Schema Registry

Реестр схем, совместимый с API Confluent: Avro, JSON Schema и Protobuf, проверка совместимости версий.

Kafka Connect и MirrorMaker 2

Коннекторы без своих серверов: выгрузка топиков в S3 и перенос данных с другой Kafka.

Kafka UI

Топики, сообщения и группы потребителей видны в консоли, свой интерфейс не нужен.

Terraform, CLI и API

Кластеры, топики и пользователи как код: провайдер Terraform, CLI h3 и API по ключу.

Логи и графики

Лог брокеров и графики нагрузки — CPU, память, сеть и диск — в консоли.

Обвязка бесплатно

Оператор кластера и служебные процессы в счёт не входят. Платите за ресурсы брокеров.

Что на ней строят

Сценарии из каталогов больших облаков, пересобранные под нашу платформу.

События между микросервисами

Сервисы пишут события в топики и не ждут друг друга: заказ создан, оплата прошла, письмо отправлено. Новый потребитель подключается и дочитывает историю с нужного offset.

Kafka · ВМ или Managed Kubernetes в той же VPC

Пошаговая инструкция

Аналитика в реальном времени

Поток кликов и заказов из Kafka попадает в ClickHouse и через секунды доступен в отчётах. Обе базы стоят рядом, в одной VPC.

Kafka · ClickHouse

Пошаговая инструкция

Сбор логов

Агенты на серверах отправляют логи в Kafka, а она сглаживает пики и раздаёт поток в OpenSearch для поиска и в ClickHouse для хранения.

Kafka · OpenSearch · ClickHouse · Vector или Fluent Bit

Пошаговая инструкция

Потоковая обработка

ksqlDB или Kafka Streams рядом с кластером: фильтры, агрегаты и обогащение событий на лету, результат — в соседний топик.

Kafka · ВМ в VPC

Пошаговая инструкция

Контракты событий

Продюсеры и потребители договариваются о формате через реестр схем: несовместимое изменение не пройдёт, а старые потребители не сломаются.

Kafka · Schema Registry

Архив событий в S3

Коннектор складывает топики в объектное хранилище: дешёвое долгое хранение и источник для озера данных.

Kafka · Kafka Connect · S3

Переезд с другой Kafka

MirrorMaker 2 копирует топики и offset групп из старого кластера, пока приложения работают. Потребители переключаются на новый адрес, когда отставание — ноль.

Kafka · MirrorMaker 2

Пошаговая инструкция

Цена

Платите за ресурсы каждого брокера: vCPU, RAM и диск. В кластере из трёх брокеров — ×3. Оператор и служебные процессы не тарифицируются. Месяц — 720 часов, списание поминутное.

РесурсЦена
vCPU брокера1,25 ₽ / час
RAM брокера, 1 ГБ0,50 ₽ / час
Диск брокера, 1 ГБ (реплицируемый SSD)14,40 ₽ / мес
КонфигурацияВ часВ месяц
Для разработки: 1 брокер, 1 vCPU, 2 ГБ RAM, 10 ГБ диска2,45 ₽1 764 ₽
Рабочий кластер: 3 брокера по 2 vCPU, 4 ГБ RAM, 50 ГБ диска16,50 ₽11 880 ₽
Под нагрузку: 3 брокера по 4 vCPU, 16 ГБ RAM, 200 ГБ диска51 ₽36 720 ₽

Кластер живёт внутри VPC, поэтому платный публичный IP ему не нужен.

Вопросы

Откуда к ней подключаться?

Из подсети вашей VPC: с виртуальной машины или из пода Managed Kubernetes в той же сети. Соседние VPC и другие проекты до кластера не достают.

Сколько стоит кластер?

vCPU брокера — 900 ₽ в месяц, RAM — 360 ₽ за ГБ в месяц, диск — 14,40 ₽ за ГБ в месяц. Три брокера — три комплекта. Самый маленький кластер — 1 брокер, 1 vCPU, 2 ГБ RAM, 10 ГБ — стоит 1 764 ₽ в месяц.

Сколько брокеров выбрать?

Для разработки хватит одного. Для продакшена берите три: каждый стоит на своём сервере, топики хранятся в трёх копиях, и сбой брокера не останавливает поток. vCPU, RAM и диск брокеров можно увеличить в любой момент.

Какая версия и нужен ли ZooKeeper?

По умолчанию Kafka 4.3.1, доступна и 4.2.1. ZooKeeper не нужен: Kafka 4.x работает на KRaft, контроллеры встроены в брокеры.

Как устроены пользователи и права?

Создайте пользователя и выдайте права на топик, префикс вроде orders.* или на все топики. Прав два вида: «чтение и запись» и «только чтение», оба разрешают читать группой потребителей. Подключение — SASL_SSL с SCRAM-SHA-512, сертификат CA — в карточке кластера.

Есть ли Schema Registry и Kafka Connect?

Да. Реестр схем совместим с API Confluent. Kafka Connect выгружает топики в S3, MirrorMaker 2 переносит данные с другой Kafka. Топики, сообщения и группы потребителей видно в Kafka UI в консоли.

Как перенести кластер с другой Kafka?

Через MirrorMaker 2: он копирует топики и offset групп потребителей, пока старый кластер работает. Когда отставание дойдёт до нуля, переключите приложения на адреса новых брокеров.

Можно управлять Kafka как кодом?

Да: кластеры, топики и пользователи описываются в Terraform, есть также CLI h3 и API по ключу. Лимиты: до 500 топиков, 100 партиций на топик и 20 пользователей; нужно больше — напишите в поддержку.

$ kafka-topics.sh --create --topic your-next-thing

Первый топик — раньше, чем остынет кофе

Зарегистрируйтесь, получите 4 000 ₽ на баланс и создайте кластер Kafka в консоли: База данных → Kafka.

Согласия