p00 │ 1266 │ 1267 │ 1268 │ 1269 │ 1270 │ 1271 │ 1272 │ 1273 │ 1274 │ 1275 │ 1276 │ 1277 │ 1278 │ 1279 │ 1280 │ 1281 │ 1282 │ 1283 │ 1284 │ 1285 │ 1286 │ 1287 │
p01 │ 919 │ 920 │ 921 │ 922 │ 923 │ 924 │ 925 │ 926 │ 927 │ 928 │ 929 │ 930 │ 931 │ 932 │ 933 │ 934 │ 935 │ 936 │ 937 │ 938 │ 939 │ 940 │ ◀ produce
p02 │ 2192 │ 2193 │ 2194 │ 2195 │ 2196 │ 2197 │ 2198 │ 2199 │ 2200 │ 2201 │ 2202 │ 2203 │ 2204 │ 2205 │ 2206 │ 2207 │ 2208 │ 2209 │ 2210 │ 2211 │ 2212 │ 2213 │
p03 │ 1893 │ 1894 │ 1895 │ 1896 │ 1897 │ 1898 │ 1899 │ 1900 │ 1901 │ 1902 │ 1903 │ 1904 │ 1905 │ 1906 │ 1907 │ 1908 │ 1909 │ 1910 │ 1911 │ 1912 │ 1913 │ 1914 │
p04 │ 634 │ 635 │ 636 │ 637 │ 638 │ 639 │ 640 │ 641 │ 642 │ 643 │ 644 │ 645 │ 646 │ 647 │ 648 │ 649 │ 650 │ 651 │ 652 │ 653 │ 654 │ 655 │ ◀ produce
p05 │ 1681 │ 1682 │ 1683 │ 1684 │ 1685 │ 1686 │ 1687 │ 1688 │ 1689 │ 1690 │ 1691 │ 1692 │ 1693 │ 1694 │ 1695 │ 1696 │ 1697 │ 1698 │ 1699 │ 1700 │ 1701 │ 1702 │
p06 │ 367 │ 368 │ 369 │ 370 │ 371 │ 372 │ 373 │ 374 │ 375 │ 376 │ 377 │ 378 │ 379 │ 380 │ 381 │ 382 │ 383 │ 384 │ 385 │ 386 │ 387 │ 388 │
p07 │ 1509 │ 1510 │ 1511 │ 1512 │ 1513 │ 1514 │ 1515 │ 1516 │ 1517 │ 1518 │ 1519 │ 1520 │ 1521 │ 1522 │ 1523 │ 1524 │ 1525 │ 1526 │ 1527 │ 1528 │ 1529 │ 1530 │ ◀ produce
p08 │ 1045 │ 1046 │ 1047 │ 1048 │ 1049 │ 1050 │ 1051 │ 1052 │ 1053 │ 1054 │ 1055 │ 1056 │ 1057 │ 1058 │ 1059 │ 1060 │ 1061 │ 1062 │ 1063 │ 1064 │ 1065 │ 1066 │
p09 │ 2460 │ 2461 │ 2462 │ 2463 │ 2464 │ 2465 │ 2466 │ 2467 │ 2468 │ 2469 │ 2470 │ 2471 │ 2472 │ 2473 │ 2474 │ 2475 │ 2476 │ 2477 │ 2478 │ 2479 │ 2480 │ 2481 │
p10 │ 791 │ 792 │ 793 │ 794 │ 795 │ 796 │ 797 │ 798 │ 799 │ 800 │ 801 │ 802 │ 803 │ 804 │ 805 │ 806 │ 807 │ 808 │ 809 │ 810 │ 811 │ 812 │ ◀ produce
p11 │ 1328 │ 1329 │ 1330 │ 1331 │ 1332 │ 1333 │ 1334 │ 1335 │ 1336 │ 1337 │ 1338 │ 1339 │ 1340 │ 1341 │ 1342 │ 1343 │ 1344 │ 1345 │ 1346 │ 1347 │ 1348 │ 1349 │
Топик Kafka в 3D: пучок партиций вращается, записи бегут от продюсера к хвосту журнала, мятные кольца — курсоры групп потребителей
- Главная
- Базы данных
- Kafka
Managed Kafka
Kafka, которую не надо нянчить
Apache Kafka 4.3.1 на KRaft, без ZooKeeper — в вашей VPC за несколько минут. TLS, SCRAM-SHA-512 и права на топики включены сразу. Вы платите только за брокеры: оператор и служебные процессы в счёт не входят.
Уровень OCL L1Установка→
Брокер от 2,45 ₽ в час: 1 vCPU, 2 ГБ RAM и 10 ГБ диска.
листайте: топик разворачивается в журнал ↓ 01 · журнал
Чтение не удаляет сообщение
Сообщение не исчезает после чтения: оно лежит в партиции под своим номером — offset — до конца срока хранения, а старый хвост журнала сворачивается сам. Каждая группа потребителей читает в своём темпе, а после сбоя продолжает с того места, где остановилась.
KRaft вместо ZooKeeper·срок хранения на топик·партиции только растут
02 · три брокера
Если брокер упал, поток идёт дальше
Партиции топика делятся между тремя брокерами, у каждой — три копии на разных серверах. Если брокер пропал, лидером партиции становится другая копия, а платформа его поднимает. Один брокер — для разработки: любой его перезапуск останавливает сервис.
3 копии каждого топика·брокеры на разных серверах·перезапуск по одному
03 · только VPC
Из интернета кластер не виден
У кластера нет публичного адреса: брокеры живут в подсети вашей VPC, и подключиться можно только с ВМ или из пода в этой сети. Соседние VPC и проекты до них не достают.
TLS на порту 9094·SCRAM-SHA-512·сертификат CA в карточке
04 · права
Опечатка не создаст топик
Права выдаются на топик или префикс вроде orders.*: «чтение и запись» или «только чтение». Автосоздание топиков выключено, пока вы сами не включите его при создании кластера. Пароль сбрасывается одной кнопкой, и старый сразу перестаёт работать.
до 20 пользователей·префиксы топиков·сброс пароля
05 · счёт
Платите только за брокеры
В счёте только vCPU, RAM и диск каждого брокера. Оператор кластера и служебные процессы мы держим за свой счёт. Списание поминутное, как у остальных баз.
vCPU 1,25 ₽/ч·RAM 0,50 ₽/ч за ГБ·обвязка 0 ₽
topic orders.v1 · partition 0
retention ← append →
┌──────┬──────┬──────┬──────┬──────┬──────┬──────┐
│ 4182 │ 4183 │ 4184 │ 4185 │ 4186 │ 4187 │ 4188 │ ◀ producer
└──────┴──────┴──────┴──────┴──────┴──────┴──────┘
▲ ▲
billing search
offset 4183 offset 4186
$ commit offset → группа продолжит отсюда┌ broker-0 ┐ ┌ broker-1 ┐ ┌ broker-2 ┐
│ сервер A │ │ сервер B │ │ сервер C │
│ p0 ★ │ │ p0 │ │ p0 │
│ p1 ★ │ │ p1 ★ │ │ p1 │
│ p2 │ │ p2 │ │ p2 ★ │
└──────────┘ └──────────┘ └──────────┘
✗ broker-1 недоступен
★ лидер партиции · копий у топика: 3
$ produce orders.v1 → ok, лидер p1 теперь broker-0интернет ───────── ✗ нет публичного адреса
┌ VPC 10.0.0.0/24 ────────────────────────┐
│ │
│ vm-app ══ TLS :9094 ══▶ broker-0 │
│ pod ══ SCRAM-512 ══▶ broker-1 │
│ broker-2 │
│ │
└─────────────────────────────────────────┘
другая VPC ─────── ✗
другой проект ──── ✗
$ produce --topic ordres.v1
✗ UNKNOWN_TOPIC_OR_PARTITION
опечатка не создала топик
ПОЛЬЗОВАТЕЛЬ ТОПИК ПРАВА
app-c2f4a6b8 orders.* чтение и запись
bi-c2f4a6b8 orders.* только чтение
audit-c2f4a6b8 * только чтение
$ reset-password bi-c2f4a6b8
✓ новый пароль выдан · старый ✗
счёт за час · kafka-prod · 3 брокера
─────────────────────────────────────
vCPU 2 × 3 .................. 7,50 ₽
RAM 4 ГБ × 3 .................. 6 ₽
диск 50 ГБ × 3 ................. 3 ₽
оператор кластера ............... 0 ₽
служебные процессы .............. 0 ₽
─────────────────────────────────────
итого в час 16,50 ₽
billing и search читают каждая в своём темпе · retention сворачивает хвост
4 партиции × 3 копии по брокерам · broker-1 недоступен, лидер p1 теперь на broker-0
VPC 10.0.0.0/24 · снаружи не достучаться
app: orders.* чтение и запись · bi: только чтение · ordres.v1 ✗
kafka-prod, 3 брокера по 2 vCPU, 4 ГБ и 50 ГБ: 16,50 ₽ в час
Что входит
▤ Kafka 4.3.1 на KRaft
Свежая ветка Kafka 4.x без ZooKeeper. Версия 4.2.1 тоже доступна, выбирается при создании.
◇ 1 или 3 брокера
Один — для разработки. Три — каждый на своём сервере, топики в трёх копиях.
⇅ Рост без пересоздания
vCPU, RAM и диск брокера можно увеличить. Брокеры перезапускаются по одному, при трёх брокерах поток не прерывается.
▣ Только внутри VPC
Брокеры живут в подсети вашей VPC. У каждого брокера постоянный адрес: он не меняется, когда платформа пересоздаёт под.
⚿ TLS и SCRAM-SHA-512
Шифрование и пароли по умолчанию. Сертификат CA и список адресов брокеров — в карточке кластера.
≡ Топики и права
До 500 топиков и 100 партиций на топик, пользователи с правами на топик или префикс.
{} Schema Registry
Реестр схем, совместимый с API Confluent: Avro, JSON Schema и Protobuf, проверка совместимости версий.
⇄ Kafka Connect и MirrorMaker 2
Коннекторы без своих серверов: выгрузка топиков в S3 и перенос данных с другой Kafka.
◫ Kafka UI
Топики, сообщения и группы потребителей видны в консоли, свой интерфейс не нужен.
$_ Terraform, CLI и API
Кластеры, топики и пользователи как код: провайдер Terraform, CLI h3 и API по ключу.
⌁ Логи и графики
Лог брокеров и графики нагрузки — CPU, память, сеть и диск — в консоли.
₽ Обвязка бесплатно
Оператор кластера и служебные процессы в счёт не входят. Платите за ресурсы брокеров.
Что на ней строят
Сценарии из каталогов больших облаков, пересобранные под нашу платформу.
p0 События между микросервисами
Сервисы пишут события в топики и не ждут друг друга: заказ создан, оплата прошла, письмо отправлено. Новый потребитель подключается и дочитывает историю с нужного offset.
Kafka · ВМ или Managed Kubernetes в той же VPC
Пошаговая инструкция → p1 Аналитика в реальном времени
Поток кликов и заказов из Kafka попадает в ClickHouse и через секунды доступен в отчётах. Обе базы стоят рядом, в одной VPC.
Kafka · ClickHouse
Пошаговая инструкция → p2 Сбор логов
Агенты на серверах отправляют логи в Kafka, а она сглаживает пики и раздаёт поток в OpenSearch для поиска и в ClickHouse для хранения.
Kafka · OpenSearch · ClickHouse · Vector или Fluent Bit
Пошаговая инструкция → p3 Потоковая обработка
ksqlDB или Kafka Streams рядом с кластером: фильтры, агрегаты и обогащение событий на лету, результат — в соседний топик.
Kafka · ВМ в VPC
Пошаговая инструкция → p4 Контракты событий
Продюсеры и потребители договариваются о формате через реестр схем: несовместимое изменение не пройдёт, а старые потребители не сломаются.
Kafka · Schema Registry
p5 Архив событий в S3
Коннектор складывает топики в объектное хранилище: дешёвое долгое хранение и источник для озера данных.
Kafka · Kafka Connect · S3
p6 Переезд с другой Kafka
MirrorMaker 2 копирует топики и offset групп из старого кластера, пока приложения работают. Потребители переключаются на новый адрес, когда отставание — ноль.
Kafka · MirrorMaker 2
Пошаговая инструкция → Цена
Платите за ресурсы каждого брокера: vCPU, RAM и диск. В кластере из трёх брокеров — ×3. Оператор и служебные процессы не тарифицируются. Месяц — 720 часов, списание поминутное.
Кластер живёт внутри VPC, поэтому платный публичный IP ему не нужен.
Вопросы
Откуда к ней подключаться?
Из подсети вашей VPC: с виртуальной машины или из пода Managed Kubernetes в той же сети. Соседние VPC и другие проекты до кластера не достают.
Сколько стоит кластер?
vCPU брокера — 900 ₽ в месяц, RAM — 360 ₽ за ГБ в месяц, диск — 14,40 ₽ за ГБ в месяц. Три брокера — три комплекта. Самый маленький кластер — 1 брокер, 1 vCPU, 2 ГБ RAM, 10 ГБ — стоит 1 764 ₽ в месяц.
Сколько брокеров выбрать?
Для разработки хватит одного. Для продакшена берите три: каждый стоит на своём сервере, топики хранятся в трёх копиях, и сбой брокера не останавливает поток. vCPU, RAM и диск брокеров можно увеличить в любой момент.
Какая версия и нужен ли ZooKeeper?
По умолчанию Kafka 4.3.1, доступна и 4.2.1. ZooKeeper не нужен: Kafka 4.x работает на KRaft, контроллеры встроены в брокеры.
Как устроены пользователи и права?
Создайте пользователя и выдайте права на топик, префикс вроде orders.* или на все топики. Прав два вида: «чтение и запись» и «только чтение», оба разрешают читать группой потребителей. Подключение — SASL_SSL с SCRAM-SHA-512, сертификат CA — в карточке кластера.
Есть ли Schema Registry и Kafka Connect?
Да. Реестр схем совместим с API Confluent. Kafka Connect выгружает топики в S3, MirrorMaker 2 переносит данные с другой Kafka. Топики, сообщения и группы потребителей видно в Kafka UI в консоли.
Как перенести кластер с другой Kafka?
Через MirrorMaker 2: он копирует топики и offset групп потребителей, пока старый кластер работает. Когда отставание дойдёт до нуля, переключите приложения на адреса новых брокеров.
Можно управлять Kafka как кодом?
Да: кластеры, топики и пользователи описываются в Terraform, есть также CLI h3 и API по ключу. Лимиты: до 500 топиков, 100 партиций на топик и 20 пользователей; нужно больше — напишите в поддержку.
$ kafka-topics.sh --create --topic your-next-thing
Первый топик — раньше, чем остынет кофе
Зарегистрируйтесь, получите 4 000 ₽ на баланс и создайте кластер Kafka в консоли: База данных → Kafka.
██╗ ██╗ ██╗
██║ ██████╗ ██║ ██║
███████╗ ╚════██╗ ██║ ██║ ██████╗
██╔══██║ █████╔╝ ██║ ██║ ██╔═══██╗
██║ ██║ ╚═══██╗ ██║ ██║ ██║ ██║
██║ ██║ ██████╔╝ ██║ ██║ ╚██████╔╝
╚═╝ ╚═╝ ╚═════╝ ╚═╝ ╚═╝ ╚═════╝
ЦОД в Москве · своя платформа · 4 000 ₽ на старт
Enter — далее · Tab — поле · Space — отметка · Esc — назад