Что получится
Managed Kafka из трёх брокеров с теми же именами топиков и сообщениями, что в старом кластере, переведённые смещения групп потребителей и приложения, которые читают и пишут уже в новый кластер. Старые сообщения повторно не обрабатываются.
Что понадобится
- Адреса старой Kafka, логин и пароль пользователя, которому разрешено читать переносимые топики и смотреть группы потребителей (
Describeна группы и кластер). - Возможность разрешить на старой Kafka подключения с нового адреса — публичного IP сервера MirrorMaker.
- SSH-ключ в профиле консоли: как его добавить, показано в сценарии «Сайт на облачном сервере».
-
Шаг 1. Создайте Managed Kafka с автосозданием топиков
MirrorMaker 2 сам создаёт топики на новой стороне и хранит там свои служебные топики (конфигурация, смещения, статус, контрольные точки). Для этого кластеру нужна настройка «Автосоздание топиков»: с ней пользователь с правом записи может создавать топики. Включается она только при создании кластера.
Консоль
- В меню проекта откройте Базы данных и нажмите Создать базу данных (если базы уже есть — Создать).
- СУБД — Kafka. Брокеры — «3 брокера»: каждое сообщение хранится на трёх брокерах, кластер работает, пока доступны два.
- Отметьте Автосоздание топиков.
- vCPU — 2, RAM — 4 ГБ, Диски — 50 ГБ на брокер: диска должно хватить на сообщения переносимых топиков за весь срок их хранения.
- Имя базы данных —
kafka-new. Сеть запомните — сервер MirrorMaker создадим в ней же. - Нажмите Создать базу данных.
CLI
Терминалecho '{"kafkaConfig":{"brokers":3,"autoCreateTopics":true}}' \ | h3 db create --from-file - --name kafka-new --engine kafka \ --cpu 2 --memory 4Gi --size 50 h3 db listПроверка
Статус кластера — «Работает». В карточке, в блоке «Подключение», появились «Адреса брокеров» (вида
10.x.x.x:9094,…) и кнопка Скачать ca.crt.Если не получилось
- Публичного адреса у Kafka нет: к кластеру подключаются только из сети проекта. Поэтому MirrorMaker работает на сервере в той же сети, а не на вашем компьютере.
- Кластер уже создан без «Автосоздания топиков» — настройку не поменять. Создайте новый кластер с ней или заранее создайте все топики вручную (см. «Типичные ошибки»).
-
Шаг 2. Заведите пользователя для MirrorMaker
Консоль
- В карточке кластера в секции «Пользователи» нажмите Создать пользователя.
- В окне «Новый пользователь»: Имя пользователя
mm2, Доступ — «Чтение и запись», Топики —*. Под полем видна строка «Логин для подключения: mm2-…» — это и есть логин. - Нажмите Создать, сохраните логин и пароль и нажмите Я сохранил пароль.
CLI
ТерминалKAFKA=<id кластера kafka-new> echo '{"name":"mm2","grants":[{"database":"*","preset":"readwrite"}]}' \ | h3 db user create $KAFKA --from-file - h3 db user list $KAFKA # логин вида mm2-1a2b3c4d h3 db user credentials $KAFKA <логин> h3 db credentials $KAFKA # bootstrap и caCertificateПроверка
В списке «Пользователи» —
mm2-…с доступом «все топики» и статусом «Готов». -
Шаг 3. Создайте сервер для MirrorMaker
Серверу нужен публичный IP: по нему старая Kafka пропустит подключение, а копирование не упрётся в общий NAT сети проекта (до 100 Мбит/с на проект).
Консоль
- Откройте Инстансы и нажмите Создать.
- ОС → Образы ОС → Ubuntu 24.04 LTS. vCPU — 2, RAM — 4 ГБ, Диски — 20 ГБ.
- Имя виртуальной машины —
mm2. Сеть — та же, что у кластераkafka-new. - SSH-ключи — ваш ключ. Публичный IPv4 — «Вкл.», «Выделить новый IP».
- Группы безопасности — своя группа, в которой из входящих открыт только SSH 22 (лучше — для вашего адреса
/32). Новая группа разрешает весь исходящий трафик, а MirrorMaker нужен именно он. - Нажмите Собрать и запустить.
CLI
Терминалh3 vm create --name mm2 --image ubuntu:24.04 --cpu 2 --memory 4Gi \ --disk-size 20Gi --ssh-key-ids <id ключа> --white-ipTerraform
mm2.tfresource "h3_vm" "mm2" { project_id = var.project_id name = "mm2" cpu = 2 memory = "4Gi" image = "ubuntu:24.04" disk_size = "20Gi" ssh_key_id = var.ssh_key_id white_ip = true # subnet_name = "<сеть кластера Kafka>" # если это не сеть проекта по умолчанию } output "mm2_ip" { value = h3_vm.mm2.endpoint }Проверка
Сервер в статусе «Работает», в карточке есть «Публичный IP». Добавьте этот адрес в список разрешённых на старой Kafka (firewall или allowlist провайдера).
-
Шаг 4. Установите Kafka и проверьте оба кластера
MirrorMaker 2 входит в дистрибутив Apache Kafka. Нужна Java 17. Сертификат CA нового кластера скачайте кнопкой Скачать ca.crt в карточке или возьмите поле
caCertificateизh3 db credentials.На сервере mm2sudo apt update && sudo apt install -y openjdk-17-jre-headless KAFKA_VERSION=4.1.0 curl -fsSLO "https://archive.apache.org/dist/kafka/${KAFKA_VERSION}/kafka_2.13-${KAFKA_VERSION}.tgz" sudo mkdir -p /opt/kafka && sudo tar -xzf "kafka_2.13-${KAFKA_VERSION}.tgz" -C /opt/kafka --strip-components=1 sudo mkdir -p /etc/mm2 && sudo chown user /etc/mm2 && chmod 700 /etc/mm2 nano /etc/mm2/h3-ca.crt # вставьте содержимое ca.crt/etc/mm2/h3.propertiesbootstrap.servers=<адреса брокеров из карточки> security.protocol=SASL_SSL sasl.mechanism=SCRAM-SHA-512 sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<логин mm2-…>" password="<пароль>"; ssl.truststore.type=PEM ssl.truststore.location=/etc/mm2/h3-ca.crt/etc/mm2/old.propertiesbootstrap.servers=old-kafka.example.com:9093 security.protocol=SASL_SSL sasl.mechanism=SCRAM-SHA-512 sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<старый логин>" password="<старый пароль>";Проверка
Оба кластера отвечают с этого сервера. Новый пока без топиков (созданные автоматически топики консоль не показывает, но
--listих увидит):Терминалchmod 600 /etc/mm2/*.properties /opt/kafka/bin/kafka-topics.sh --bootstrap-server <адрес из old.properties> \ --command-config /etc/mm2/old.properties --list /opt/kafka/bin/kafka-topics.sh --bootstrap-server <первый адрес брокера>:9094 \ --command-config /etc/mm2/h3.properties --listЕсли не получилось
SSL handshake failedна новом кластере — вh3-ca.crtне тот сертификат или он вставлен не целиком (строкиBEGIN/END CERTIFICATEобязательны).Authentication failed— в логине нет суффикса: нужен полный логин видаmm2-1a2b3c4d, а неmm2.- Тайм-аут к новому кластеру — сервер в другой сети проекта. Пересоздайте его в сети кластера.
-
Шаг 5. Настройте MirrorMaker 2
IdentityReplicationPolicyсохраняет имена топиков:ordersостанетсяorders, а неold.orders, — приложениям не придётся менять имена. Синхронизацию настроек и ACL топиков отключаем: эти права на управляемом кластере не выдаются, настройки топиков задаются при создании.Служебные топики смещений держим на новом кластере (
offset-syncs.topic.location = target), чтобы MirrorMaker ничего не создавал на старом./etc/mm2/mm2.propertiesclusters = old, h3 old.bootstrap.servers = old-kafka.example.com:9093 old.security.protocol = SASL_SSL old.sasl.mechanism = SCRAM-SHA-512 old.sasl.jaas.config = org.apache.kafka.common.security.scram.ScramLoginModule required username="<старый логин>" password="<старый пароль>"; h3.bootstrap.servers = <адреса брокеров из карточки> h3.security.protocol = SASL_SSL h3.sasl.mechanism = SCRAM-SHA-512 h3.sasl.jaas.config = org.apache.kafka.common.security.scram.ScramLoginModule required username="<логин mm2-…>" password="<пароль>"; h3.ssl.truststore.type = PEM h3.ssl.truststore.location = /etc/mm2/h3-ca.crt old->h3.enabled = true old->h3.topics = orders, payments, events\..* old->h3.groups = .* h3->old.enabled = false replication.policy.class = org.apache.kafka.connect.mirror.IdentityReplicationPolicy sync.topic.configs.enabled = false sync.topic.acls.enabled = false offset-syncs.topic.location = target emit.checkpoints.enabled = true emit.checkpoints.interval.seconds = 10 sync.group.offsets.enabled = true sync.group.offsets.interval.seconds = 10 # у кластера из 3 брокеров; для кластера из 1 брокера — 1 replication.factor = 3 checkpoints.topic.replication.factor = 3 heartbeats.topic.replication.factor = 3 offset-syncs.topic.replication.factor = 3 offset.storage.replication.factor = 3 status.storage.replication.factor = 3 config.storage.replication.factor = 3Проверка
В
old->h3.topicsперечислены все переносимые топики (через запятую, допускаются регулярные выражения). Внутренние топики старого кластера (__consumer_offsetsи подобные) MirrorMaker не копирует. -
Шаг 6. Запустите MirrorMaker как службу
/etc/systemd/system/mm2.service[Unit] Description=Kafka MirrorMaker 2 (old -> h3) After=network-online.target Wants=network-online.target [Service] User=user Environment=KAFKA_HEAP_OPTS=-Xmx2g ExecStart=/opt/kafka/bin/connect-mirror-maker.sh /etc/mm2/mm2.properties Restart=on-failure RestartSec=10 [Install] WantedBy=multi-user.targetНа сервере mm2sudo nano /etc/systemd/system/mm2.service # вставьте юнит выше sudo systemctl daemon-reload sudo systemctl enable --now mm2 journalctl -u mm2 -fПроверка
Через минуту-две на новом кластере появились топики с теми же именами, а также служебные
mm2-*.internal,heartbeatsиold.checkpoints.internal:Терминал/opt/kafka/bin/kafka-topics.sh --bootstrap-server <первый адрес брокера>:9094 \ --command-config /etc/mm2/h3.properties --listЕсли не получилось
TopicAuthorizationExceptionилиNot authorized to access topicsв журнале — у кластера нет «Автосоздания топиков» или у пользователя доступ не к*. Проверьте Изменить доступ у пользователя.Topic … is required to have 'cleanup.policy=compact'— служебный топик создан заранее вручную. Удалите топикиmm2-configs.old.internal,mm2-offsets.old.internal,mm2-status.old.internalв секции «Топики» и перезапустите службу — MirrorMaker создаст их с нужной политикой.- Достигнут лимит в 100 топиков — уменьшите список в
old->h3.topics: на управляемом кластере до 100 топиков, служебные тоже считаются.
-
Шаг 7. Дождитесь, пока копия догонит оригинал
Сравните последние смещения партиций на обеих сторонах и отставание групп. MirrorMaker переводит смещения групп в контрольные точки на новом кластере и, пока группа там не активна, записывает их как её смещения.
На сервере mm2for side in old h3; do echo "== $side" /opt/kafka/bin/kafka-get-offsets.sh --command-config /etc/mm2/$side.properties \ --bootstrap-server "$(grep '^bootstrap.servers' /etc/mm2/$side.properties | cut -d= -f2 | cut -d, -f1)" \ --topic orders done # смещения группы на новом кластере /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <первый адрес брокера>:9094 \ --command-config /etc/mm2/h3.properties --describe --group orders-serviceПроверка
Последние смещения партиций на новом кластере отстают от старого не больше чем на несколько секунд потока, а у группы
orders-serviceна новом кластере естьCURRENT-OFFSETрядом с концом партиций.Если не получилось
- Группа на новом кластере не появилась — в старом кластере у группы нет закоммиченных смещений по переносимым топикам или у старого пользователя нет
Describeна группы.
- Группа на новом кластере не появилась — в старом кластере у группы нет закоммиченных смещений по переносимым топикам или у старого пользователя нет
-
Шаг 8. Переключите консьюмеры, затем продюсеры
Порядок важен. Сначала консьюмеры: остановите группу на старом кластере, подождите 10–20 секунд (интервал синхронизации смещений), запустите её на новом кластере с настройками из «Подключение». Она продолжит с переведённых смещений.
Потом продюсеры: переключите их на новый кластер. Сообщения, которые успели записаться в старый кластер, MirrorMaker докопирует, и консьюмеры их получат.
На стыке возможны единичные повторы сообщений, поэтому обработчики должны быть идемпотентными, как и при любом перезапуске Kafka-консьюмера.
Проверка
Группы потребителей на новом кластере читают без растущего отставания, в старый кластер больше никто не пишет: последние смещения в старых топиках не меняются.
Проверка результата
Приложения работают с Managed Kafka, а отставание групп на новом кластере не растёт.
/opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <первый адрес брокера>:9094 \
--command-config /etc/mm2/h3.properties --describe --all-groups Как удалить ресурсы
MirrorMaker нужен только на время переезда. После переключения остановите его и удалите сервер; служебные топики на новом кластере можно удалить.
Терминал
sudo systemctl disable --now mm2 - Инстансы →
mm2→ меню «…» → Удалить; отметьте «Освободить IP-адрес (иначе он останется в проекте)». - В карточке Kafka, секция «Пользователи», удалите пользователя
mm2-…: меню пользователя → Удалить. - Служебные топики
mm2-*.internal,heartbeats,old.checkpoints.internalудаляются через клиент:kafka-topics.sh --delete --topic <имя>сh3.properties. Созданные автоматически топики не видны в списке консоли. - Удалите адрес сервера из списка разрешённых на старой Kafka.
Типичные ошибки
Есть ли в h3llo.cloud управляемые Kafka Connect или MirrorMaker?
Нет. MirrorMaker 2 запускается на своём сервере в сети проекта, как в этом сценарии. Сервер нужен только на время переезда.
Кластер создан без «Автосоздания топиков». Что делать?
Настройка задаётся только при создании. Либо создайте новый кластер с ней, либо заранее создайте переносимые топики в секции «Топики» с тем же числом партиций, что в старом кластере. Служебным топикам MirrorMaker нужна политика `compact`, которую через консоль не задать, — поэтому для переезда надёжнее кластер с автосозданием.
Можно ли подключиться к Managed Kafka из старого облака напрямую?
Нет: у Kafka в h3llo.cloud нет публичного адреса, к ней подключаются из сети проекта. Поэтому копирование идёт с сервера в сети проекта, который сам ходит в старую Kafka.
Сохранятся ли настройки топиков — срок хранения, число партиций?
Число партиций MirrorMaker берёт из старого топика при создании. Срок хранения — по умолчанию кластера (7 дней); для топиков, созданных автоматически, его не поменять в консоли. Если важен свой срок, создайте топик заранее в секции «Топики» с нужным «Сроком хранения, часов».
У старого кластера один брокер — тоже 3 на новом?
Для продакшена — 3 брокера: «1 брокер» подходит для разработки, при перезапуске брокера кластер недоступен. Число брокеров после создания не меняется.
Связанные продукты и материалы
- Сценарий · 45 минСайт на облачном сервере: публичный IP, домен и HTTPS
- Сценарий · 40 минПриложение в Managed Kubernetes из своего реестра образов
- Сценарий · 35 минManaged PostgreSQL для приложения: пользователь, pgvector и восстановление на момент времени
- Сценарий · 25 минРезервные копии сервера в S3 по расписанию: rclone, cron и ротация
- ПродуктKafka
- ПродуктСерверы
Сколько стоит
≈ 21,53 ₽ в час · 15 498 ₽ в месяц при работе 24/7
| vCPU Kafka (3 брокера × 2) | 6 × 900 ₽ |
| RAM Kafka (3 брокера × 4 ГБ) | 12 × 360 ₽ |
| Диск до 20 000 IOPS* брокеров (3 × 50 ГБ) | 150 × 14,40 ₽ |
| vCPU сервера MirrorMaker | 2 × 900 ₽ |
| RAM сервера MirrorMaker, ГБ | 4 × 360 ₽ |
| Диск сервера, ГБ | 20 × 14,40 ₽ |
| Публичный IPv4 сервера | 1 × 90 ₽ |
Оплачивается каждый брокер. Сервер MirrorMaker нужен только на время переезда: после переключения удалите его. Исходящий трафик сервера не тарифицируется.
Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.
Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.