1. Главная
  2. Хаб
  3. Сценарии
  4. Переезд с другой Kafka: MirrorMaker 2 на своём сервере и переключение консьюмеров

Сценарий 27

Переезд с другой Kafka: MirrorMaker 2 на своём сервере и переключение консьюмеров

Переносим топики и смещения групп потребителей из Kafka у другого провайдера в Managed Kafka h3llo.cloud без остановки продюсеров: MirrorMaker 2 на сервере в сети проекта копирует сообщения, переводит смещения, а потом консьюмеры и продюсеры по очереди переключаются на новый кластер.

60 минПродвинутый8 шагов Kafka, Серверы обновлено

Содержание
  1. 01Создайте Managed Kafka с автосозданием топиков
  2. 02Заведите пользователя для MirrorMaker
  3. 03Создайте сервер для MirrorMaker
  4. 04Установите Kafka и проверьте оба кластера
  5. 05Настройте MirrorMaker 2
  6. 06Запустите MirrorMaker как службу
  7. 07Дождитесь, пока копия догонит оригинал
  8. 08Переключите консьюмеры, затем продюсеры
  9. Проверка результата
  10. Как удалить ресурсы
  11. Типичные ошибки
  12. Сколько стоит

Что получится

Managed Kafka из трёх брокеров с теми же именами топиков и сообщениями, что в старом кластере, переведённые смещения групп потребителей и приложения, которые читают и пишут уже в новый кластер. Старые сообщения повторно не обрабатываются.

Что понадобится

  • Адреса старой Kafka, логин и пароль пользователя, которому разрешено читать переносимые топики и смотреть группы потребителей (Describe на группы и кластер).
  • Возможность разрешить на старой Kafka подключения с нового адреса — публичного IP сервера MirrorMaker.
  • SSH-ключ в профиле консоли: как его добавить, показано в сценарии «Сайт на облачном сервере».
  1. Шаг 1. Создайте Managed Kafka с автосозданием топиков

    MirrorMaker 2 сам создаёт топики на новой стороне и хранит там свои служебные топики (конфигурация, смещения, статус, контрольные точки). Для этого кластеру нужна настройка «Автосоздание топиков»: с ней пользователь с правом записи может создавать топики. Включается она только при создании кластера.

    Консоль

    1. В меню проекта откройте Базы данных и нажмите Создать базу данных (если базы уже есть — Создать).
    2. СУБД — Kafka. Брокеры — «3 брокера»: каждое сообщение хранится на трёх брокерах, кластер работает, пока доступны два.
    3. Отметьте Автосоздание топиков.
    4. vCPU — 2, RAM — 4 ГБ, Диски — 50 ГБ на брокер: диска должно хватить на сообщения переносимых топиков за весь срок их хранения.
    5. Имя базы данных — kafka-new. Сеть запомните — сервер MirrorMaker создадим в ней же.
    6. Нажмите Создать базу данных.

    CLI

    Терминал
    echo '{"kafkaConfig":{"brokers":3,"autoCreateTopics":true}}' \
      | h3 db create --from-file - --name kafka-new --engine kafka \
          --cpu 2 --memory 4Gi --size 50
    h3 db list

    Проверка

    Статус кластера — «Работает». В карточке, в блоке «Подключение», появились «Адреса брокеров» (вида 10.x.x.x:9094,…) и кнопка Скачать ca.crt.

    Если не получилось

    • Публичного адреса у Kafka нет: к кластеру подключаются только из сети проекта. Поэтому MirrorMaker работает на сервере в той же сети, а не на вашем компьютере.
    • Кластер уже создан без «Автосоздания топиков» — настройку не поменять. Создайте новый кластер с ней или заранее создайте все топики вручную (см. «Типичные ошибки»).
  2. Шаг 2. Заведите пользователя для MirrorMaker

    Консоль

    1. В карточке кластера в секции «Пользователи» нажмите Создать пользователя.
    2. В окне «Новый пользователь»: Имя пользователя mm2, Доступ — «Чтение и запись», Топики — *. Под полем видна строка «Логин для подключения: mm2-…» — это и есть логин.
    3. Нажмите Создать, сохраните логин и пароль и нажмите Я сохранил пароль.

    CLI

    Терминал
    KAFKA=<id кластера kafka-new>
    echo '{"name":"mm2","grants":[{"database":"*","preset":"readwrite"}]}' \
      | h3 db user create $KAFKA --from-file -
    h3 db user list $KAFKA                  # логин вида mm2-1a2b3c4d
    h3 db user credentials $KAFKA <логин>
    h3 db credentials $KAFKA                # bootstrap и caCertificate

    Проверка

    В списке «Пользователи» — mm2-… с доступом «все топики» и статусом «Готов».

  3. Шаг 3. Создайте сервер для MirrorMaker

    Серверу нужен публичный IP: по нему старая Kafka пропустит подключение, а копирование не упрётся в общий NAT сети проекта (до 100 Мбит/с на проект).

    Консоль

    1. Откройте Инстансы и нажмите Создать.
    2. ОС → Образы ОС → Ubuntu 24.04 LTS. vCPU — 2, RAM — 4 ГБ, Диски — 20 ГБ.
    3. Имя виртуальной машины — mm2. Сеть — та же, что у кластера kafka-new.
    4. SSH-ключи — ваш ключ. Публичный IPv4 — «Вкл.», «Выделить новый IP».
    5. Группы безопасности — своя группа, в которой из входящих открыт только SSH 22 (лучше — для вашего адреса /32). Новая группа разрешает весь исходящий трафик, а MirrorMaker нужен именно он.
    6. Нажмите Собрать и запустить.

    CLI

    Терминал
    h3 vm create --name mm2 --image ubuntu:24.04 --cpu 2 --memory 4Gi \
      --disk-size 20Gi --ssh-key-ids <id ключа> --white-ip

    Terraform

    mm2.tf
    resource "h3_vm" "mm2" {
      project_id = var.project_id
      name       = "mm2"
      cpu        = 2
      memory     = "4Gi"
      image      = "ubuntu:24.04"
      disk_size  = "20Gi"
      ssh_key_id = var.ssh_key_id
      white_ip   = true
      # subnet_name = "<сеть кластера Kafka>"  # если это не сеть проекта по умолчанию
    }
    
    output "mm2_ip" {
      value = h3_vm.mm2.endpoint
    }

    Проверка

    Сервер в статусе «Работает», в карточке есть «Публичный IP». Добавьте этот адрес в список разрешённых на старой Kafka (firewall или allowlist провайдера).

  4. Шаг 4. Установите Kafka и проверьте оба кластера

    MirrorMaker 2 входит в дистрибутив Apache Kafka. Нужна Java 17. Сертификат CA нового кластера скачайте кнопкой Скачать ca.crt в карточке или возьмите поле caCertificate из h3 db credentials.

    На сервере mm2
    sudo apt update && sudo apt install -y openjdk-17-jre-headless
    KAFKA_VERSION=4.1.0
    curl -fsSLO "https://archive.apache.org/dist/kafka/${KAFKA_VERSION}/kafka_2.13-${KAFKA_VERSION}.tgz"
    sudo mkdir -p /opt/kafka && sudo tar -xzf "kafka_2.13-${KAFKA_VERSION}.tgz" -C /opt/kafka --strip-components=1
    sudo mkdir -p /etc/mm2 && sudo chown user /etc/mm2 && chmod 700 /etc/mm2
    nano /etc/mm2/h3-ca.crt          # вставьте содержимое ca.crt
    /etc/mm2/h3.properties
    bootstrap.servers=<адреса брокеров из карточки>
    security.protocol=SASL_SSL
    sasl.mechanism=SCRAM-SHA-512
    sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<логин mm2-…>" password="<пароль>";
    ssl.truststore.type=PEM
    ssl.truststore.location=/etc/mm2/h3-ca.crt
    /etc/mm2/old.properties
    bootstrap.servers=old-kafka.example.com:9093
    security.protocol=SASL_SSL
    sasl.mechanism=SCRAM-SHA-512
    sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="<старый логин>" password="<старый пароль>";

    Проверка

    Оба кластера отвечают с этого сервера. Новый пока без топиков (созданные автоматически топики консоль не показывает, но --list их увидит):

    Терминал
    chmod 600 /etc/mm2/*.properties
    /opt/kafka/bin/kafka-topics.sh --bootstrap-server <адрес из old.properties> \
      --command-config /etc/mm2/old.properties --list
    /opt/kafka/bin/kafka-topics.sh --bootstrap-server <первый адрес брокера>:9094 \
      --command-config /etc/mm2/h3.properties --list

    Если не получилось

    • SSL handshake failed на новом кластере — в h3-ca.crt не тот сертификат или он вставлен не целиком (строки BEGIN/END CERTIFICATE обязательны).
    • Authentication failed — в логине нет суффикса: нужен полный логин вида mm2-1a2b3c4d, а не mm2.
    • Тайм-аут к новому кластеру — сервер в другой сети проекта. Пересоздайте его в сети кластера.
  5. Шаг 5. Настройте MirrorMaker 2

    IdentityReplicationPolicy сохраняет имена топиков: orders останется orders, а не old.orders, — приложениям не придётся менять имена. Синхронизацию настроек и ACL топиков отключаем: эти права на управляемом кластере не выдаются, настройки топиков задаются при создании.

    Служебные топики смещений держим на новом кластере (offset-syncs.topic.location = target), чтобы MirrorMaker ничего не создавал на старом.

    /etc/mm2/mm2.properties
    clusters = old, h3
    
    old.bootstrap.servers = old-kafka.example.com:9093
    old.security.protocol = SASL_SSL
    old.sasl.mechanism = SCRAM-SHA-512
    old.sasl.jaas.config = org.apache.kafka.common.security.scram.ScramLoginModule required username="<старый логин>" password="<старый пароль>";
    
    h3.bootstrap.servers = <адреса брокеров из карточки>
    h3.security.protocol = SASL_SSL
    h3.sasl.mechanism = SCRAM-SHA-512
    h3.sasl.jaas.config = org.apache.kafka.common.security.scram.ScramLoginModule required username="<логин mm2-…>" password="<пароль>";
    h3.ssl.truststore.type = PEM
    h3.ssl.truststore.location = /etc/mm2/h3-ca.crt
    
    old->h3.enabled = true
    old->h3.topics = orders, payments, events\..*
    old->h3.groups = .*
    h3->old.enabled = false
    
    replication.policy.class = org.apache.kafka.connect.mirror.IdentityReplicationPolicy
    sync.topic.configs.enabled = false
    sync.topic.acls.enabled = false
    offset-syncs.topic.location = target
    
    emit.checkpoints.enabled = true
    emit.checkpoints.interval.seconds = 10
    sync.group.offsets.enabled = true
    sync.group.offsets.interval.seconds = 10
    
    # у кластера из 3 брокеров; для кластера из 1 брокера — 1
    replication.factor = 3
    checkpoints.topic.replication.factor = 3
    heartbeats.topic.replication.factor = 3
    offset-syncs.topic.replication.factor = 3
    offset.storage.replication.factor = 3
    status.storage.replication.factor = 3
    config.storage.replication.factor = 3

    Проверка

    В old->h3.topics перечислены все переносимые топики (через запятую, допускаются регулярные выражения). Внутренние топики старого кластера (__consumer_offsets и подобные) MirrorMaker не копирует.

  6. Шаг 6. Запустите MirrorMaker как службу

    /etc/systemd/system/mm2.service
    [Unit]
    Description=Kafka MirrorMaker 2 (old -> h3)
    After=network-online.target
    Wants=network-online.target
    
    [Service]
    User=user
    Environment=KAFKA_HEAP_OPTS=-Xmx2g
    ExecStart=/opt/kafka/bin/connect-mirror-maker.sh /etc/mm2/mm2.properties
    Restart=on-failure
    RestartSec=10
    
    [Install]
    WantedBy=multi-user.target
    На сервере mm2
    sudo nano /etc/systemd/system/mm2.service     # вставьте юнит выше
    sudo systemctl daemon-reload
    sudo systemctl enable --now mm2
    journalctl -u mm2 -f

    Проверка

    Через минуту-две на новом кластере появились топики с теми же именами, а также служебные mm2-*.internal, heartbeats и old.checkpoints.internal:

    Терминал
    /opt/kafka/bin/kafka-topics.sh --bootstrap-server <первый адрес брокера>:9094 \
      --command-config /etc/mm2/h3.properties --list

    Если не получилось

    • TopicAuthorizationException или Not authorized to access topics в журнале — у кластера нет «Автосоздания топиков» или у пользователя доступ не к *. Проверьте Изменить доступ у пользователя.
    • Topic … is required to have 'cleanup.policy=compact' — служебный топик создан заранее вручную. Удалите топики mm2-configs.old.internal, mm2-offsets.old.internal, mm2-status.old.internal в секции «Топики» и перезапустите службу — MirrorMaker создаст их с нужной политикой.
    • Достигнут лимит в 100 топиков — уменьшите список в old->h3.topics: на управляемом кластере до 100 топиков, служебные тоже считаются.
  7. Шаг 7. Дождитесь, пока копия догонит оригинал

    Сравните последние смещения партиций на обеих сторонах и отставание групп. MirrorMaker переводит смещения групп в контрольные точки на новом кластере и, пока группа там не активна, записывает их как её смещения.

    На сервере mm2
    for side in old h3; do
      echo "== $side"
      /opt/kafka/bin/kafka-get-offsets.sh --command-config /etc/mm2/$side.properties \
        --bootstrap-server "$(grep '^bootstrap.servers' /etc/mm2/$side.properties | cut -d= -f2 | cut -d, -f1)" \
        --topic orders
    done
    # смещения группы на новом кластере
    /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <первый адрес брокера>:9094 \
      --command-config /etc/mm2/h3.properties --describe --group orders-service

    Проверка

    Последние смещения партиций на новом кластере отстают от старого не больше чем на несколько секунд потока, а у группы orders-service на новом кластере есть CURRENT-OFFSET рядом с концом партиций.

    Если не получилось

    • Группа на новом кластере не появилась — в старом кластере у группы нет закоммиченных смещений по переносимым топикам или у старого пользователя нет Describe на группы.
  8. Шаг 8. Переключите консьюмеры, затем продюсеры

    Порядок важен. Сначала консьюмеры: остановите группу на старом кластере, подождите 10–20 секунд (интервал синхронизации смещений), запустите её на новом кластере с настройками из «Подключение». Она продолжит с переведённых смещений.

    Потом продюсеры: переключите их на новый кластер. Сообщения, которые успели записаться в старый кластер, MirrorMaker докопирует, и консьюмеры их получат.

    На стыке возможны единичные повторы сообщений, поэтому обработчики должны быть идемпотентными, как и при любом перезапуске Kafka-консьюмера.

    Проверка

    Группы потребителей на новом кластере читают без растущего отставания, в старый кластер больше никто не пишет: последние смещения в старых топиках не меняются.

Проверка результата

Приложения работают с Managed Kafka, а отставание групп на новом кластере не растёт.

Терминал
/opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <первый адрес брокера>:9094 \
  --command-config /etc/mm2/h3.properties --describe --all-groups

Как удалить ресурсы

MirrorMaker нужен только на время переезда. После переключения остановите его и удалите сервер; служебные топики на новом кластере можно удалить.

Терминал

Терминал
sudo systemctl disable --now mm2
  1. Инстансы → mm2 → меню «…» → Удалить; отметьте «Освободить IP-адрес (иначе он останется в проекте)».
  2. В карточке Kafka, секция «Пользователи», удалите пользователя mm2-…: меню пользователя → Удалить.
  3. Служебные топики mm2-*.internal, heartbeats, old.checkpoints.internal удаляются через клиент: kafka-topics.sh --delete --topic <имя> с h3.properties. Созданные автоматически топики не видны в списке консоли.
  4. Удалите адрес сервера из списка разрешённых на старой Kafka.

Типичные ошибки

Есть ли в h3llo.cloud управляемые Kafka Connect или MirrorMaker?

Нет. MirrorMaker 2 запускается на своём сервере в сети проекта, как в этом сценарии. Сервер нужен только на время переезда.

Кластер создан без «Автосоздания топиков». Что делать?

Настройка задаётся только при создании. Либо создайте новый кластер с ней, либо заранее создайте переносимые топики в секции «Топики» с тем же числом партиций, что в старом кластере. Служебным топикам MirrorMaker нужна политика `compact`, которую через консоль не задать, — поэтому для переезда надёжнее кластер с автосозданием.

Можно ли подключиться к Managed Kafka из старого облака напрямую?

Нет: у Kafka в h3llo.cloud нет публичного адреса, к ней подключаются из сети проекта. Поэтому копирование идёт с сервера в сети проекта, который сам ходит в старую Kafka.

Сохранятся ли настройки топиков — срок хранения, число партиций?

Число партиций MirrorMaker берёт из старого топика при создании. Срок хранения — по умолчанию кластера (7 дней); для топиков, созданных автоматически, его не поменять в консоли. Если важен свой срок, создайте топик заранее в секции «Топики» с нужным «Сроком хранения, часов».

У старого кластера один брокер — тоже 3 на новом?

Для продакшена — 3 брокера: «1 брокер» подходит для разработки, при перезапуске брокера кластер недоступен. Число брокеров после создания не меняется.

Связанные продукты и материалы

Сколько стоит

≈ 21,53 ₽ в час · 15 498 ₽ в месяц при работе 24/7

vCPU Kafka (3 брокера × 2)6 × 900 ₽
RAM Kafka (3 брокера × 4 ГБ)12 × 360 ₽
Диск до 20 000 IOPS* брокеров (3 × 50 ГБ)150 × 14,40 ₽
vCPU сервера MirrorMaker2 × 900 ₽
RAM сервера MirrorMaker, ГБ4 × 360 ₽
Диск сервера, ГБ20 × 14,40 ₽
Публичный IPv4 сервера1 × 90 ₽

Оплачивается каждый брокер. Сервер MirrorMaker нужен только на время переезда: после переключения удалите его. Исходящий трафик сервера не тарифицируется.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.

* IOPS растут с объёмом диска; точные значения для вашего объёма видны в консоли при выборе.