Что получится
Таблицы старого ClickHouse со всеми строками в управляемом ClickHouse h3llo.cloud, совпадающие счётчики строк по месяцам на обеих сторонах, догруженный хвост свежих данных и приложения, которые пишут и читают уже из нового сервера.
Что понадобится
- Доступ к старому ClickHouse с правом
SELECTна переносимые таблицы и правом на табличную функциюs3(у самостоятельно развёрнутого сервера оно есть у пользователяdefault). - Исходящий доступ со старого сервера к
https://storage.h3llo.cloud(порт 443). clickhouse-clientна компьютере или сервере, откуда вы подключаетесь к новой базе, и CLI h3 с API-ключом проекта — для шага с интеграцией.- Колонка времени в больших таблицах (например,
ts): по ней удобно делить выгрузку и сверку на месяцы.
-
Шаг 1. Составьте список таблиц на старом сервере
Сначала поймите объём и схему: какие таблицы переносим, сколько в них строк и какие движки. Таблицы с движками
Kafka,MySQL,PostgreSQL,URLхранят подключения к внешним системам, а не данные. Такие таблицы не выгружают: их заново настраивают на новой стороне (см. «Типичные ошибки»).На старом ClickHouseSELECT database, name, engine, total_rows, formatReadableSize(total_bytes) AS size FROM system.tables WHERE database NOT IN ('system', 'INFORMATION_SCHEMA', 'information_schema') ORDER BY total_bytes DESC; -- DDL каждой переносимой таблицы: сохраните вывод в файл schema.sql SHOW CREATE TABLE shop.events FORMAT TSVRaw;Проверка
У вас есть список таблиц с объёмом и файл
schema.sqlс ихCREATE TABLE. Суммарный объём подскажет размер диска новой базы: берите с запасом в полтора-два раза — слияния кусков временно занимают место. -
Шаг 2. Создайте управляемый ClickHouse
Выберите ту же линию версии, что у старого сервера, или новее. Доступны 26.8, 26.3 (LTS) и 25.8.33.6.
Консоль
- В меню проекта откройте Базы данных и нажмите Создать базу данных (если базы уже есть — Создать).
- СУБД — ClickHouse, версия 26.3. vCPU — 4, RAM — 16 ГБ, Диски — 200 ГБ (минимум для ClickHouse — 2 vCPU и 4 ГБ RAM).
- Имя базы данных —
ch-new. Сеть оставьте предложенной. - Публичный IPv4 — «Вкл.», «Выделить новый IP», если будете подключаться со своего компьютера. Для подключения только с серверов проекта оставьте выключенным.
- Нажмите Создать базу данных.
CLI
Терминалh3 db create --name ch-new --engine clickhouse --version 26.3 \ --cpu 4 --memory 16Gi --size 200 --white-ip h3 db list # id новой базы понадобится дальшеПроверка
Статус меняется с «Создается» на «Работает». В карточке базы, в блоке «Подключение», есть «Адрес в VPC» и (если включали) «Публичный IP».
-
Шаг 3. Заведите базу и пользователя для переноса
Встроенный пользователь
appне может получить доступ к интеграциям, поэтому для переноса нужен отдельный пользователь. Пресет «Администратор» разрешает создавать таблицы и писать в них, но не управляет пользователями.Консоль
- В карточке базы в строке «Пользователи и базы» нажмите Открыть.
- В секции «Базы данных» нажмите Создать базу, в окне «Новая база» введите Имя базы
analyticsи нажмите Создать. - В секции «Пользователи» нажмите Создать пользователя. В окне «Новый пользователь»: Имя пользователя
migrator, в Доступ к базам дляanalyticsвыберите «Администратор», Профиль — «Большой» (запрос до 600 секунд). Нажмите Создать. - Сохраните пароль из окна «Пользователь создан» и нажмите Я сохранил пароль.
CLI
ТерминалDB=<id базы ch-new> h3 db database create $DB --name analytics echo '{"name":"migrator","grants":[{"database":"analytics","preset":"admin"}],"profile":"large"}' \ | h3 db user create $DB --from-file - h3 db user credentials $DB migratorПроверка
Пользователь подключается к новой базе. Платформа выдаёт сертификат, которому публичные корневые центры не доверяют, поэтому клиенту нужен флаг
--accept-invalid-certificate— шифрование при этом остаётся.Терминалclickhouse-client --secure --host <IP или адрес в VPC> --port 9440 \ --accept-invalid-certificate --user migrator --password '<пароль>' \ --query 'SELECT version()'Если не получилось
- Подключение висит до тайм-аута — у базы нет публичного IP, а вы подключаетесь снаружи. Подключайтесь с сервера в той же сети проекта или привяжите IP:
h3 db public-ip attach. - Сразу после создания пользователя возможна ошибка доступа: права применяются в течение минуты. Если не прошли — Изменить доступ и сохраните права ещё раз.
-
Шаг 4. Создайте бакет для выгрузки
Консоль
- Откройте S3 хранилище и нажмите Создать бакет. Имя бакета —
ch-migration, нажмите Создать бакет. - На странице «Бакеты S3» скопируйте «Публичный ключ» и «Приватный ключ» — одна пара на все бакеты проекта.
CLI
Терминалh3 s3 bucket create ch-migrationTerraform
s3.tfresource "h3_s3_bucket" "migration" { project_id = var.project_id name = "ch-migration" } # ключи проекта отдаются только при создании бакета output "s3_access_key_id" { value = h3_s3_bucket.migration.access_key_id sensitive = true } output "s3_secret_access_key" { value = h3_s3_bucket.migration.secret_access_key sensitive = true }Проверка
Бакет
ch-migrationесть в списке «Бакеты S3», ключи сохранены. - Откройте S3 хранилище и нажмите Создать бакет. Имя бакета —
-
Шаг 5. Подключите бакет к ClickHouse интеграцией
В управляемом ClickHouse у пользователей нет табличных функций
s3,urlиremoteс произвольным адресом. Бакет подключается именованной коллекцией: платформа хранит ключи у себя и выдаёт пользователю право читать только этот бакет и префикс.Интеграции настраиваются через API. CLI h3 подписывает запрос ключом проекта.
CLI
Терминалh3 api POST /api/databases/v1/$DB/integrations -d '{ "name": "migration_s3", "kind": "s3", "bucket": "ch-migration", "prefix": "export", "accessKeyId": "<публичный ключ>", "secretAccessKey": "<приватный ключ>", "grantTo": ["migrator"] }' h3 api GET /api/databases/v1/$DB/integrationsПроверка
В ответе
GETуmigration_s3статусREADY, ключей в ответе нет. Коллекция смотрит вch-migration/export/.Если не получилось
UNKNOWN_USERвgrantTo— указан встроенныйappили пользователь, которого нет в «Пользователи и базы». Нужен пользователь, созданный на шаге 3.ALREADY_EXISTS— интеграция с таким именем уже есть: удалите её (h3 api DELETE /api/databases/v1/$DB/integrations/migration_s3) или выберите другое имя.
-
Шаг 6. Создайте таблицы на новом сервере
Примените DDL из
schema.sql, заменив имя базы наanalytics. Материализованные представления и словари создайте после загрузки: иначе представление получит каждую строку второй раз.Если база создана с репликами через API, добавьте
ON CLUSTER cи заменитеMergeTreeнаReplicatedMergeTree()без аргументов — путь в Keeper платформа задаёт сама. Для базы из консоли (один сервер) DDL подходит как есть.На новом ClickHouse (пользователь migrator)CREATE TABLE analytics.events ( ts DateTime, user_id UInt64, event LowCardinality(String), payload String ) ENGINE = MergeTree PARTITION BY toYYYYMM(ts) ORDER BY (event, ts);Проверка
SHOW TABLES FROM analyticsпоказывает все переносимые таблицы, пустые. -
Шаг 7. Выгрузите данные со старого сервера в бакет
Формат
Nativeсохраняет типы ClickHouse один в один (LowCardinality,Nullable,DateTime64,Enum), поэтому для переезда ClickHouse → ClickHouse он надёжнее Parquet. Большую таблицу выгружайте по месяцам: каждый месяц — отдельный файл, повтор после сбоя затронет только его.Хранилище работает только с адресами вида
https://storage.h3llo.cloud/<бакет>/<путь>, регион не нужен.На старом ClickHouseINSERT INTO FUNCTION s3( 'https://storage.h3llo.cloud/ch-migration/export/events/{_partition_id}.native', '<публичный ключ>', '<приватный ключ>', 'Native') PARTITION BY toYYYYMM(ts) SELECT * FROM shop.events SETTINGS s3_truncate_on_insert = 1;Проверка
В бакете появились файлы по месяцам. Проверьте с компьютера, где настроен rclone из сценария «Резервные копии в S3», или на странице бакета в консоли:
Терминалrclone ls h3:ch-migration/export/events/Если не получилось
Access DeniedилиSignatureDoesNotMatch— перепутаны ключи: первым идёт «Публичный ключ», вторым «Приватный».- Старый сервер не выходит в интернет или провайдер запрещает функцию
s3— выгрузите таблицу в файл (clickhouse-client --query 'SELECT * FROM shop.events FORMAT Native' > events.native) и загрузите его в бакет через rclone по тому же пути.
-
Шаг 8. Загрузите данные в новую таблицу
Коллекция
migration_s3уже указывает наch-migration/export/, поэтому в запросе остаётся только путь к файлам внутри префикса.На новом ClickHouse (пользователь migrator)INSERT INTO analytics.events SELECT * FROM s3(migration_s3, filename = 'events/*.native', format = 'Native');Проверка
Запрос завершился без ошибок,
SELECT count() FROM analytics.eventsбольше нуля. Долгую загрузку видно в разделе диагностики базы или вsystem.processes.Если не получилось
Override not allowed for 'url'— в запросе передан адрес бакета. Адрес и ключи задаёт коллекция, в запросе указывайте толькоfilenameиformat.Timeout exceeded— у пользователя профиль «Стандартный» или «Малый». Поставьте «Большой» (Профиль и квота) или загружайте по одному месяцу:filename = 'events/202610.native'.Not enough space— диска не хватает на данные и слияния. Увеличьте диск базы и повторите месяц, на котором остановились.
-
Шаг 9. Сверьте число строк по месяцам
Один и тот же запрос на обеих сторонах. Расхождение покажет, какой месяц выгрузить и загрузить заново.
На старом и на новом ClickHouseSELECT toYYYYMM(ts) AS month, count() AS rows, min(ts), max(ts) FROM analytics.events -- на старом сервере: shop.events GROUP BY month ORDER BY month;Проверка
Таблицы с обеих сторон совпадают строка в строку. Если в каком-то месяце строк меньше, удалите его на новой стороне (
ALTER TABLE analytics.events DROP PARTITION 202610), выгрузите заново и загрузите один файл. -
Шаг 10. Догрузите свежие данные и переключите приложения
Пока шла выгрузка, старый сервер продолжал получать данные. Перед переключением остановите запись, догрузите хвост с момента первой выгрузки и направьте приложения на новый адрес.
На старом ClickHouse — хвост после остановки записиINSERT INTO FUNCTION s3( 'https://storage.h3llo.cloud/ch-migration/export/events-tail/tail.native', '<публичный ключ>', '<приватный ключ>', 'Native') SELECT * FROM shop.events WHERE ts >= '2026-11-01 00:00:00' SETTINGS s3_truncate_on_insert = 1;На новом ClickHouseALTER TABLE analytics.events DELETE WHERE ts >= '2026-11-01 00:00:00'; INSERT INTO analytics.events SELECT * FROM s3(migration_s3, filename = 'events-tail/tail.native', format = 'Native');Проверка
Сверка из прошлого шага совпадает и для последнего месяца. В настройках приложения — новый адрес: «Адрес в VPC» для серверов и кластеров проекта, порт 9440 (нативный протокол) или 8443 (HTTPS).
Проверка результата
Приложение пишет в новый ClickHouse, отчёты строятся по полным данным, а сверка по месяцам совпадает со старым сервером на момент остановки записи.
clickhouse-client --secure --host <адрес> --port 9440 --accept-invalid-certificate \
--user migrator --password '<пароль>' \
--query "SELECT max(ts), count() FROM analytics.events" Как удалить ресурсы
После переезда уберите временное: интеграцию, бакет с выгрузкой и, когда убедитесь, что откат не понадобится, — старый сервер.
CLI
h3 api DELETE /api/databases/v1/$DB/integrations/migration_s3
h3 s3 bucket delete ch-migration - S3 хранилище → строка
ch-migration→ меню «…» → Удалить. Удаление бакета удаляет все файлы выгрузки. - Пользователя
migratorможно оставить для администрирования или удалить: «Пользователи и базы» → меню пользователя → Удалить.
Типичные ошибки
Почему не remote() или remoteSecure() напрямую со старого сервера?
У пользователей управляемого ClickHouse нет табличных функций `remote`, `url`, `s3` и `file` с произвольным адресом — так платформа не даёт отправить данные или пароли на чужой сервер. Внешние данные подключаются интеграциями: S3, Kafka и PostgreSQL своего проекта.
Что делать с таблицами на движке Kafka и материализованными представлениями?
Таблицу `Kafka` создайте заново через Kafka-интеграцию (`kind: kafka`) — источник должен быть Managed Kafka в той же сети проекта. Материализованные представления создайте после загрузки данных, иначе исторические строки попадут в целевую таблицу дважды.
Пользователи и права старого сервера переносятся?
Нет. Пользователей заведите в «Пользователи и базы» с пресетами «Только чтение», «Чтение и запись» или «Администратор»; команды `CREATE USER` и `GRANT` пресетам недоступны.
Словари со старого сервера
Словари из таблиц PostgreSQL создаются через API (`POST /api/databases/v1/<id>/dictionaries`) поверх PostgreSQL-интеграции. Словари из других источников придётся заменить таблицами или словарями из PostgreSQL.
У старого сервера был кластер с шардами
Выгружайте с каждого шарда в свой подкаталог (`events/shard1/…`) или через `Distributed`-таблицу целиком. Новая база с шардами создаётся через API (`clickhouseConfig.shards`), для запросов ко всем шардам нужна таблица `Distributed` на кластере `c`.
Связанные продукты и материалы
- Сценарий · 25 минРезервные копии сервера в S3 по расписанию: rclone, cron и ротация
- Статья · 1 минОбъектное хранилище S3 доступно всем
- Сценарий · 45 минСайт на облачном сервере: публичный IP, домен и HTTPS
- Сценарий · 40 минПриложение в Managed Kubernetes из своего реестра образов
- ПродуктClickHouse
- ПродуктS3
Сколько стоит
≈ 19,37 ₽ в час · 13 949 ₽ в месяц при работе 24/7
| vCPU ClickHouse | 4 × 1 035 ₽ |
| RAM ClickHouse, ГБ | 16 × 414 ₽ |
| Диск до 20 000 IOPS*, ГБ | 200 × 14,40 ₽ |
| Публичный IPv4 базы | 1 × 90 ₽ |
| Выгрузка в S3 на время переезда, ГБ | 100 × 2,15 ₽ |
| Чтение выгрузки из S3 при загрузке, ГБ | 100 × 0,90 ₽ |
Загрузка в S3 и запросы бесплатны, скачивание из бакета оплачивается за ГБ по тарифу хранилища. Хранение выгрузки считается за время переезда — бакет удаляется в конце. Публичный IPv4 нужен только для подключения к базе со своего компьютера — с сервера в той же сети проекта можно обойтись без него.
Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.
Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.