1. Главная
  2. Хаб
  3. Сценарии
  4. Переезд PostgreSQL из другого облака: pg_dump, pg_restore и короткое окно

Сценарий 25

Переезд PostgreSQL из другого облака: pg_dump, pg_restore и короткое окно

Переносим базу PostgreSQL в Managed PostgreSQL h3llo.cloud параллельным дампом и восстановлением: репетируем на копии, замеряем окно, в день переезда останавливаем запись, переносим, сверяем данные и переключаем строку подключения.

90 минПродвинутый6 шагов PostgreSQL, Серверы обновлено

Содержание
  1. 01Проверьте исходную базу
  2. 02Создайте целевую базу, пользователей и базу с расширениями
  3. 03Подготовьте сервер-переносчик
  4. 04Отрепетируйте переезд и замерьте время
  5. 05Переезд: остановите запись, перенесите, сверьте
  6. 06Переключите приложение
  7. Проверка результата
  8. Как удалить ресурсы
  9. Типичные ошибки
  10. Сколько стоит

Что получится

Данные исходной базы в Managed PostgreSQL 17.11 с теми же расширениями, пользователи приложения с нужными правами, сверка числа строк, приложение на новой строке подключения и замеренное окно простоя.

Что понадобится

  • Доступ к исходной базе: адрес, пользователь с правом чтения всех таблиц (обычно владелец базы) и возможность открыть порт 5432 для адреса сервера-переносчика.
  • Сервер-переносчик на Ubuntu в h3llo.cloud — например, из сценария «Сайт на облачном сервере». Диск сервера — не меньше объёма дампа.
  • Согласованное окно, когда приложение может не писать в базу.
  1. Шаг 1. Проверьте исходную базу

    До переезда нужно знать три вещи: версию, расширения и размер. Расширения должны быть в списке платформы, иначе восстановление споткнётся на объектах этого расширения.

    На исходной базе
    SRC="postgresql://<user>:<пароль>@<адрес исходной базы>:5432/<база>?sslmode=require"
    psql "$SRC" -c 'SHOW server_version;'
    psql "$SRC" -c 'SELECT extname, extversion FROM pg_extension ORDER BY 1;'
    psql "$SRC" -c 'SELECT pg_size_pretty(pg_database_size(current_database()));'
    psql "$SRC" -c 'SHOW lc_collate;'

    Проверка

    Все расширения из вывода (кроме plpgsql) есть в списке: bloom, btree_gin, btree_gist, citext, cube, earthdistance, fuzzystrmatch, hstore, intarray, isn, lo, ltree, pg_stat_statements, pg_trgm, pgcrypto, seg, tablefunc, tsm_system_rows, tsm_system_time, unaccent, uuid-ossp, vector, postgis, postgis_topology. Список платформы можно получить и командой h3 db extensions.

    Если не получилось

    • dblink, postgres_fdw и file_fdw недоступны: перед переездом уберите зависящие от них объекты или замените их обменом через приложение.
    • Суперпользователя нет: функции на plpython, SECURITY DEFINER от суперпользователя, свои C-расширения перенести не получится.
  2. Шаг 2. Создайте целевую базу, пользователей и базу с расширениями

    Размер диска возьмите с запасом в полтора-два раза к размеру базы: индексы после восстановления строятся заново, а автоувеличение диска подстрахует дальше. Роли из исходной базы дампом не переносятся — пользователей создаёт платформа.

    Консоль

    1. Базы данных → Создать базу данных. СУБД — PostgreSQL 17.11, vCPU 4, RAM 8 ГБ, Диски — 100 ГБ, Имя базы данных app-db. Отказоустойчивость — 2 экземпляра для продакшена. Резервное копирование — «Вкл».
    2. В блоке «База и владелец»: Имя базы — как в исходной (например, shop), Владелец shop, Расширения — все из шага 1. Локаль — «C.UTF-8 (builtin, Unicode)».
    3. Нажмите Создать базу данных. После запуска в «Пользователи и базы» создайте остальных пользователей приложения и выдайте им уровни доступа к базе.

    CLI

    Терминал
    h3 db create --name app-db --engine postgres --version 17.11 --cpu 4 --memory 8Gi --size 100 --white-ip
    h3 db ha set <db-id> --instances 2
    h3 db user create <db-id> --name shop
    h3 db database create <db-id> --name shop --owner shop --locale C.UTF-8 --extensions pg_trgm,uuid-ossp
    h3 db user credentials <db-id> shop

    Terraform

    Terraform
    resource "h3_database" "app" {
      project_id = var.project_id
      name       = "app-db"
      engine     = "postgres"
      version    = "17.11"
      cpu        = 4
      memory     = "8Gi"
      size       = "100Gi"
      white_ip   = true
    
      lifecycle {
        prevent_destroy = true
      }
    }
    # пользователи и база shop с расширениями — в консоли или через CLI

    Проверка

    У базы shop статус «Готов», в колонке «Расширения» — тот же набор, что в исходной.

    Если не получилось

    • Подключение к новой базе — только по TLS (sslmode=require). Режим verify-full с публичными корневыми сертификатами не пройдёт.
  3. Шаг 3. Подготовьте сервер-переносчик

    Дамп и восстановление удобнее гонять с сервера в h3llo.cloud: загрузка в новую базу идёт по короткому пути, а ваш ноутбук не держит переезд. Версия pg_dump должна быть не ниже версии исходной базы — ставим клиент 17 из репозитория PostgreSQL.

    На сервере
    sudo apt update && sudo apt install -y postgresql-common
    sudo /usr/share/postgresql-common/pgdg/apt.postgresql.org.sh -y
    sudo apt install -y postgresql-client-17
    pg_dump --version

    Проверка

    pg_dump (PostgreSQL) 17.x. С сервера открываются обе базы:

    Терминал
    psql "$SRC" -c 'select 1;'
    psql "postgresql://shop:<пароль>@<IP новой базы>:5432/shop?sslmode=require" -c 'select 1;'

    Если не получилось

    • До исходной базы не достучаться — разрешите в прежнем облаке подключение с публичного IP сервера-переносчика.
  4. Шаг 4. Отрепетируйте переезд и замерьте время

    Репетиция на живой базе без остановки записи показывает, сколько займёт настоящее окно и какие ошибки даст восстановление. Формат -Fd (каталог) позволяет дампить и восстанавливать в несколько потоков: -j — по числу vCPU.

    Ключи --no-owner --no-privileges обязательны: владельцем всех объектов станет пользователь, под которым идёт восстановление, а права выдаются уровнями доступа платформы.

    На сервере
    DST="postgresql://shop:<пароль>@<IP новой базы>:5432/shop?sslmode=require"
    sudo mkdir -p /data && sudo chown "$USER" /data
    time pg_dump "$SRC" -Fd -j 4 -f /data/dump
    time pg_restore -d "$DST" -j 4 --no-owner --no-privileges --no-comments /data/dump 2> restore.log
    grep -c ERROR restore.log; head -n 20 restore.log

    Проверка

    Сумма двух time — оценка окна. В restore.log нет ошибок по таблицам и данным; допустимы сообщения про уже существующие расширения.

    Если не получилось

    • must be owner of extension или permission denied to create extension — расширение не включено в целевой базе. Включите его в «Изменить расширения» и повторите восстановление в чистую базу.
    • role "..." does not exist — не указаны --no-owner --no-privileges.
    • Перед боевым переездом очистите целевую базу: удалите и создайте заново базу shop в «Пользователи и базы».
  5. Шаг 5. Переезд: остановите запись, перенесите, сверьте

    В окне приложение не должно писать в исходную базу: включите режим обслуживания или остановите воркеры. Дальше — те же команды, что на репетиции, и сверка.

    На сервере
    rm -rf /data/dump
    pg_dump "$SRC" -Fd -j 4 -f /data/dump
    pg_restore -d "$DST" -j 4 --no-owner --no-privileges --no-comments /data/dump
    vacuumdb -d "$DST" --analyze-only -j 4
    Сверка числа строк
    # точный подсчёт по ключевым таблицам (подставьте свои)
    for t in orders users items; do
      echo "$t: $(psql "$SRC" -Atc "select count(*) from $t") -> $(psql "$DST" -Atc "select count(*) from $t")"
    done

    Проверка

    Количество строк в ключевых таблицах совпадает, значения последовательностей перенесены (SELECT last_value FROM <таблица>_id_seq; на обеих базах).

  6. Шаг 6. Переключите приложение

    Замените строку подключения на новую: адрес «Внутри VPC», если приложение уже в h3llo.cloud, или публичный адрес базы. Исходную базу пока не удаляйте: оставьте её только для чтения на несколько дней как путь отката.

    .env
    DATABASE_URL=postgresql://shop:<пароль>@<адрес новой базы>:5432/shop?sslmode=require

    Проверка

    Приложение работает, в карточке новой базы на графиках нагрузки видны подключения, в «Резервные копии» появилась первая копия и непустое «Окно восстановления».

Проверка результата

Ключевые сценарии приложения (вход, создание заказа, отчёт) проходят на новой базе; restore.log без ошибок по данным; новые записи появляются только в новой базе.

Терминал
psql "$DST" -c 'SELECT count(*) FROM pg_stat_activity WHERE datname = current_database();'

Как удалить ресурсы

Удаляйте исходную базу в прежнем облаке только после того, как убедились, что откат не понадобится.

  1. Удалите дамп с сервера-переносчика: rm -rf /data/dump — в нём полная копия данных.
  2. Инстансы → сервер-переносчик → меню «…» → Удалить, отметьте «Освободить IP-адрес (иначе он останется в проекте)» → Подтвердить.
  3. Если переезд отменяется: Базы данных → app-db → меню «…» → Удалить → Подтвердить.

Типичные ошибки

Можно ли переехать вообще без простоя?

Логическая репликация с прежнего облака в Managed PostgreSQL не поддерживается, поэтому окно простоя равно времени финального дампа и восстановления. Сократить его помогают параллельность (`-j`), сервер-переносчик в h3llo.cloud и перенос больших архивных таблиц заранее, если они не меняются.

Сортировка строк изменилась после переезда

Исходная база часто работает с локалью `en_US.UTF-8` или `ru_RU.UTF-8`, а новая — с `C` или `C.UTF-8`, где строки сравниваются по кодам символов. Проверьте запросы с `ORDER BY` по тексту и `LIKE`-индексы до переключения — на репетиции.

Как перенести пользователей и их пароли?

`pg_dumpall --roles-only` здесь не поможет: создавать роли может только платформа. Создайте пользователей в «Пользователи и базы» (или `h3 db user create`), выдайте уровни доступа и обновите пароли в приложении.

База больше 1 ТБ

Диск базы — до 1024 ГБ. Для больших баз напишите в поддержку до переезда: поможем спланировать перенос по частям.

Связанные продукты и материалы

Сколько стоит

≈ 22,25 ₽ в час · 16 020 ₽ в месяц при работе 24/7

vCPU новой базы4 × 900 ₽
RAM новой базы, ГБ8 × 360 ₽
Диск базы до 20 000 IOPS*, ГБ100 × 14,40 ₽
vCPU сервера-переносчика4 × 900 ₽
RAM сервера-переносчика, ГБ8 × 360 ₽
Диск сервера под дамп, ГБ100 × 14,40 ₽
Публичные IPv4 базы и сервера2 × 90 ₽

Сервер-переносчик нужен только на время переезда: после переезда удалите его. Входящий трафик в h3llo.cloud бесплатен; исходящий трафик из прежнего облака оплачивается по его тарифам.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.

* IOPS растут с объёмом диска; точные значения для вашего объёма видны в консоли при выборе.