1. Главная
  2. Хаб
  3. Сценарии
  4. Обезличенная копия рабочей базы для разработки

Сценарий 23

Обезличенная копия рабочей базы для разработки

Разработчикам нужны реальные объёмы и связи данных, но не персональные данные клиентов. Восстанавливаем свежую копию рабочей базы, заменяем ПДн SQL-скриптом, переносим результат в отдельный проект разработки и выдаём команде доступ только туда.

60 минПродвинутый5 шагов PostgreSQL, Безопасность обновлено

Содержание
  1. 01Восстановите свежую копию в рабочем проекте
  2. 02Обезличьте данные SQL-скриптом
  3. 03Создайте проект разработки и базу в нём
  4. 04Перенесите обезличенные данные в проект разработки
  5. 05Удалите временную копию и выдайте доступ команде
  6. Проверка результата
  7. Как удалить ресурсы
  8. Типичные ошибки
  9. Сколько стоит

Что получится

Проект dev с базой dev-db, в которой структура и объёмы как в рабочей базе, но имена, e-mail, телефоны и адреса заменены. Разработчики приглашены только в dev, рабочий проект и его копии им не видны. Процедуру можно повторять по расписанию.

Что понадобится

  • Рабочая база Managed PostgreSQL с включённым резервным копированием — например, из сценария «Managed PostgreSQL для приложения».
  • Права администратора рабочего пространства: создать проект и пригласить в него людей.
  • Список таблиц и колонок с персональными данными — его составляет владелец системы.
  • psql, pg_dump и pg_restore версии 17 на компьютере или сервере, откуда видны обе базы.
  1. Шаг 1. Восстановите свежую копию в рабочем проекте

    Копия создаётся из резервных копий, исходная база продолжает работать и не получает дополнительной нагрузки. Копия появляется в том же проекте, что и рабочая база: её видят только участники рабочего проекта, разработчики туда не приглашены.

    Консоль

    1. Откройте рабочую базу (app-db) → раздел «Резервные копии» → Восстановить.
    2. В окне «Восстановить в новую базу»: Имя новой базы app-db-anon, На какой момент восстановить — «Последнее состояние». Нажмите Восстановить.
    3. Публичный IP новой базе не выдаётся. Если обезличивать будете со своего компьютера, привяжите адрес: IP адреса → Создать → Добавить, затем меню адреса → Прикрепить → Ресурс app-db-anon → Привязать.

    CLI

    Терминал
    h3 db restore <prod-db-id> --name app-db-anon      # без --target-time и --backup-id — последнее состояние
    h3 db list                                          # ждём RUNNING
    h3 db public-ip attach <anon-db-id>

    Проверка

    Появилась база app-db-anon со статусом «Работает» и строкой «Восстановлена из» app-db. Пользователи и пароли в ней те же, что в рабочей базе.

    Если не получилось

    • «Восстанавливать пока не из чего: первая копия ещё не готова» — у рабочей базы нет ни одной готовой копии: нажмите Сделать копию сейчас и дождитесь её.
  2. Шаг 2. Обезличьте данные SQL-скриптом

    Подставьте свои таблицы и колонки. Главное правило: ключи и связи остаются, а всё, по чему можно узнать человека, заменяется. Детерминированная замена (md5 от id) сохраняет уникальность и повторяемость: одинаковый id всегда даёт одинаковый e-mail.

    Журналы, сессии, токены и вложения проще очистить целиком.

    anonymize.sql
    BEGIN;
    UPDATE users SET
      full_name  = 'Пользователь ' || id,
      email      = 'user' || id || '@example.invalid',
      phone      = '+7900' || lpad((id % 10000000)::text, 7, '0'),
      birth_date = date_trunc('year', birth_date)::date,
      password_hash = md5(random()::text);
    UPDATE addresses SET
      street = 'ул. Тестовая',
      house  = (id % 100 + 1)::text,
      flat   = NULL;
    UPDATE orders SET comment = NULL WHERE comment IS NOT NULL;
    TRUNCATE sessions, auth_tokens, audit_log;
    COMMIT;
    VACUUM ANALYZE users;
    Запуск
    ANON="postgresql://shop:<пароль>@<IP app-db-anon>:5432/shop?sslmode=require"
    psql "$ANON" -v ON_ERROR_STOP=1 -f anonymize.sql

    Проверка

    Выборка не показывает реальных данных:

    Терминал
    psql "$ANON" -c "SELECT id, full_name, email, phone FROM users ORDER BY random() LIMIT 5;"
    psql "$ANON" -c "SELECT count(*) FROM users WHERE email NOT LIKE '%@example.invalid';"   # 0

    Если не получилось

    • permission denied for table ... — скрипт запущен не от владельца базы. Используйте пользователя с уровнем «Владелец».
    • Не забудьте свободный текст: комментарии к заказам, сообщения в поддержку, JSON-поля с профилем. Именно там чаще всего остаются ПДн.
  3. Шаг 3. Создайте проект разработки и базу в нём

    Отдельный проект разграничивает доступ: у него свои участники, бюджет и ключи. Разработчики получают роль только в нём.

    Консоль

    1. В левой панели в списке проектов рабочего пространства нажмите Создать проект и назовите его dev.
    2. В проекте dev: Базы данных → Создать базу данных. СУБД — та же версия PostgreSQL, что у рабочей базы, vCPU 1, RAM 2 ГБ, Диски 20 ГБ, Имя базы данных dev-db, Публичный IPv4 — «Вкл.».
    3. В блоке «База и владелец»: Имя базы shop, Владелец shop, Расширения — те же, что в рабочей базе.

    CLI

    Терминал
    h3 -p <dev-project-id> db create --name dev-db --engine postgres --version 17.11 --cpu 1 --memory 2Gi --size 20 --white-ip
    h3 -p <dev-project-id> db user create <dev-db-id> --name shop
    h3 -p <dev-project-id> db database create <dev-db-id> --name shop --owner shop --extensions pg_trgm
    h3 -p <dev-project-id> db user credentials <dev-db-id> shop

    Terraform

    Terraform
    resource "h3_database" "dev" {
      project_id = var.dev_project_id   # проект dev, не рабочий
      name       = "dev-db"
      engine     = "postgres"
      version    = "17.11"
      cpu        = 1
      memory     = "2Gi"
      size       = "20Gi"
      white_ip   = true
    }

    Проверка

    В проекте dev есть база dev-db со статусом «Работает» и базой shop в статусе «Готов».

    Если не получилось

    • API-ключ должен включать проект dev, иначе CLI и Terraform ответят отказом. Ключ создаётся в «API и SSH ключи».
  4. Шаг 4. Перенесите обезличенные данные в проект разработки

    На компьютере или сервере с pg_dump 17
    DEV="postgresql://shop:<пароль dev>@<IP dev-db>:5432/shop?sslmode=require"
    pg_dump "$ANON" -Fd -j 4 -f ./anon-dump
    pg_restore -d "$DEV" -j 4 --no-owner --no-privileges --no-comments ./anon-dump
    rm -rf ./anon-dump

    Проверка

    В dev-db те же таблицы и объёмы, данные обезличены:

    Терминал
    psql "$DEV" -c "SELECT count(*) FILTER (WHERE email LIKE '%@example.invalid') AS anon, count(*) AS total FROM users;"
  5. Шаг 5. Удалите временную копию и выдайте доступ команде

    Временная копия больше не нужна. Удалите её сразу, чтобы в рабочем проекте не оставалось лишних копий данных.

    Консоль

    1. В рабочем проекте: Базы данных → app-db-anon → меню «…» → Удалить, отметьте «Освободить IP-адрес (иначе он останется в проекте)» → Подтвердить.
    2. На странице проекта dev нажмите Пригласить в проект. В окне «Пригласить в команду»: Email разработчика, Куда — проект dev, Роль — «Участник проекта». Поле До — дата окончания доступа, если нужен срок. Нажмите Пригласить.
    3. Для приложения разработчиков в «Пользователи и базы» dev-db создайте пользователя dev с уровнем «Чтение и запись» на базу shop.

    CLI

    Терминал
    h3 db delete <anon-db-id> --release-eip
    echo '{"name":"dev","grants":[{"database":"shop","preset":"readwrite"}]}' \
      | h3 -p <dev-project-id> db user create <dev-db-id> --from-file -

    Проверка

    В рабочем проекте нет app-db-anon. Разработчик видит в консоли только проект dev; рабочий проект в его списке отсутствует.

Проверка результата

Повторите выборку из шага 2 на dev-db — реальных имён, e-mail и телефонов нет. В рабочем проекте среди участников нет разработчиков, а в списке баз нет временной копии.

Терминал
psql "$DEV" -c "SELECT id, full_name, email FROM users ORDER BY random() LIMIT 5;"

Как удалить ресурсы

  1. Проект dev → Базы данных → dev-db → меню «…» → Удалить → Подтвердить.
  2. Уберите участников из проекта dev, если доступ больше не нужен, и проверьте IP адреса в обоих проектах: свободные адреса оплачиваются.

Типичные ошибки

Можно ли восстановить копию сразу в другой проект?

Нет: восстановление всегда создаёт новую базу в том же проекте. Поэтому обезличивание идёт во временной копии рабочего проекта, а в проект разработки попадает уже чистый дамп.

Как обновлять копию регулярно?

Соберите шаги в скрипт: `h3 db restore` → `psql -f anonymize.sql` → `pg_dump`/`pg_restore` в чистую базу `dev` → `h3 db delete`. Запускайте его раз в неделю из CI с API-ключом, у которого есть доступ к обоим проектам.

Достаточно ли такой замены для 152-ФЗ?

Сценарий показывает техническую часть. Какие поля считать ПДн и достаточно ли выбранного способа обезличивания, решает оператор ПДн — согласуйте список таблиц и скрипт с ответственным за обработку ПДн.

Разработчикам нужна только структура без данных

Тогда обезличивание не нужно: `pg_dump --schema-only` с рабочей базы и `pg_restore` в `dev-db`, плюс генератор тестовых данных.

Связанные продукты и материалы

Сколько стоит

≈ 7,80 ₽ в час · 5 616 ₽ в месяц при работе 24/7

vCPU временной копии (на время обезличивания)2 × 900 ₽
RAM временной копии, ГБ4 × 360 ₽
Диск временной копии до 20 000 IOPS*, ГБ20 × 14,40 ₽
vCPU базы разработки1 × 900 ₽
RAM базы разработки, ГБ2 × 360 ₽
Диск базы разработки до 20 000 IOPS*, ГБ20 × 14,40 ₽
Публичные IPv42 × 90 ₽

Временная копия живёт час-другой и оплачивается поминутно. Параметры копии — как у исходной базы, диск не меньше исходного.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.

* IOPS растут с объёмом диска; точные значения для вашего объёма видны в консоли при выборе.