1. Главная
  2. Хаб
  3. Сценарии
  4. Зашифрованные резервные копии в S3 с restic: для персональных данных и не только

Сценарий 19

Зашифрованные резервные копии в S3 с restic: для персональных данных и не только

Делаем копии сервера в объектное хранилище h3llo.cloud так, что в бакет попадают только зашифрованные данные: ключ шифрования есть только у вас. Копии инкрементальные и с дедупликацией, ротация по схеме «7 дней, 4 недели, 6 месяцев», а восстановление проверяется на деле.

30 минСредний5 шагов S3, Серверы, Безопасность обновлено

Содержание
  1. 01Создайте отдельный проект и бакет
  2. 02Установите restic и создайте зашифрованный репозиторий
  3. 03Напишите скрипт копирования с ротацией
  4. 04Поставьте копирование и проверку в расписание
  5. 05Проверьте восстановление
  6. Проверка результата
  7. Как удалить ресурсы
  8. Типичные ошибки
  9. Сколько стоит

Что получится

Репозиторий restic в бакете S3, ежедневная зашифрованная копия /var/www и /etc (и дампа базы, если она есть), автоматическая ротация, еженедельная проверка целостности и проверенное восстановление файлов.

Что понадобится

  • Сервер на Linux с данными для копирования, доступ по SSH и права sudo.
  • Менеджер паролей или сейф, где будет лежать пароль репозитория: без него копии не расшифровать.
  1. Шаг 1. Создайте отдельный проект и бакет

    Ключи S3 выдаются на проект и открывают все его бакеты. Если сервер взломают, украденные ключи не должны дотянуться до копий других систем, поэтому для копий с персональными данными заведите отдельный проект с одним бакетом.

    Консоль

    1. Создайте проект backups-pd и в нём откройте S3 хранилище → Создать бакет → Имя бакета restic-web → Создать бакет.
    2. На вкладке бакета Настройки скопируйте «Публичный ключ» и «Приватный ключ» из блока «Ключи доступа». Переключатель «Публичный бакет» не включайте.

    CLI

    Терминал
    h3 s3 bucket create restic-web -p <ID проекта backups-pd>

    Terraform

    Terraform
    resource "h3_s3_bucket" "restic" {
      project_id = var.backups_project_id
      name       = "restic-web"
    }

    Проверка

    Бакет restic-web есть в списке «Бакеты S3» проекта backups-pd и не публичный.

  2. Шаг 2. Установите restic и создайте зашифрованный репозиторий

    restic шифрует всё на сервере (AES-256) до отправки: в бакете лежат только зашифрованные блоки, и ни хранилище, ни кто-либо с ключами S3 не прочитает содержимое без пароля репозитория. Хранилище работает только с path-style-адресами, поэтому s3.bucket-lookup=path обязателен.

    На сервере
    sudo apt update && sudo apt install -y restic
    restic version                       # нужна 0.15 или новее
    sudo install -m 600 /dev/null /root/.restic.env
    sudo tee /root/.restic.env >/dev/null <<'EOF'
    export AWS_ACCESS_KEY_ID=<публичный ключ>
    export AWS_SECRET_ACCESS_KEY=<приватный ключ>
    export AWS_DEFAULT_REGION=default
    export RESTIC_REPOSITORY=s3:https://storage.h3llo.cloud/restic-web/$(hostname)
    export RESTIC_PASSWORD_FILE=/root/.restic.pass
    export RESTIC_OPTS="-o s3.bucket-lookup=path"
    EOF
    sudo sh -c 'umask 077; openssl rand -base64 32 > /root/.restic.pass'
    sudo cat /root/.restic.pass          # сохраните в менеджер паролей прямо сейчас
    sudo bash -c '. /root/.restic.env && restic $RESTIC_OPTS init'

    Проверка

    restic отвечает created restic repository … at s3:https://storage.h3llo.cloud/restic-web/<имя сервера>, а в бакете появились папки keys, config, data.

    Если не получилось

    • Пароль репозитория — единственный ключ к копиям. Потеряли его — данные не восстановить никак, ни вам, ни нам. Храните его вне этого сервера.
    • Is there a repository at the following location? или The specified bucket does not exist — забыли -o s3.bucket-lookup=path или имя бакета в RESTIC_REPOSITORY не совпадает.
    • The request signature we calculated does not match — ключи перепутаны: «Публичный ключ» — это AWS_ACCESS_KEY_ID.
  3. Шаг 3. Напишите скрипт копирования с ротацией

    Правил жизненного цикла в бакете нет, поэтому старые снимки удаляет сам restic: forget --prune оставляет 7 ежедневных, 4 еженедельных и 6 ежемесячных.

    /usr/local/bin/restic-backup.sh
    #!/usr/bin/env bash
    # Зашифрованная копия сервера в S3 h3llo.cloud (restic), ротация 7/4/6.
    set -euo pipefail
    . /root/.restic.env
    R="restic $RESTIC_OPTS"
    
    # дамп PostgreSQL, если на сервере есть база (DATABASE_URL в /root/.backup.env):
    # . /root/.backup.env
    # pg_dump "$DATABASE_URL" | $R backup --stdin --stdin-filename db.sql --tag db
    
    $R backup /var/www /etc --tag files --exclude-caches
    $R forget --prune --keep-daily 7 --keep-weekly 4 --keep-monthly 6
    echo "$(date -Is) ok"
    Установка и первый запуск
    sudo nano /usr/local/bin/restic-backup.sh      # вставьте скрипт выше
    sudo chmod 700 /usr/local/bin/restic-backup.sh
    sudo restic-backup.sh

    Проверка

    В конце ok, а в репозитории — первый снимок:

    Терминал
    sudo bash -c '. /root/.restic.env && restic $RESTIC_OPTS snapshots'
  4. Шаг 4. Поставьте копирование и проверку в расписание

    На сервере
    # копия каждую ночь в 03:10, проверка 5 % данных по воскресеньям
    sudo crontab -l 2>/dev/null > /tmp/cron.root || true
    echo '10 3 * * * /usr/local/bin/restic-backup.sh >> /var/log/restic-backup.log 2>&1' >> /tmp/cron.root
    echo '40 4 * * 0 . /root/.restic.env && restic $RESTIC_OPTS check --read-data-subset=5% >> /var/log/restic-backup.log 2>&1' >> /tmp/cron.root
    sudo crontab /tmp/cron.root && rm /tmp/cron.root
    sudo crontab -l

    Проверка

    Утром в /var/log/restic-backup.log — ok, после воскресенья — no errors were found.

    Терминал
    sudo tail -n 20 /var/log/restic-backup.log
  5. Шаг 5. Проверьте восстановление

    Пока из копии ни разу не восстанавливались, неизвестно, рабочая ли она. Восстановим последний снимок во временный каталог и сравним с оригиналом.

    На сервере
    sudo bash -c '. /root/.restic.env && restic $RESTIC_OPTS restore latest --tag files --target /tmp/restore --include /etc/hostname'
    sudo diff /etc/hostname /tmp/restore/etc/hostname && echo "совпадает"

    Раз в квартал восстанавливайте копию на отдельный чистый сервер: так вы проверите, что пароль, ключи и инструкция есть не только на рабочем сервере.

    Проверка

    diff ничего не выводит, и команда печатает «совпадает». Восстановить весь каталог — то же без --include; на новом сервере достаточно .restic.env и пароля репозитория.

Проверка результата

В бакете restic-web нет ни одного читаемого файла — только зашифрованные блоки; restic snapshots показывает ежедневные снимки, а их число не растёт выше 7 + 4 + 6.

Терминал
sudo bash -c '. /root/.restic.env && restic $RESTIC_OPTS snapshots --compact'

Как удалить ресурсы

Удаление бакета удаляет все копии без отдельного предупреждения о содержимом.

  1. Уберите задания из расписания: sudo crontab -e и удалите строки с restic.
  2. S3 хранилище → restic-web → вкладка Настройки → Удалить бакет.
  3. Удалите с сервера /root/.restic.env и /root/.restic.pass.

Типичные ошибки

Это подходит для персональных данных по 152-ФЗ?

Копии хранятся в России, в бакет попадают только зашифрованные данные, а ключ — только у оператора ПДн. Это технические меры защиты копий при хранении и передаче; кто знает пароль репозитория и кто вправе восстанавливать данные, опишите в организационных документах оператора.

Можно ли защитить копии от удаления, если украдут ключи с сервера?

Блокировки объектов и версионирования в хранилище нет. Поэтому заведите для копий отдельный проект и делайте вторую копию репозитория с другого сервера: `restic copy` в бакет проекта, ключей от которого на рабочем сервере нет.

Чем это лучше rclone из сценария про бэкапы?

rclone со скриптом проще и подходит для данных без особых требований. restic добавляет шифрование на стороне сервера, дедупликацию и инкрементальные копии — каждая ночь передаёт только изменения.

Сколько стоит?

Хранение — 2,15 ₽ за ГБ в месяц, загрузка и запросы бесплатны, скачивание при восстановлении — 0,90 ₽ за ГБ.

Связанные продукты и материалы

Сколько стоит

≈ 0,09 ₽ в час · 64,50 ₽ в месяц при работе 24/7

Хранение в S3, ГБ (пример: 20 ГБ данных с историей)30 × 2,15 ₽
Скачивание при восстановлении, ГБ5 × 0,90 ₽

Загрузка копий в S3 и запросы бесплатны. Благодаря дедупликации история за полгода обычно занимает немногим больше одной полной копии.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.