1. Главная
  2. Хаб
  3. Сценарии
  4. Резервные копии сервера в S3 по расписанию: rclone, cron и ротация

Сценарий 04

Резервные копии сервера в S3 по расписанию: rclone, cron и ротация

Каждую ночь сервер упаковывает сайт и дамп базы в архив и отправляет в объектное хранилище h3llo.cloud, а копии старше двух недель удаляет сам. В конце проверяем, что из копии можно восстановиться.

25 минНовичок6 шагов S3, Серверы обновлено

Содержание
  1. 01Создайте бакет
  2. 02Возьмите ключи доступа
  3. 03Установите и настройте rclone на сервере
  4. 04Напишите скрипт копирования
  5. 05Поставьте копирование в расписание
  6. 06Проверьте восстановление
  7. Проверка результата
  8. Как удалить ресурсы
  9. Типичные ошибки
  10. Сколько стоит

Что получится

Ежедневные архивы /var/www (и, по желанию, дамп PostgreSQL) в бакете S3, хранение 14 дней, журнал запусков на сервере и проверенная процедура восстановления.

Что понадобится

  1. Шаг 1. Создайте бакет

    Консоль

    1. В меню проекта откройте S3 хранилище и нажмите Создать бакет.
    2. В окне «Создать S3 бакет» в поле Имя бакета введите backups-web (3–63 символа, начинается с буквы, только a-z, 0-9 и -) и нажмите Создать бакет.

    Проверка

    Бакет появился на странице «Бакеты S3». Публичным его делать не нужно: переключатель «Публичный бакет» на странице бакета оставьте выключенным.

  2. Шаг 2. Возьмите ключи доступа

    У проекта одна пара ключей S3 на все бакеты. Она появляется на странице «Бакеты S3», когда в проекте есть хотя бы один бакет.

    Консоль

    1. На странице «Бакеты S3» найдите блок с полями «Адрес хранилища» (https://storage.h3llo.cloud), «Публичный ключ» и «Приватный ключ».
    2. Скопируйте оба ключа — они понадобятся в конфиге rclone.

    Если не получилось

    • Ключи дают доступ ко всем бакетам проекта. Храните их только на сервере, который делает копии, с правами 600.
  3. Шаг 3. Установите и настройте rclone на сервере

    Хранилище работает только с path-style-адресами, регион — default. Конфиг ниже — тот же, что в документации.

    На сервере
    sudo apt update && sudo apt install -y rclone
    mkdir -p ~/.config/rclone && chmod 700 ~/.config/rclone
    cat > ~/.config/rclone/rclone.conf <<'EOF'
    [h3]
    type = s3
    provider = Ceph
    access_key_id = <публичный ключ>
    secret_access_key = <приватный ключ>
    endpoint = https://storage.h3llo.cloud
    region = default
    force_path_style = true
    EOF
    chmod 600 ~/.config/rclone/rclone.conf

    Проверка

    rclone видит бакет:

    Терминал
    rclone lsd h3:

    Если не получилось

    • SignatureDoesNotMatch — ключи перепутаны местами или скопированы с пробелом. «Публичный ключ» — это access_key_id, «Приватный» — secret_access_key.
    • RequestTimeTooSkewed — часы сервера ушли: timedatectl должен показывать System clock synchronized: yes.
  4. Шаг 4. Напишите скрипт копирования

    Правил жизненного цикла в бакете нет, поэтому старые копии удаляет сам скрипт: rclone delete --min-age 14d. Если на сервере есть база из сценария PostgreSQL, раскомментируйте строки с pg_dump и задайте DATABASE_URL в ~/.backup.env.

    /usr/local/bin/backup-to-s3.sh
    #!/usr/bin/env bash
    # Ежедневная копия в S3 h3llo.cloud: архив сайта (+ дамп PostgreSQL), ротация 14 дней.
    set -euo pipefail
    BUCKET="backups-web"
    HOST="$(hostname)"
    STAMP="$(date +%F-%H%M)"
    TMP="$(mktemp -d)"
    trap 'rm -rf "$TMP"' EXIT
    
    tar -czf "$TMP/www-$STAMP.tar.gz" -C /var/www .
    
    # дамп базы (нужен postgresql-client и DATABASE_URL в ~/.backup.env):
    # . ~/.backup.env
    # pg_dump "$DATABASE_URL" | gzip > "$TMP/db-$STAMP.sql.gz"
    
    rclone copy "$TMP" "h3:$BUCKET/$HOST/"
    rclone delete "h3:$BUCKET/$HOST/" --min-age 14d
    echo "$(date -Is) ok: $(ls "$TMP" | tr '\n' ' ')"
    Установка и первый запуск
    sudo nano /usr/local/bin/backup-to-s3.sh     # вставьте скрипт выше
    sudo chmod 755 /usr/local/bin/backup-to-s3.sh
    backup-to-s3.sh

    Проверка

    Скрипт печатает ok и имя архива, а в бакете появился файл:

    Терминал
    rclone ls "h3:backups-web/$(hostname)/"

    Если не получилось

    • tar: /var/www: Cannot open — каталога нет или нужен другой путь: поменяйте /var/www на свой.
    • Скрипт запускается от пользователя user и берёт его конфиг rclone. Если запускаете через sudo, rclone будет искать конфиг в /root — добавьте --config /home/user/.config/rclone/rclone.conf.
  5. Шаг 5. Поставьте копирование в расписание

    На сервере
    # каждую ночь в 03:30 по времени сервера, журнал — в домашнем каталоге
    ( crontab -l 2>/dev/null; echo '30 3 * * * /usr/local/bin/backup-to-s3.sh >> $HOME/backup-to-s3.log 2>&1' ) | crontab -
    crontab -l

    Проверка

    crontab -l показывает строку с backup-to-s3.sh. Утром в журнале должна появиться запись ok:

    Терминал
    tail -n 5 ~/backup-to-s3.log
  6. Шаг 6. Проверьте восстановление

    Пока из копии ни разу не восстанавливались, неизвестно, рабочая ли она. Скачаем последний архив и развернём его во временный каталог.

    На сервере
    LAST="$(rclone lsf "h3:backups-web/$(hostname)/" --include 'www-*' | sort | tail -n 1)"
    mkdir -p /tmp/restore && rclone copy "h3:backups-web/$(hostname)/$LAST" /tmp/restore/
    tar -xzf "/tmp/restore/$LAST" -C /tmp/restore
    ls -la /tmp/restore

    Проверка

    В /tmp/restore лежат файлы сайта. Для базы восстановление выглядит так: gunzip -c db-<дата>.sql.gz | psql "$DATABASE_URL". Восстанавливайте в новую пустую базу, не поверх рабочей.

Проверка результата

В консоли откройте бакет backups-web: внутри папка с именем сервера и архивы по датам. Число архивов не растёт больше чем на 14–15: ротация работает.

Терминал
rclone ls "h3:backups-web/$(hostname)/" | sort -k2

Как удалить ресурсы

Удаление бакета удаляет все объекты в нём — без отдельного предупреждения о содержимом. Сначала убедитесь, что копии больше не нужны.

  1. Уберите задание из расписания: crontab -l | grep -v backup-to-s3 | crontab -.
  2. S3 хранилище → строка backups-web → меню «…» → Удалить. В окне «Удалить bucket» нажмите Удалить.
  3. Удалите с сервера конфиг с ключами: rm ~/.config/rclone/rclone.conf.

Типичные ошибки

Можно ли включить версионирование или правило «хранить 14 дней» в самом бакете?

Нет: версионирование, правила жизненного цикла и блокировка объектов в хранилище не поддерживаются. Ротацию делает скрипт (`rclone delete --min-age`).

Можно ли дать скрипту доступ только к одному бакету?

Сейчас у проекта одна пара ключей на все бакеты. Чтобы ограничить охват, держите бэкапы в отдельном проекте с отдельной парой ключей.

Удобнее aws cli, чем rclone

Подойдёт и он: в `~/.aws/config` профиль с `region = default`, `endpoint_url = https://storage.h3llo.cloud` и `addressing_style = path` — готовый пример есть в документации S3.

Сколько стоит хранить копии?

Хранение — 2,15 ₽ за ГБ в месяц, загрузка в S3 и запросы бесплатны, скачивание — 0,90 ₽ за ГБ.

Связанные продукты и материалы

Сколько стоит

≈ 0,03 ₽ в час · 21,50 ₽ в месяц при работе 24/7

Хранение в S3, ГБ (пример: 14 архивов по 0,7 ГБ)10 × 2,15 ₽
Скачивание при восстановлении, ГБ1 × 0,90 ₽

Запросы и входящий трафик (загрузка копий в S3) бесплатны. Скачивание из S3 оплачивается за ГБ — это строка «при восстановлении».

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.