1. Главная
  2. Хаб
  3. Сценарии
  4. Резервные копии кластера Kubernetes в S3 с Velero

Сценарий 30

Резервные копии кластера Kubernetes в S3 с Velero

Ставим Velero в Managed Kubernetes, отправляем в объектное хранилище h3llo.cloud и манифесты, и данные томов, включаем ежедневное расписание и проверяем восстановление в новый namespace и в другой кластер.

45 минСредний8 шагов Kubernetes, S3 обновлено

Содержание
  1. 01Создайте бакет и возьмите ключи
  2. 02Установите CLI velero
  3. 03Установите Velero в кластер
  4. 04Создайте тестовое приложение с данными
  5. 05Сделайте резервную копию
  6. 06Включите расписание
  7. 07Восстановите в новый namespace
  8. 08Восстановите в другой кластер
  9. Проверка результата
  10. Как удалить ресурсы
  11. Типичные ошибки
  12. Сколько стоит

Что получится

Velero по расписанию копирует выбранные namespace — ресурсы и содержимое PVC — в бакет S3 и хранит копии 14 дней. Восстановление проверено: приложение с данными тома поднимается в новом namespace одной командой.

Что понадобится

  1. Шаг 1. Создайте бакет и возьмите ключи

    Консоль

    1. В меню проекта откройте S3 хранилище и нажмите Создать бакет. Имя бакета — k8s-backups → Создать бакет. Публичным бакет не делайте.
    2. На странице «Бакеты S3» скопируйте «Публичный ключ» и «Приватный ключ»: это одна пара ключей на все бакеты проекта.

    CLI

    Терминал
    h3 s3 bucket create k8s-backups
    h3 s3 bucket list

    Terraform

    backups.tf
    resource "h3_s3_bucket" "k8s_backups" {
      project_id = var.project_id
      name       = "k8s-backups"
    }
    
    # ключи проекта возвращаются только при создании бакета
    output "s3_access_key_id" {
      value     = h3_s3_bucket.k8s_backups.access_key_id
      sensitive = true
    }
    output "s3_secret_access_key" {
      value     = h3_s3_bucket.k8s_backups.secret_access_key
      sensitive = true
    }

    Проверка

    Бакет k8s-backups есть на странице «Бакеты S3», ключи сохранены.

    Если не получилось

    • Ключи дают доступ ко всем бакетам проекта. Если в проекте есть другие данные, держите бэкапы кластера в отдельном проекте со своей парой ключей.
  2. Шаг 2. Установите CLI velero

    macOS
    brew install velero
    Linux
    curl -fsSLO https://github.com/vmware-tanzu/velero/releases/download/v1.17.0/velero-v1.17.0-linux-amd64.tar.gz
    tar -xzf velero-v1.17.0-linux-amd64.tar.gz
    sudo mv velero-v1.17.0-linux-amd64/velero /usr/local/bin/

    Проверка

    velero version --client-only печатает версию клиента.

  3. Шаг 3. Установите Velero в кластер

    Снимки томов (VolumeSnapshot) в кластерах не поддерживаются, поэтому данные PVC Velero копирует файловым бэкапом: node-agent на каждом узле читает тома и отправляет их в S3 через kopia с дедупликацией. Хранилище работает только с path-style-адресами, регион — default.

    velero-values.yaml
    initContainers:
      - name: velero-plugin-for-aws
        image: velero/velero-plugin-for-aws:v1.13.0
        volumeMounts:
          - mountPath: /target
            name: plugins
    
    configuration:
      backupStorageLocation:
        - name: default
          provider: aws
          bucket: k8s-backups
          prefix: demo                 # папка кластера: один бакет на несколько кластеров
          config:
            region: default
            s3Url: https://storage.h3llo.cloud
            s3ForcePathStyle: "true"
            checksumAlgorithm: ""      # хранилище не S3 от AWS: без новых контрольных сумм SDK
      volumeSnapshotLocation: []
      defaultVolumesToFsBackup: true   # данные всех PVC — файловым бэкапом
      uploaderType: kopia
    
    snapshotsEnabled: false
    deployNodeAgent: true
    
    credentials:
      useSecret: true
      secretContents:
        cloud: |
          [default]
          aws_access_key_id=<публичный ключ>
          aws_secret_access_key=<приватный ключ>
    Установка
    export KUBECONFIG=~/Downloads/demo_kubeconfig.yaml
    helm repo add vmware-tanzu https://vmware-tanzu.github.io/helm-charts && helm repo update
    helm install velero vmware-tanzu/velero -n velero --create-namespace -f velero-values.yaml
    chmod 600 velero-values.yaml   # в файле ключи S3 — не коммитьте его

    Проверка

    Под velero и по одному поду node-agent на узел в Running, хранилище копий доступно:

    Терминал
    kubectl -n velero get pods
    velero backup-location get
    Ожидаемый вывод
    NAME      PROVIDER   BUCKET/PREFIX      PHASE       ...
    default   aws        k8s-backups/demo   Available   ...

    Если не получилось

    • PHASE — Unavailable: в логах (kubectl -n velero logs deploy/velero | grep -i error) видно причину. SignatureDoesNotMatch — ключи перепутаны местами; NoSuchBucket — опечатка в bucket.
    • Ошибки про x-amz-checksum или XAmzContentSHA256Mismatch — пропущена строка checksumAlgorithm: "".
  4. Шаг 4. Создайте тестовое приложение с данными

    Чтобы проверить восстановление данных вместе с манифестами, запишем файл на том PVC.

    demo-app.yaml
    apiVersion: v1
    kind: Namespace
    metadata:
      name: demo
    ---
    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: data
      namespace: demo
    spec:
      accessModes: [ReadWriteOnce]
      resources:
        requests: {storage: 1Gi}
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: web
      namespace: demo
    spec:
      replicas: 1
      selector:
        matchLabels: {app: web}
      template:
        metadata:
          labels: {app: web}
        spec:
          containers:
            - name: web
              image: nginx:alpine
              volumeMounts:
                - {name: data, mountPath: /usr/share/nginx/html}
          volumes:
            - name: data
              persistentVolumeClaim: {claimName: data}
    Применение и запись данных
    kubectl apply -f demo-app.yaml
    kubectl -n demo rollout status deployment/web
    kubectl -n demo exec deploy/web -- sh -c 'echo "saved at $(date -Is)" > /usr/share/nginx/html/index.html'
    kubectl -n demo exec deploy/web -- cat /usr/share/nginx/html/index.html

    Проверка

    PVC data в статусе Bound, файл index.html печатает строку с датой — её и будем искать после восстановления.

  5. Шаг 5. Сделайте резервную копию

    На вашем компьютере
    velero backup create demo-1 --include-namespaces demo --wait
    velero backup describe demo-1 --details

    Проверка

    Phase: Completed, в разделе про тома (Pod Volume Backups или Backup Volumes) том data со статусом Completed. В консоли в бакете k8s-backups появилась папка demo с backups/demo-1 и данными kopia.

    Если не получилось

    • PartiallyFailed — смотрите velero backup logs demo-1 | grep -i error. Частая причина — под с томом не запущен: файловый бэкап читает том через работающий под.
  6. Шаг 6. Включите расписание

    Правил жизненного цикла в бакете нет, поэтому срок хранения задаёт сам Velero: --ttl 336h — 14 дней, после чего он удаляет копию и её данные из S3.

    На вашем компьютере
    # каждую ночь в 03:00 UTC, хранить 14 дней
    velero schedule create demo-daily --schedule="0 3 * * *" --include-namespaces demo --ttl 336h
    velero schedule get

    Проверка

    Расписание demo-daily в статусе Enabled. Утром в velero backup get появится копия demo-daily-<дата>.

  7. Шаг 7. Восстановите в новый namespace

    Самая безопасная проверка — поднять копию рядом, не трогая рабочую версию.

    На вашем компьютере
    velero restore create demo-check --from-backup demo-1 --namespace-mappings demo:demo-restore --wait
    kubectl -n demo-restore rollout status deployment/web
    kubectl -n demo-restore exec deploy/web -- cat /usr/share/nginx/html/index.html

    Проверка

    velero restore describe demo-check — Phase: Completed, а файл в восстановленном томе содержит ту же строку saved at …, что вы записали до бэкапа.

  8. Шаг 8. Восстановите в другой кластер

    Так переносят приложение в новый кластер или поднимают его после потери старого. Во втором кластере ставим Velero с тем же бакетом и префиксом, но в режиме только для чтения, чтобы он случайно не удалил копии первого кластера.

    Во втором кластере
    export KUBECONFIG=~/Downloads/demo2_kubeconfig.yaml
    helm install velero vmware-tanzu/velero -n velero --create-namespace -f velero-values.yaml \
      --set 'configuration.backupStorageLocation[0].accessMode=ReadOnly'
    velero backup get                  # видны копии первого кластера
    velero restore create --from-backup demo-1 --wait
    kubectl -n demo exec deploy/web -- cat /usr/share/nginx/html/index.html

    Проверка

    Во втором кластере появился namespace demo с приложением и данными тома.

    Если не получилось

    • Копии из бакета появляются во втором кластере не сразу: Velero сверяет хранилище раз в минуту. Если velero backup get пуст, подождите и повторите.

Проверка результата

В бакете лежат копии по датам, расписание работает, и восстановление проверено на живых данных. Список копий и их срок хранения:

Терминал
velero backup get
h3 s3 object list s3://k8s-backups/demo/backups/

Как удалить ресурсы

Удаление бакета удаляет все копии без отдельного предупреждения о содержимом.

  1. kubectl delete namespace demo demo-restore — удалит тестовое приложение и PVC (тома оплачиваются как диски).
  2. velero schedule delete demo-daily --confirm, затем helm uninstall velero -n velero и kubectl delete namespace velero. CRD Velero удаляются отдельно: kubectl delete crd -l component=velero.
  3. S3 хранилище → строка k8s-backups → меню «…» → Удалить → Удалить.

Типичные ошибки

Почему не снимки томов, а файловый бэкап?

Снимки томов (`VolumeSnapshot`) в кластерах не поддерживаются, поэтому `snapshotsEnabled: false`. Файловый бэкап через kopia работает с любым классом хранения `h3-replicated-*` и `h3-persistent-storage` и дедуплицирует данные между копиями.

Копия базы данных из файлового бэкапа консистентна?

Файлы копируются с работающего тома, поэтому для СУБД в кластере добавьте hook с дампом перед бэкапом (`pre.hook.backup.velero.io/command`) или используйте Managed PostgreSQL — у него свои бэкапы и восстановление на момент времени.

Нужно ли бэкапить etcd или системные namespace?

Нет. Управляющий слой обслуживает платформа. Копируйте свои namespace: `--include-namespaces` или `--exclude-namespaces kube-system,velero`.

Сколько места займут копии?

kopia хранит только изменившиеся блоки, поэтому ежедневные копии растут на объём изменений, а не на весь том. Хранение — 2,15 ₽ за ГБ в месяц, загрузка в S3 бесплатна.

Связанные продукты и материалы

Сколько стоит

≈ 0,06 ₽ в час · 43 ₽ в месяц при работе 24/7

Хранение копий в S3, ГБ (пример)20 × 2,15 ₽
Скачивание из S3 при восстановлении, ГБ2 × 0,90 ₽

Velero работает на узлах кластера и отдельно не оплачивается. Загрузка копий в S3 и запросы бесплатны. Кластер считается отдельно — см. сценарий с реестром.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.