Что получится
Velero по расписанию копирует выбранные namespace — ресурсы и содержимое PVC — в бакет S3 и хранит копии 14 дней. Восстановление проверено: приложение с данными тома поднимается в новом namespace одной командой.
Что понадобится
- Кластер Managed Kubernetes в статусе «Готов» и
kubectlс его kubeconfig — например,demoиз сценария «Приложение из своего реестра образов». helm3 и CLIveleroна вашем компьютере (установка — в шаге 2).
-
Шаг 1. Создайте бакет и возьмите ключи
Консоль
- В меню проекта откройте S3 хранилище и нажмите Создать бакет. Имя бакета —
k8s-backups→ Создать бакет. Публичным бакет не делайте. - На странице «Бакеты S3» скопируйте «Публичный ключ» и «Приватный ключ»: это одна пара ключей на все бакеты проекта.
CLI
Терминалh3 s3 bucket create k8s-backups h3 s3 bucket listTerraform
backups.tfresource "h3_s3_bucket" "k8s_backups" { project_id = var.project_id name = "k8s-backups" } # ключи проекта возвращаются только при создании бакета output "s3_access_key_id" { value = h3_s3_bucket.k8s_backups.access_key_id sensitive = true } output "s3_secret_access_key" { value = h3_s3_bucket.k8s_backups.secret_access_key sensitive = true }Проверка
Бакет
k8s-backupsесть на странице «Бакеты S3», ключи сохранены.Если не получилось
- Ключи дают доступ ко всем бакетам проекта. Если в проекте есть другие данные, держите бэкапы кластера в отдельном проекте со своей парой ключей.
- В меню проекта откройте S3 хранилище и нажмите Создать бакет. Имя бакета —
-
Шаг 2. Установите CLI velero
macOSbrew install veleroLinuxcurl -fsSLO https://github.com/vmware-tanzu/velero/releases/download/v1.17.0/velero-v1.17.0-linux-amd64.tar.gz tar -xzf velero-v1.17.0-linux-amd64.tar.gz sudo mv velero-v1.17.0-linux-amd64/velero /usr/local/bin/Проверка
velero version --client-onlyпечатает версию клиента. -
Шаг 3. Установите Velero в кластер
Снимки томов (
VolumeSnapshot) в кластерах не поддерживаются, поэтому данные PVC Velero копирует файловым бэкапом:node-agentна каждом узле читает тома и отправляет их в S3 через kopia с дедупликацией. Хранилище работает только с path-style-адресами, регион —default.velero-values.yamlinitContainers: - name: velero-plugin-for-aws image: velero/velero-plugin-for-aws:v1.13.0 volumeMounts: - mountPath: /target name: plugins configuration: backupStorageLocation: - name: default provider: aws bucket: k8s-backups prefix: demo # папка кластера: один бакет на несколько кластеров config: region: default s3Url: https://storage.h3llo.cloud s3ForcePathStyle: "true" checksumAlgorithm: "" # хранилище не S3 от AWS: без новых контрольных сумм SDK volumeSnapshotLocation: [] defaultVolumesToFsBackup: true # данные всех PVC — файловым бэкапом uploaderType: kopia snapshotsEnabled: false deployNodeAgent: true credentials: useSecret: true secretContents: cloud: | [default] aws_access_key_id=<публичный ключ> aws_secret_access_key=<приватный ключ>Установкаexport KUBECONFIG=~/Downloads/demo_kubeconfig.yaml helm repo add vmware-tanzu https://vmware-tanzu.github.io/helm-charts && helm repo update helm install velero vmware-tanzu/velero -n velero --create-namespace -f velero-values.yaml chmod 600 velero-values.yaml # в файле ключи S3 — не коммитьте егоПроверка
Под
veleroи по одному подуnode-agentна узел вRunning, хранилище копий доступно:Терминалkubectl -n velero get pods velero backup-location getОжидаемый выводNAME PROVIDER BUCKET/PREFIX PHASE ... default aws k8s-backups/demo Available ...Если не получилось
PHASE—Unavailable: в логах (kubectl -n velero logs deploy/velero | grep -i error) видно причину.SignatureDoesNotMatch— ключи перепутаны местами;NoSuchBucket— опечатка вbucket.- Ошибки про
x-amz-checksumилиXAmzContentSHA256Mismatch— пропущена строкаchecksumAlgorithm: "".
-
Шаг 4. Создайте тестовое приложение с данными
Чтобы проверить восстановление данных вместе с манифестами, запишем файл на том PVC.
demo-app.yamlapiVersion: v1 kind: Namespace metadata: name: demo --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: data namespace: demo spec: accessModes: [ReadWriteOnce] resources: requests: {storage: 1Gi} --- apiVersion: apps/v1 kind: Deployment metadata: name: web namespace: demo spec: replicas: 1 selector: matchLabels: {app: web} template: metadata: labels: {app: web} spec: containers: - name: web image: nginx:alpine volumeMounts: - {name: data, mountPath: /usr/share/nginx/html} volumes: - name: data persistentVolumeClaim: {claimName: data}Применение и запись данныхkubectl apply -f demo-app.yaml kubectl -n demo rollout status deployment/web kubectl -n demo exec deploy/web -- sh -c 'echo "saved at $(date -Is)" > /usr/share/nginx/html/index.html' kubectl -n demo exec deploy/web -- cat /usr/share/nginx/html/index.htmlПроверка
PVC
dataв статусеBound, файлindex.htmlпечатает строку с датой — её и будем искать после восстановления. -
Шаг 5. Сделайте резервную копию
На вашем компьютереvelero backup create demo-1 --include-namespaces demo --wait velero backup describe demo-1 --detailsПроверка
Phase: Completed, в разделе про тома (Pod Volume BackupsилиBackup Volumes) томdataсо статусомCompleted. В консоли в бакетеk8s-backupsпоявилась папкаdemoсbackups/demo-1и данными kopia.Если не получилось
PartiallyFailed— смотритеvelero backup logs demo-1 | grep -i error. Частая причина — под с томом не запущен: файловый бэкап читает том через работающий под.
-
Шаг 6. Включите расписание
Правил жизненного цикла в бакете нет, поэтому срок хранения задаёт сам Velero:
--ttl 336h— 14 дней, после чего он удаляет копию и её данные из S3.На вашем компьютере# каждую ночь в 03:00 UTC, хранить 14 дней velero schedule create demo-daily --schedule="0 3 * * *" --include-namespaces demo --ttl 336h velero schedule getПроверка
Расписание
demo-dailyв статусеEnabled. Утром вvelero backup getпоявится копияdemo-daily-<дата>. -
Шаг 7. Восстановите в новый namespace
Самая безопасная проверка — поднять копию рядом, не трогая рабочую версию.
На вашем компьютереvelero restore create demo-check --from-backup demo-1 --namespace-mappings demo:demo-restore --wait kubectl -n demo-restore rollout status deployment/web kubectl -n demo-restore exec deploy/web -- cat /usr/share/nginx/html/index.htmlПроверка
velero restore describe demo-check—Phase: Completed, а файл в восстановленном томе содержит ту же строкуsaved at …, что вы записали до бэкапа. -
Шаг 8. Восстановите в другой кластер
Так переносят приложение в новый кластер или поднимают его после потери старого. Во втором кластере ставим Velero с тем же бакетом и префиксом, но в режиме только для чтения, чтобы он случайно не удалил копии первого кластера.
Во втором кластереexport KUBECONFIG=~/Downloads/demo2_kubeconfig.yaml helm install velero vmware-tanzu/velero -n velero --create-namespace -f velero-values.yaml \ --set 'configuration.backupStorageLocation[0].accessMode=ReadOnly' velero backup get # видны копии первого кластера velero restore create --from-backup demo-1 --wait kubectl -n demo exec deploy/web -- cat /usr/share/nginx/html/index.htmlПроверка
Во втором кластере появился namespace
demoс приложением и данными тома.Если не получилось
- Копии из бакета появляются во втором кластере не сразу: Velero сверяет хранилище раз в минуту. Если
velero backup getпуст, подождите и повторите.
- Копии из бакета появляются во втором кластере не сразу: Velero сверяет хранилище раз в минуту. Если
Проверка результата
В бакете лежат копии по датам, расписание работает, и восстановление проверено на живых данных. Список копий и их срок хранения:
velero backup get
h3 s3 object list s3://k8s-backups/demo/backups/ Как удалить ресурсы
Удаление бакета удаляет все копии без отдельного предупреждения о содержимом.
kubectl delete namespace demo demo-restore— удалит тестовое приложение и PVC (тома оплачиваются как диски).velero schedule delete demo-daily --confirm, затемhelm uninstall velero -n veleroиkubectl delete namespace velero. CRD Velero удаляются отдельно:kubectl delete crd -l component=velero.- S3 хранилище → строка
k8s-backups→ меню «…» → Удалить → Удалить.
Типичные ошибки
Почему не снимки томов, а файловый бэкап?
Снимки томов (`VolumeSnapshot`) в кластерах не поддерживаются, поэтому `snapshotsEnabled: false`. Файловый бэкап через kopia работает с любым классом хранения `h3-replicated-*` и `h3-persistent-storage` и дедуплицирует данные между копиями.
Копия базы данных из файлового бэкапа консистентна?
Файлы копируются с работающего тома, поэтому для СУБД в кластере добавьте hook с дампом перед бэкапом (`pre.hook.backup.velero.io/command`) или используйте Managed PostgreSQL — у него свои бэкапы и восстановление на момент времени.
Нужно ли бэкапить etcd или системные namespace?
Нет. Управляющий слой обслуживает платформа. Копируйте свои namespace: `--include-namespaces` или `--exclude-namespaces kube-system,velero`.
Сколько места займут копии?
kopia хранит только изменившиеся блоки, поэтому ежедневные копии растут на объём изменений, а не на весь том. Хранение — 2,15 ₽ за ГБ в месяц, загрузка в S3 бесплатна.
Связанные продукты и материалы
- Сценарий · 25 минРезервные копии сервера в S3 по расписанию: rclone, cron и ротация
- Сценарий · 40 минПриложение в Managed Kubernetes из своего реестра образов
- Статья · 1 минОбъектное хранилище S3 доступно всем
- Сценарий · 45 минСайт на облачном сервере: публичный IP, домен и HTTPS
- ПродуктKubernetes
- ПродуктS3
Сколько стоит
≈ 0,06 ₽ в час · 43 ₽ в месяц при работе 24/7
| Хранение копий в S3, ГБ (пример) | 20 × 2,15 ₽ |
| Скачивание из S3 при восстановлении, ГБ | 2 × 0,90 ₽ |
Velero работает на узлах кластера и отдельно не оплачивается. Загрузка копий в S3 и запросы бесплатны. Кластер считается отдельно — см. сценарий с реестром.
Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.
Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.