1. Главная
  2. Хаб
  3. Сценарии
  4. Автомасштабирование в Managed Kubernetes: HPA и cluster autoscaler

Сценарий 11

Автомасштабирование в Managed Kubernetes: HPA и cluster autoscaler

Настраиваем два уровня масштабирования: HPA добавляет поды, когда растёт загрузка процессора, а cluster autoscaler добавляет узлы, когда подам не хватает места, и убирает их после затишья. Проверяем на нагрузочном тесте и смотрим, как кластер сжимается обратно.

45 минСредний6 шагов Kubernetes, Terraform обновлено

Содержание
  1. 01Проверьте, что метрики подов собираются
  2. 02Включите автоскейлинг группы узлов
  3. 03Разверните приложение с запросами ресурсов
  4. 04Создайте HPA
  5. 05Дайте нагрузку и смотрите, как растёт кластер
  6. 06Снимите нагрузку и проверьте сжатие
  7. Проверка результата
  8. Как удалить ресурсы
  9. Типичные ошибки
  10. Сколько стоит

Что получится

Под нагрузкой приложение само вырастает с одного пода до восьми, группа узлов — с одного узла до трёх; через несколько минут после снятия нагрузки лишние поды и узлы удаляются, и оплата возвращается к одному узлу.

Что понадобится

  1. Шаг 1. Проверьте, что метрики подов собираются

    HPA принимает решения по метрикам из metrics-server. На новых кластерах платформа ставит его сама: в окне «Аддоны кластера» у него пометка «Включён платформой».

    На вашем компьютере
    export KUBECONFIG=~/Downloads/demo_kubeconfig.yaml
    kubectl top nodes

    Проверка

    kubectl top nodes показывает загрузку CPU и памяти узла.

    Если не получилось

    • Metrics API not available — кластер создан до появления metrics-server в платформе. Обновите кластер до свежей версии Kubernetes или поставьте metrics-server из официального манифеста.
  2. Шаг 2. Включите автоскейлинг группы узлов

    Cluster autoscaler добавляет узел, когда под не помещается ни на один из существующих (Pending), и удаляет узел, который долго недогружен. Границы задаются для каждой группы узлов отдельно.

    Консоль

    1. Откройте Kubernetes → кластер demo. В разделе «Группы узлов» в строке default откройте меню «…» → Изменить.
    2. Включите Автоскейлинг: Минимум узлов — 1, Максимум узлов — 3.
    3. В «Дополнительные настройки» задайте Время простоя до удаления узла — 5 мин, чтобы быстрее увидеть сжатие. Нажмите Сохранить.

    Terraform

    cluster.tf (фрагмент h3_k8s_cluster)
    resource "h3_k8s_cluster" "demo" {
      # ... name, kubernetes_version, workers как были
    
      autoscaler = {
        enabled                  = true
        max_size                 = 3
        scale_down_unneeded_time = 5   # минут без нагрузки до удаления узла
      }
    }

    CLI

    Терминал
    h3 k8s list                       # ID кластера demo
    cat > pool.json <<'EOF'
    {"autoscaling": {"enabled": true, "minSize": 1, "maxSize": 3, "scaleDownUnneededTime": 5}}
    EOF
    h3 k8s node-pool update <cluster id> default --from-file pool.json
    h3 k8s node-pool get <cluster id> default

    Проверка

    В строке группы default в колонке «Автоскейлинг» — границы 1–3, статус группы — «Готова».

    Если не получилось

    • Квота проекта проверяется по максимуму: если узлов на максимум не хватает, консоль не даст сохранить. Подсказка под полем показывает, сколько узлов ещё доступно группе.
    • В DEV-кластере всех узлов во всех группах может быть не больше 10.
  3. Шаг 3. Разверните приложение с запросами ресурсов

    HPA считает загрузку в процентах от requests.cpu, а cluster autoscaler по тем же requests понимает, что под не помещается. Без requests не сработает ни тот, ни другой.

    app.yaml
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: php-apache
    spec:
      replicas: 1
      selector:
        matchLabels: {app: php-apache}
      template:
        metadata:
          labels: {app: php-apache}
        spec:
          containers:
            - name: php-apache
              image: registry.k8s.io/hpa-example
              ports:
                - containerPort: 80
              resources:
                requests: {cpu: 500m, memory: 128Mi}
                limits: {cpu: "1", memory: 256Mi}
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: php-apache
    spec:
      selector: {app: php-apache}
      ports:
        - port: 80
    Применение
    kubectl apply -f app.yaml
    kubectl rollout status deployment/php-apache

    Проверка

    Один под php-apache в Running.

  4. Шаг 4. Создайте HPA

    hpa.yaml
    apiVersion: autoscaling/v2
    kind: HorizontalPodAutoscaler
    metadata:
      name: php-apache
    spec:
      scaleTargetRef:
        apiVersion: apps/v1
        kind: Deployment
        name: php-apache
      minReplicas: 1
      maxReplicas: 8
      metrics:
        - type: Resource
          resource:
            name: cpu
            target: {type: Utilization, averageUtilization: 50}
    Применение
    kubectl apply -f hpa.yaml
    kubectl get hpa php-apache

    Проверка

    Через минуту в колонке TARGETS вместо <unknown> — текущая загрузка, например cpu: 1%/50%.

    Если не получилось

    • <unknown> дольше пары минут — у контейнера нет requests.cpu или metrics-server не отвечает: kubectl describe hpa php-apache, раздел Events.
  5. Шаг 5. Дайте нагрузку и смотрите, как растёт кластер

    Восемь подов по 500m — это 4 vCPU запросов, на одном узле с 2 vCPU они не помещаются. Часть подов уйдёт в Pending, и autoscaler закажет новые узлы. Создание узла занимает несколько минут.

    Терминал 1: нагрузка
    kubectl run load --image=busybox:1.36 --restart=Never -- \
      /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"
    Терминал 2: наблюдение
    kubectl get hpa php-apache --watch
    # в третьем окне:
    kubectl get nodes --watch

    Проверка

    HPA поднимает REPLICAS до 8, часть подов ненадолго в Pending, затем в kubectl get nodes появляются новые узлы. В консоли группа default в статусе «Масштабируется», а в колонке «Узлы» растёт число узлов.

    Если не получилось

    • Узлы не добавляются, а поды висят в Pending — достигнут Максимум узлов или квота проекта. Причина — в событиях пода: kubectl describe pod <под>.
  6. Шаг 6. Снимите нагрузку и проверьте сжатие

    HPA уменьшает число подов после окна стабилизации, по умолчанию это 5 минут. Потом узлы остаются без подов, и после «времени простоя» autoscaler их удаляет. Всё вместе занимает 10–20 минут.

    На вашем компьютере
    kubectl delete pod load
    kubectl get hpa php-apache --watch

    Проверка

    HPA вернулся к одной реплике, в kubectl get nodes снова один узел, группа default — «Готова». С этого момента дополнительные узлы больше не оплачиваются.

Проверка результата

Посмотрите историю решений обоих уровней: HPA пишет события масштабирования, а у узлов видно время создания.

Терминал
kubectl describe hpa php-apache | sed -n '/Events/,$p'
kubectl get nodes -o custom-columns=NAME:.metadata.name,CREATED:.metadata.creationTimestamp

Как удалить ресурсы

Удалите тестовое приложение. Автоскейлинг можно оставить: в покое он держит минимум узлов и ничего не стоит сверх него.

  1. kubectl delete -f hpa.yaml -f app.yaml.
  2. Если автоскейлинг не нужен: «Группы узлов» → default → «…» → Изменить → выключите Автоскейлинг → Сохранить (в Terraform — уберите блок autoscaler).
  3. Кластер удаляется как в сценарии «Приложение из своего реестра».

Типичные ошибки

Можно ли масштабировать группу до нуля узлов?

Да, **Минимум узлов** может быть 0, если в кластере есть другая группа без тейнтов NoSchedule/NoExecute хотя бы с одним узлом — там работают системные поды. Так удобно держать дорогую группу для фоновых задач: она поднимается, только когда для неё появляются поды.

Узел не удаляется, хотя нагрузки нет

Autoscaler не трогает узел, если на нём под без контроллера (созданный `kubectl run`), под с локальным томом `emptyDir` или PodDisruptionBudget не разрешает выселение. Порог «недогруженности» задаёт **Порог загрузки для удаления узла** в дополнительных настройках группы.

HPA по памяти или своим метрикам

По памяти — так же, `name: memory` в `metrics`. Для метрик приложения (RPS, длина очереди) нужен адаптер custom metrics, например Prometheus Adapter или KEDA. Их можно поставить в кластер самостоятельно.

Как оплачиваются узлы, которые добавил autoscaler?

Как обычные узлы — по vCPU и RAM поминутно, с момента создания до удаления. Месяц в расчёте — 720 часов.

Связанные продукты и материалы

Сколько стоит

≈ 6,01 ₽ в час · 4 330 ₽ в месяц при работе 24/7

Управляющий слой, 1 реплика1 × 1 090 ₽
vCPU узлов в покое (1 узел)2 × 900 ₽
RAM узлов в покое, ГБ4 × 360 ₽

Расчёт — для кластера в покое. Узлы, которые autoscaler добавил под нагрузку, оплачиваются поминутно, пока существуют: час работы двух дополнительных узлов по 2 vCPU и 4 ГБ стоит 4 × 1,25 + 8 × 0,50 ₽. Диск узла — по цене своего класса.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.