1. Главная
  2. Хаб
  3. Сценарии
  4. CI/CD из GitLab в Managed Kubernetes: свой раннер, реестр и проверка образов

Сценарий 07

CI/CD из GitLab в Managed Kubernetes: свой раннер, реестр и проверка образов

Ставим раннер GitLab на облачный сервер, собираем образ в пайплайне, кладём его в приватный Container Registry, не пускаем дальше образ с критическими уязвимостями и выкатываем в кластер от сервисного аккаунта с правами только на свой namespace.

60 минСредний7 шагов Kubernetes, Container Registry, Серверы обновлено

Содержание
  1. 01Создайте логин реестра для CI
  2. 02Включите проверку образов при загрузке
  3. 03Создайте сервер для раннера
  4. 04Установите Docker и зарегистрируйте раннер
  5. 05Дайте пайплайну доступ только к своему namespace
  6. 06Добавьте переменные CI/CD
  7. 07Опишите пайплайн
  8. Проверка результата
  9. Как удалить ресурсы
  10. Типичные ошибки
  11. Сколько стоит

Что получится

Пайплайн из трёх стадий — build, scan, deploy: каждый коммит в main собирается на вашем раннере, образ с тегом коммита проверяется Trivy и уходит в кластер, только если в нём нет критических уязвимостей. В CI нет kubeconfig администратора — только токен с правами на namespace app.

Что понадобится

  1. Шаг 1. Создайте логин реестра для CI

    Заведите для пайплайна отдельный логин с правом записи, не тот, что у вас на ноутбуке. Его можно будет отозвать, не трогая остальные логины.

    Консоль

    1. Container Registry → реестр demo → вкладка Доступ → Создать логин.
    2. Название — gitlab-ci, Доступ — «Запись и чтение». Нажмите Создать и сохраните «Логин» и «Пароль» из окна «Логин создан»: пароль показывается один раз.
    3. На вкладке Обзор скопируйте «Адрес» реестра — вида cr.h3llo.cloud/<префикс>-demo.

    CLI

    Терминал
    h3 registry list                      # ID реестра demo
    h3 registry credential create <registry id> --name gitlab-ci --access rw -o json
    h3 registry get <registry id>         # адрес реестра

    Проверка

    Логин gitlab-ci появился на вкладке «Доступ» с правами «Запись и чтение».

  2. Шаг 2. Включите проверку образов при загрузке

    Реестр умеет сам проверять каждый загруженный образ сканером Trivy. Это не блокирует загрузку, зато результат виден для любого тега. Блокировку сделаем в пайплайне на следующих шагах.

    CLI

    Терминал
    h3 api PUT /api/registries/v1/<registry id>/settings/scanning -d '{"scanOnPush": true}'
    h3 api GET /api/registries/v1/<registry id>/settings

    Проверка

    В ответе settings в блоке scanning — "available": true и "scanOnPush": true.

    Если не получилось

    • SCANNER_UNAVAILABLE — сканер реестра временно недоступен. Пайплайн ниже всё равно проверит образ своим Trivy.
  3. Шаг 3. Создайте сервер для раннера

    Раннеру нужен Docker, поэтому берём обычный сервер, а не кластер: сборка с docker:dind требует привилегированного режима, которого в подах кластера лучше не давать. Входящий трафик раннеру не нужен: он сам ходит в GitLab, поэтому открываем только SSH.

    Консоль

    1. Группы безопасности → Создать: Имя ssh-only → Создать → Разрешить входящий → SSH 22.
    2. Инстансы → Создать: ОС Ubuntu 24.04 LTS, vCPU 2, RAM 4 ГБ, Диски 40 ГБ, Класс производительности «R-Стандарт», Имя виртуальной машины gitlab-runner, SSH-ключи — ваш ключ, Публичный IPv4 «Вкл.» с «Выделить новый IP», Группы безопасности — только ssh-only.
    3. Нажмите Собрать и запустить.

    CLI

    Терминал
    h3 ssh list                                   # ID вашего SSH-ключа
    h3 vm create --name gitlab-runner --image ubuntu:24.04 --cpu 2 --memory 4Gi \
      --disk-size 40Gi --ssh-key-ids <key id> --white-ip

    Terraform

    runner.tf
    resource "h3_security_group" "ssh_only" {
      project_id = var.project_id
      name       = "ssh-only"
    
      rule {
        direction   = "ingress"
        protocol    = "tcp"
        port_from   = 22
        remote_cidr = "0.0.0.0/0"
      }
      rule {
        direction   = "egress"
        remote_cidr = "0.0.0.0/0"
      }
    }
    
    resource "h3_vm" "runner" {
      project_id = var.project_id
      name       = "gitlab-runner"
      cpu        = 2
      memory     = "4Gi"
      image      = "ubuntu:24.04"
      disk_size  = "40Gi"
      ssh_key    = trimspace(var.ssh_public_key)
      white_ip   = true
    }
    
    resource "h3_vm_security_groups" "runner" {
      vm_id              = h3_vm.runner.id
      security_group_ids = [h3_security_group.ssh_only.id]
    }

    Проверка

    Сервер gitlab-runner в статусе «Работает», в карточке есть «SSH подключение» с командой ssh user@<IP>.

  4. Шаг 4. Установите Docker и зарегистрируйте раннер

    GitLab

    1. В проекте GitLab откройте Settings → CI/CD → Runners и нажмите New project runner.
    2. Отметьте Run untagged jobs и нажмите Create runner. Скопируйте токен вида glrt-… — он показывается один раз.
    На сервере раннера
    sudo apt update && sudo apt install -y docker.io
    curl -L "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh" | sudo bash
    sudo apt install -y gitlab-runner
    sudo gitlab-runner register --non-interactive \
      --url "https://gitlab.com" \
      --token "glrt-<токен>" \
      --executor docker \
      --docker-image docker:27 \
      --docker-privileged
    sudo gitlab-runner verify

    Проверка

    gitlab-runner verify печатает is valid, а в GitLab на странице Runners раннер отмечен зелёной точкой — онлайн.

    Если не получилось

    • Свой GitLab — замените https://gitlab.com на его адрес.
    • --docker-privileged нужен для сборки через docker:dind. Раннер с этим флагом не отдавайте чужим проектам: задача получает root на сервере.
  5. Шаг 5. Дайте пайплайну доступ только к своему namespace

    kubeconfig из консоли — администратор всего кластера, в CI его класть не нужно. Создадим namespace app, service account gitlab-deployer с ролью edit только в нём и соберём из его токена отдельный kubeconfig. Заодно подключим реестр к app, чтобы поды тянули образы без imagePullSecrets.

    Консоль

    1. Container Registry → demo → «Кластеры» → Подключить к кластеру: Кластер demo, Namespace app, Service accounts default → Подключить.
    На вашем компьютере (с kubeconfig администратора)
    export KUBECONFIG=~/Downloads/demo_kubeconfig.yaml
    kubectl create namespace app
    kubectl -n app create serviceaccount gitlab-deployer
    kubectl -n app create rolebinding gitlab-deployer --clusterrole=edit --serviceaccount=app:gitlab-deployer
    kubectl -n app apply -f - <<'EOF'
    apiVersion: v1
    kind: Secret
    metadata:
      name: gitlab-deployer-token
      annotations:
        kubernetes.io/service-account.name: gitlab-deployer
    type: kubernetes.io/service-account-token
    EOF
    
    SERVER=$(kubectl config view --minify -o jsonpath='{.clusters[0].cluster.server}')
    CA=$(kubectl config view --raw --minify -o jsonpath='{.clusters[0].cluster.certificate-authority-data}')
    TOKEN=$(kubectl -n app get secret gitlab-deployer-token -o jsonpath='{.data.token}' | base64 -d)
    cat > ci-kubeconfig.yaml <<EOF
    apiVersion: v1
    kind: Config
    clusters:
      - name: demo
        cluster: {server: ${SERVER}, certificate-authority-data: ${CA}}
    users:
      - name: gitlab-deployer
        user: {token: ${TOKEN}}
    contexts:
      - name: app
        context: {cluster: demo, user: gitlab-deployer, namespace: app}
    current-context: app
    EOF

    Проверка

    Токен видит свой namespace и не видит чужие:

    Терминал
    KUBECONFIG=ci-kubeconfig.yaml kubectl get pods                  # No resources found in app namespace.
    KUBECONFIG=ci-kubeconfig.yaml kubectl get pods -n kube-system   # Forbidden
  6. Шаг 6. Добавьте переменные CI/CD

    GitLab

    1. Settings → CI/CD → Variables → Add variable, для каждой отметьте Protect variable:
    2. CR_ADDRESS — адрес реестра; CR_USER — логин gitlab-ci (со знаком $ внутри — вводите как есть); CR_PASSWORD — пароль, Visibility «Masked».
    3. KUBECONFIG — Type «File», значение — содержимое ci-kubeconfig.yaml. GitLab сам положит его в файл и передаст путь в переменной.
    После добавления удалите локальную копию
    rm ci-kubeconfig.yaml

    Если не получилось

    • Переменные с Protect variable доступны только в защищённых ветках. Пайплайн из другой ветки упадёт на docker login. Так и задумано: выкатывать можно только из main.
  7. Шаг 7. Опишите пайплайн

    Положите в репозиторий приложения Dockerfile, манифест k8s/app.yaml и .gitlab-ci.yml. В манифесте вместо адреса образа стоит метка IMAGE — пайплайн подставит туда тег коммита.

    k8s/app.yaml
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: app
    spec:
      replicas: 2
      selector:
        matchLabels: {app: app}
      template:
        metadata:
          labels: {app: app}
        spec:
          containers:
            - name: web
              image: IMAGE
              ports:
                - containerPort: 80
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: app
    spec:
      type: LoadBalancer
      selector: {app: app}
      ports:
        - port: 80
          targetPort: 80
    .gitlab-ci.yml
    stages: [build, scan, deploy]
    
    variables:
      IMAGE: "$CR_ADDRESS/app:$CI_COMMIT_SHORT_SHA"
    
    build:
      stage: build
      image: docker:27
      services: [docker:27-dind]
      variables:
        DOCKER_HOST: tcp://docker:2375
        DOCKER_TLS_CERTDIR: ""
      script:
        - echo "$CR_PASSWORD" | docker login cr.h3llo.cloud -u "$CR_USER" --password-stdin
        # узлы кластера — x86-64
        - docker build --platform linux/amd64 -t "$IMAGE" .
        - docker push "$IMAGE"
      rules:
        - if: $CI_COMMIT_BRANCH == "main"
    
    scan:
      stage: scan
      image:
        name: aquasec/trivy:latest   # в боевом пайплайне закрепите версию
        entrypoint: [""]
      variables:
        TRIVY_USERNAME: "$CR_USER"
        TRIVY_PASSWORD: "$CR_PASSWORD"
      script:
        # падаем, если есть критические уязвимости, для которых уже вышло исправление
        - trivy image --no-progress --exit-code 1 --severity CRITICAL --ignore-unfixed "$IMAGE"
      rules:
        - if: $CI_COMMIT_BRANCH == "main"
    
    deploy:
      stage: deploy
      image: alpine:3.22
      script:
        - apk add --no-cache curl
        - curl -fsSLo /usr/local/bin/kubectl "https://dl.k8s.io/release/$(curl -fsSL https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"
        - chmod +x /usr/local/bin/kubectl
        - sed "s|IMAGE|$IMAGE|" k8s/app.yaml | kubectl apply -f -
        - kubectl rollout status deployment/app --timeout=180s
      rules:
        - if: $CI_COMMIT_BRANCH == "main"
      environment: production
    Коммит
    git add Dockerfile k8s/app.yaml .gitlab-ci.yml
    git commit -m "ci: build, scan, deploy to h3llo.cloud" && git push

    Проверка

    В Build → Pipelines три зелёные стадии. В реестре на вкладке Репозитории появился репозиторий app с тегом короткого хеша коммита, в кластере — две реплики:

    Терминал
    kubectl -n app get deployment app -o jsonpath='{.spec.template.spec.containers[0].image}'; echo
    kubectl -n app get service app    # EXTERNAL-IP — публичный адрес приложения

    Если не получилось

    • Стадия scan красная — Trivy нашёл критическую уязвимость с исправлением. В логе есть пакет и версия, где её закрыли: обновите базовый образ (FROM) или пакет и закоммитьте снова.
    • deploy падает с forbidden — в манифесте ресурс не из namespace app или кластерный объект: у роли edit прав только на свой namespace.
    • Unable to connect to the server в deploy — доступ к API кластера ограничен списком адресов. Добавьте в список публичный IP сервера раннера.

Проверка результата

Сделайте любую правку, например текст страницы в Dockerfile, и закоммитьте в main. Через пару минут приложение отвечает новой версией, а тег образа в кластере равен короткому хешу последнего коммита. Результат проверки реестром виден по digest образа:

Терминал
curl http://<EXTERNAL-IP>
h3 registry tag list <registry id> --repository app
h3 api GET /api/registries/v1/<registry id>/artifacts/scan -f repository=app -f digest=<sha256:…>

Как удалить ресурсы

Сервер раннера, его IP и сервис LoadBalancer оплачиваются, пока существуют.

  1. kubectl delete namespace app — удалит приложение, его балансировщик с публичным IP, service account и токен CI.
  2. В GitLab: Settings → CI/CD → Runners → удалите раннер; Variables → удалите KUBECONFIG, CR_ADDRESS, CR_USER, CR_PASSWORD.
  3. Инстансы → gitlab-runner → меню «…» → Удалить, отметьте «Освободить IP-адрес (иначе он останется в проекте)» → Подтвердить. Затем Группы безопасности → ssh-only → Удалить группу.
  4. Container Registry → demo → Доступ → удалите логин gitlab-ci. Старые теги app удаляйте командой h3 registry tag delete или правилами хранения тегов.

Типичные ошибки

Почему не держать раннер прямо в кластере?

Можно, но сборка через `docker:dind` требует привилегированных подов, а это root на узле кластера с вашими приложениями. Отдельный сервер изолирует сборки и стоит предсказуемо; за выключенный сервер vCPU и RAM не оплачиваются.

Раннеру не хватает ресурсов на большие сборки

Увеличьте сервер: меню сервера → «Изменить размер». В пределах четырёхкратного запаса Linux-сервер получает vCPU и RAM без перезагрузки, поэтому раннер не придётся останавливать.

Можно ли не выпускать в кластер образы, которые не прошли проверку?

Да, этим и занимается стадия `scan`: `deploy` запускается только после её успеха. Порог настраивается флагом `--severity` (например, `HIGH,CRITICAL`).

Нужен kubeconfig администратора в CI для CRD и namespace

Лучше выдать service account кластерную роль только на нужные ресурсы через ClusterRole и ClusterRoleBinding. kubeconfig администратора даёт полный доступ и выдаётся только участникам проекта с правом изменять ресурсы.

Связанные продукты и материалы

Сколько стоит

≈ 5,44 ₽ в час · 3 914,60 ₽ в месяц при работе 24/7

Сервер раннера: vCPU2 × 900 ₽
Сервер раннера: RAM, ГБ4 × 360 ₽
Диск раннера до 20 000 IOPS*, ГБ40 × 14,40 ₽
Публичный IPv4 раннера1 × 90 ₽
Реестр: занятое место, ГБ2 × 4,30 ₽

Кластер считается отдельно — см. сценарий с реестром; сервис LoadBalancer приложения добавляет ещё один публичный IPv4. Исходящий трафик сервера не тарифицируется. Реестр берёт деньги за занятое место и за скачивание образов по тарифу Container Registry.

Цены из прайс-листа, по которому работает биллинг; списание поминутное, месяц — 720 часов. Если удалить ресурсы после проверки, сценарий обойдётся в рубли.

Новым пользователям — 4 000 ₽ на 30 дней на любые сервисы: бонуса хватит, чтобы попробовать этот сценарий целиком. Бонус начисляется после подтверждения телефона и привязки карты.

* IOPS растут с объёмом диска; точные значения для вашего объёма видны в консоли при выборе.