····· ·····
···· ····
··· ◇ ···
··· · ···
·· · ···· ···· · · ··
·· ·· · ·· · · ···· · ··
·· ···· ········░·░·░···· ··· ··
·· · ·· · ···░░·░░··░░░·░········ ··
· ·· ·····░·░············░░······ · ·
·· ~~~·····░░····░░░░░░░░░············ ··
·· ~~~~~~~~~~░░··░·▒▒░▒····░░░░░░········· · ··
~ ·· ~~~~ ····~~~~~~~~~··········◆░░···░····· ·· ··
~~~~~~~~ ·······░░▒~~~▓▓▒▒▒▒···▒░░░······ ·
· ~ ····░·░··░░▒···~~~~~~~~~··░░···░·· ·
· ·· ······░░░░···▒▒~~~▓~~~~░░········ ·· ·
·· · · ◆·░░··░░░░··········~~~░·····◆···· ··
·· ··· ····░··░▒░▒░░····░░▒░~~~··░░· · · ··
·· · ············░░░░▒░░░░░···~~~~·· ··· ··
· · ···················░░···~~~~ ··· ·
·· · ·· ···░·····░··░·░░······· ~~~~· ··
·· ·· ····· ········· ····· · · ~~~~~ ··
·· · ·· ········ · · ~~~~~
·· · · · · · · ·· ·~~~~~
··· · · ·· ··· ~~~~~~
··· ◇ ···
···· ····
····· ····· Москва из глифов: кольца дорог, река и светящиеся точки площадки, по линиям между ними бежит трафик
- Главная
- Инфраструктура
Инфраструктура
Облако — это чужой компьютер. Вот наш
3 ЦОДа уровня Tier III в г. Москве, наши стойки и серверы на Intel Xeon Scalable 4-го и 5-го поколений с памятью DDR5, сеть на портах 100 Гбит/с. Листайте: снимем крышу с ЦОДа и разберём сервер по слоям.
3 ЦОДа Tier III · Москва·Xeon 4-го и 5-го поколений · DDR5·порты 100G·SLA 99,5 %
листайте: ЦОД, стойка и сервер по слоям ↓ 01 · площадки
Снимаем крышу с ЦОДа
Наши стойки стоят в 3 ЦОДах уровня Tier III в г. Москве. Внутри — машинные залы с рядами стоек и холодными коридорами, снаружи — дизель-генераторы и чиллеры. Адреса площадок мы не публикуем: их получают клиенты Пакета «152-ФЗ» под NDA.
3 ЦОДа Tier III · Москва·адреса — в Пакете «152-ФЗ»
02 · железо
Стойка и сервер — по слоям
В стойках — наши серверы на Intel Xeon Scalable 4-го и 5-го поколений с памятью DDR5. Каждый подключён портами 100 Гбит/с, данные лежат на SSD, воздух идёт из холодного коридора через вентиляторы к горячему. Мы собирали платформу с нуля, поэтому под машинами только новое железо.
Xeon 4-го и 5-го поколений·DDR5·порты 100G·SSD
03 · сеть
В интернет — двумя дорогами
Площадка выходит в интернет через аплинки разных операторов связи и точки присутствия в Москве. У нас своя автономная система и свои блоки адресов: если у оператора авария, BGP уводит трафик на другой аплинк. Серверы подключены портами 100 Гбит/с, поэтому исходящий трафик серверов мы не тарифицируем.
аплинки разных операторов·своя AS и адреса·порты 100G·исходящий трафик 0 ₽
04 · питание и холод
Если город мигнёт, серверы не заметят
Питание и холод обеспечивает оператор дата-центра: между городской сетью и серверами стоят ИБП и дизель-генераторы. Документы площадки получает служба ИБ клиента по запросу.
ИБП и ДГУ·до 20 кВт на стойку Compute, до 120 кВт на стойку GPU
05 · копии и отказоустойчивость
Копий всегда больше одной
Реплицируемый диск пишет каждый блок на два сервера сразу, арбитр хранит кворум. S3 на Ceph держит объект в трёх копиях, резервные копии уезжают в отдельное хранилище. При поломке сервера платформа запускает машины на соседних, а при обслуживании они переезжают на ходу. Доступность закреплена в SLA: 99,5 %, за нарушение — сервисные кредиты до 30 %.
2 копии + арбитр·S3 · 3 копии·живая миграция·SLA 99,5 %
ЦОД · Москва ▔▔▔▔▔▔▔▔▔▔▔▔▔▔▔▔ крыша
◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼ ◼
◎ ◎ ◎ чиллеры
▕ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▏
▕ ░░░░ холодный коридор ░░░░░░░░░░░░░ ▏
▕ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▏ [ДГУ]
▕ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▮▮ ▏ [ДГУ]
ввод A ──▶
ввод B ──▶ стены разъехались
ЦОД в разрезе: залы, ряды стоек, ДГУ и чиллеры стойка сервер по слоям
┃ ▬▬▬▬▬▬▬▬ ┃ ▱▱▱▱▱▱▱▱▱▱▱▱▱ крышка
┃ ▬▬▬▬▬▬▬▬ ┃ ▣▣ ▤▤ ▣▣ БП · 100G
┃ ┃ ◎ ◎ ◎ ◎ ◎ ◎ ▮▮▮ вентиляторы · SSD
┃ ▬▬▬▬▬▬▬▬ ┃ ──▶ ▥▥▥▥ ▥▥▥▥ радиаторы
┃ ┃ ▮▮ ■■ ▮▮ ■■ ▮▮ CPU · DDR5
┃ ▬▬▬▬▬▬▬▬ ┃ · · · · · · · · плата
стойка раздвигается, сервер разбирается на слои
( интернет )
╱ │ │ ╲
оператор 1 ╱ │ │ ✗ ╲ оператор 2
◆ PoP PoP ◆
╲ ╲ ╱ ╱
[ граница · BGP ] [ граница · BGP ]
│ 100G │
▪▪ ▪▪ ▪▪ ▪▪ ▪▪ ▪▪ ▪▪ ▪▪ серверы
один аплинк упал — трафик идёт по другому ✗ ввод A ╲ ╲ ╲ ╲ ╲ ╲ ╲ ╲ ▌ [ИБП] ━━┓
ввод B ▌ ▌ ▌ ▌ ▌ ▌ ▌ ▌ ▌ [ИБП] ━━╋━ ▮ стойка работает
[ДГУ запущен]
чиллеры: ✗ ◎ ◎ резерв включился
линия A упала — каскад остановился на ИБП, стойка работает ◼ ◼ ◼ ◼ ◼ ▪▪ ▪▪ ▪▪
◼ ◼ ◼ ◼ ◼ ▪▪ ▪▪
◼◼ ◼◼◼ [✗] 99,5 % SLA ▪▪
◼ ◼ ◼ ◼ ◼ ▪▪ ──▶ машины переехали
◼ ◼ ◼ ◼ ◼ ▪▪ ▪▪ ▪▪
диск · 2 копии S3 · 3 копии
копии данных, потом кольцо серверов: один узел упал ЦОД в разрезе: залы, ряды стоек, ДГУ и чиллеры
стойка раздвигается, сервер разбирается на слои
один аплинк упал — трафик идёт по другому
линия A упала — каскад остановился на ИБП, стойка работает
копии данных, потом кольцо серверов: один узел упал
Что под вашими серверами
Показываем площадки, железо, сеть и хранение, которые обычно прячут за словом «облако». Документы отдаём службе ИБ по запросу, адреса площадок — в Пакете «152-ФЗ».
3 ЦОДа Tier III в Москве
Стойки в коммерческих дата-центрах с ИБП и дизель-генераторами. Данные клиентов хранятся только в России.
Свежее железо
Серверы на Intel Xeon Scalable 4-го и 5-го поколений с памятью DDR5. Мы собирали платформу с нуля, поэтому под машинами только новое оборудование.
Порты 100G
Серверы подключены портами 100 Гбит/с. Сеть построена с запасом, поэтому за исходящий трафик серверов мы счёт не выставляем.
Два оператора и своя AS
Аплинки разных операторов связи и точки присутствия в Москве. Собственная автономная система и блоки адресов: авария у одного оператора не отрезает облако от интернета.
Две копии каждого блока
Реплицируемый диск пишет синхронно на два сервера, арбитр хранит кворум. Записанные данные переживают отказ сервера.
S3 в трёх копиях
Объектное хранилище на Ceph: каждый объект лежит на трёх серверах, хранилище работает и при недоступности одного из них.
Живая миграция
Обновление и замена серверов не выключают машины: они переезжают на соседний узел на ходу, адрес сохраняется.
SLA с кредитами
99,5 % для машин, баз, кластеров, S3 и балансировщиков, 99,0 % для консоли и API. Если доступность ниже, начисляем сервисные кредиты 10, 15 или 30 % от стоимости сервиса за месяц.
Статус снаружи
Страница status.h3llo.cloud работает отдельно от облака, поэтому покажет аварию, даже если площадка недоступна целиком.
Документы для ИБ
Компания включена в реестр провайдеров хостинга Роскомнадзора. Документы — по письму на world@h3llo.cloud, адреса площадок — в Пакете «152-ФЗ».
Что на этом строят
Типовые сценарии из библиотек решений облаков, пересказанные под наши площадки. Под каждым — из чего его собрать в h3llo.cloud.
01 Сайт, который переживает отказ сервера
Две машины за балансировщиком, база в отказоустойчивой конфигурации из двух экземпляров, статика в S3. Отказ одного сервера не останавливает сайт.
- 2 сервера
- балансировщик
- PostgreSQL ×2
- S3
Пошаговая инструкция → 02 Резервные копии вне основной площадки данных
Политика бэкапа снимает диски по расписанию и хранит дневные, недельные и месячные копии в отдельном хранилище. Файлы и дампы баз restic или rclone складывают в бакет S3, правило жизненного цикла удаляет старое.
- бэкапы дисков по расписанию
- S3
- restic · rclone
Пошаговая инструкция → 03 Раздача файлов и API с большим исходящим трафиком
Бэкенд на серверах отдаёт файлы, обновления и ответы API. Исходящий трафик серверов не тарифицируется в пределах правил допустимого использования, а порты 100G не становятся узким местом.
- серверы
- балансировщик
- публичный IP
- S3 для тяжёлых файлов
Пошаговая инструкция → 04 Переезд с замером на своей нагрузке
Прежде чем переносить прод, прогоните свой тест на нашем железе: инженер поможет поставить бенчмарк, а результат сравните с текущей площадкой. Потом переезд по плану: Terraform, репликация данных, переключение с откатом.
Пошаговая инструкция → Цена железа
Платите за vCPU, RAM и диск поминутно. Исходящий трафик серверов и трафик внутри площадки — 0 ₽.
Сколько стоит сервер
Месяц — 720 часов. Полный прайс-лист — на странице тарифов, конфигурацию удобно собрать в калькуляторе.
Вопросы
Где физически стоят серверы?
В 3 ЦОДах уровня Tier III в г. Москве. Адреса площадок мы не публикуем: их получают клиенты Пакета «152-ФЗ» под NDA. Документы для ИБ — по письму на world@h3llo.cloud. Данные клиентов хранятся только в России.
Какие процессоры под моей машиной?
Intel Xeon Scalable 4-го и 5-го поколений с памятью DDR5. Модель процессора конкретного сервера платформа не закрепляет: машинам выдаётся одна модель виртуального CPU на всех серверах, поэтому живая миграция работает между поколениями без остановки.
Что будет, если сломается сервер?
Реплицируемый диск продолжит работать на второй копии, а платформа запустит машину на другом сервере. Узлы Kubernetes заменяются автоматически, кластеры баз переключаются на реплику. Плановое обслуживание серверов идёт с живой миграцией: машины переезжают на соседние узлы, не выключаясь.
Какая доступность гарантирована?
По SLA — 99,5 % для серверов, баз данных, кластеров Kubernetes, S3 и балансировщиков, 99,0 % для консоли и API. Если доступность ниже, начисляем сервисные кредиты 10, 15 или 30 % от стоимости сервиса за месяц. Плановые работы — с 01:00 до 07:00 по Москве.
Тарифицируется ли трафик?
Исходящий трафик серверов — 0 ₽ в пределах правил допустимого использования, трафик внутри площадки и входящий трафик тоже бесплатны. Платно только скачивание из S3: 0,90 ₽ за ГБ.
Можно поставить своё оборудование в ваши стойки?
Нет, колокацию мы не продаём: в стойках стоит только наше железо, а клиентам мы даём облачные ресурсы. Если нужен целый сервер под нагрузку, напишите архитектору — подберём конфигурацию из машин, дисков и сети.
Как проверить производительность до переезда?
Мы бесплатно повторим ваш бенчмарк на нашем железе: инженер поможет поставить тест, результат останется у вас. Для старта есть 4 000 ₽ на 30 дней на любые сервисы.
Проверьте наше железо на своей нагрузке
Создайте машину за пару минут или попросите инженера повторить ваш бенчмарк. 4 000 ₽ на 30 дней на любые сервисы, юрлицам и ИП из реестра МСП — грант 20 000 ₽ на переезд.
██╗ ██╗ ██╗
██║ ██████╗ ██║ ██║
███████╗ ╚════██╗ ██║ ██║ ██████╗
██╔══██║ █████╔╝ ██║ ██║ ██╔═══██╗
██║ ██║ ╚═══██╗ ██║ ██║ ██║ ██║
██║ ██║ ██████╔╝ ██║ ██║ ╚██████╔╝
╚═╝ ╚═╝ ╚═════╝ ╚═╝ ╚═╝ ╚═════╝
ЦОД в Москве · своя платформа · 4 000 ₽ на старт
Enter — далее · Tab — поле · Space — отметка · Esc — назад
* IOPS растут с объёмом диска; точные значения для вашего объёма видны в консоли при выборе.