Перейти к содержанию
Публикация AiManual

Облачный GPU: как проверить производительность и стоимость нагрузки

Как сравнить облачные GPU: проверить MIG и time-slicing, провести ограниченный тест vLLM, оценить задержки, качество ответов и полные расходы.

Коротко

Что будет в материале

  1. 01

    Что действительно показало исследование 3534 GPU

  2. 02

    Приём №1: сначала короткий пилот своей нагрузки

  3. 03

    Приём №2: выясните, какие ресурсы вам выделяют

  4. 04

    Приём №3: мониторинг до автоматического переключения

Одинаковое название GPU не означает одинаковую скорость вашего сервиса. Сравнивать нужно конкретную конфигурацию и нагрузку: объём доступной памяти, режим разделения, модель, длину контекста и число одновременных запросов. Цена за час без этих условий мало говорит о стоимости полезного результата.

Термин «кремниевая лотерея» удобен как метафора, но по одному медленному ответу нельзя диагностировать качество кристалла. Причину ищут в измерениях всего стека. Производственные различия, ограничения мощности, конкуренция за ресурсы и программная конфигурация — разные гипотезы, которые требуют отдельных проверок.

Предыдущий материал о различиях производительности облачных GPU можно использовать как вводный контекст. Ниже — проверяемое исследование и порядок собственного пилота, без универсального рейтинга облаков и обещания гарантированной скорости.

Что действительно показало исследование 3534 GPU

В работе Silicon Data Did You Win the GPU Cloud Lottery? Benchmarking from TFLOPS to Tokens/$ (GPGPU 2026) описаны 3534 GPU-инстанса, более 6800 измерений и 11 провайдеров. Поставщики анонимизированы: таблицы не позволяют присвоить результат конкретному облачному бренду.

Ниже — только строки FP16-умножения матриц из таблицы 3. Это нормализованный разброс микробенчмарка по методике авторов, а не разница токенов в секунду:

GPUВнутри провайдераМежду провайдерами
H100 PCIe32,53%34,49%
H100 SXM (HBM3)9,58%10,40%
H200 SXM6,97%7,12%

Столбцы используют разные базы нормирования; это не среднее ускорение от смены поставщика и не прогноз для любой LLM. D2D-копирование в этой работе измеряет память одного GPU, а не связь между разными GPU. Прикладные тесты авторы проводили отдельно, с заданной моделью и профилями запросов.

Наш обзор исследования 3500 GPU — дополнительный материал; первичные цифры и определения проверяйте по самой работе. Для SiliconMark используйте официальную документацию и актуальные условия доступа. Публичный репозиторий и команды из неофициального примера нельзя считать подтверждённым способом установки.

Приём №1: сначала короткий пилот своей нагрузки

До долгой аренды согласуйте бюджет, продолжительность, объём диска и способ остановки платных ресурсов. Spot может быть прерван и не заменяет тест выбранного production-тарифа. Результат другого режима аренды помечайте отдельно.

Сохраните параметры стенда: GPU и доступную память, режим MIG или sharing, драйвер, версии CUDA и сервера, digest образа, ревизии модели и токенизатора, квантование, размер контекста и параметры кэша. Не меняйте их одновременно с провайдером, если хотите понять причину разницы.

На NVIDIA-узле начать можно с диагностических команд без изменения настроек:

nvidia-smi -L
nvidia-smi -q

Вывод nvidia-smi зависит от устройства и прав: N/A не означает исправность или неисправность. Сохраните отчёт в закрытом журнале испытания; UUID и сведения об узле не нужны в публичном скриншоте.

Ограниченный smoke-test vLLM

Ниже — Linux-пример с GNU timeout и уже установленным совместимым клиентом vllm bench serve. На том же узле должен работать ваш изолированный vLLM chat-сервер на 127.0.0.1:8000. Он обслуживает MODEL_ID и использует соответствующий локальный TOKENIZER_PATH. Модель, токенизатор и версии заранее проверены и зафиксированы; контекст должен вмещать тест и chat template.

Клиент читает OPENAI_API_KEY из окружения: передайте существующий ключ этого тестового сервера через штатный механизм секретов. Это не ключ внешнего OpenAI API. Не вставляйте его в командную строку, журнал или отчёт и не отключайте авторизацию ради теста.

set -eu
: "${MODEL_ID:?Set the exact model name served by your test server}"
: "${TOKENIZER_PATH:?Set the local matching tokenizer directory}"
: "${OPENAI_API_KEY:?Inject the existing local test server key securely}"
test -d "$TOKENIZER_PATH"
RESULT_DIR=$(mktemp -d ./gpu-bench.XXXXXX)

timeout --signal=INT --kill-after=10s 180s vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:8000 \
  --endpoint /v1/chat/completions \
  --model "$MODEL_ID" --tokenizer "$TOKENIZER_PATH" \
  --dataset-name random --num-prompts 20 \
  --random-input-len 128 --random-output-len 128 \
  --random-range-ratio 0 --random-prefix-len 0 \
  --max-concurrency 1 --request-rate 1 \
  --num-warmups 1 --seed 42 --ignore-eos \
  --save-result --result-dir "$RESULT_DIR"

Команда задаёт 20 измеряемых запросов и прогрев; служебные проверки могут добавить обращения. Параметры 128/128 относятся к синтетической нагрузке, а chat template и токенизация могут влиять на фактический вход. Проверяйте usage, успешность и ошибки в отчёте. Seed фиксирует генерацию теста, но не обещает одинаковые результаты GPU.

Это проверка работы измерительного контура, а не воспроизведение исследования Silicon Data и не оценка качества ответов. Через три минуты timeout посылает клиенту сигнал завершения, а ещё через десять секунд принудительно останавливает оставшийся процесс. Это не останавливает аренду и не гарантирует мгновенную отмену запросов на сервере. При таймауте результат неполный: разберите причину, проверьте очередь и завершите ненужные платные ресурсы по плану.

Для выбора конфигурации затем нужен отдельный, согласованный по бюджету тест на разрешённых реальных задачах. Зафиксируйте критерии качества, долю ошибок, допустимое время ответа и профиль параллельности. Повторяйте измерения при одинаковых условиях; отдельно отмечайте холодный запуск и прогретое состояние. Двадцати запросов недостаточно для надёжной оценки хвостовых задержек.

Приём №2: выясните, какие ресурсы вам выделяют

Запросите точную модель GPU, объём доступной VRAM, число устройств, CPU/RAM, тип аренды, условия прерывания и ограничения сети. Термины dedicated и shared у разных поставщиков требуют расшифровки; общего флага --exclusive для любого облака нет.

NVIDIA MIG делит поддерживаемый GPU на аппаратно изолированные экземпляры с выделенными ресурсами вычислений и памяти. Размер профиля меньше целого GPU, поэтому сравнивать его с полной картой как одинаковый продукт некорректно.

Time-slicing в NVIDIA GPU Operator позволяет нескольким потребителям разделять GPU во времени и не даёт такой же изоляции памяти и сбоев. Это не синоним MIG; режимы могут сочетаться. Запрос нескольких реплик time-slicing сам по себе не гарантирует пропорциональную долю вычислений.

Для пилота можно рассмотреть GPU-сервер Timeweb Cloud (партнёрская ссылка), если доступная конфигурация подходит вашей модели и бюджету. До заказа проверьте фактическое оборудование, режим доступа, регион, условия тарификации и остановки. Наличие GPU в каталоге не гарантирует нужной скорости или свободной ёмкости.

Сравнивайте отчёты своих тестов, а гарантии читайте в условиях конкретного предложения. SLA доступности не следует автоматически трактовать как обещание определённого количества токенов в секунду. Называть одного провайдера лучшим по анонимизированному исследованию нельзя.

Приём №3: мониторинг до автоматического переключения

В рабочем сервисе собирайте штатные метрики vLLM: очередь, ошибки, время до первого токена, задержки генерации и длительность запроса. Тяжёлый бенчмарк на том же GPU сам меняет нагрузку и может ухудшить работу пользователей.

Порог алерта выбирайте по своему SLO и наблюдаемому профилю запросов. Несколько последовательных отклонений полезнее одиночного значения tok/s: скорость меняется с длиной контекста, выходом, параллельностью и состоянием кэша. Сначала проверьте изменение трафика, модель, очередь и ошибки, затем аппаратную телеметрию.

Не запускайте покупку нового инстанса или миграцию из бесконечного watchdog без ограничений. Для переключения заранее нужны готовый резерв, проверка версии и готовности модели, лимит затрат, обработка запросов в полёте и возможность отката. Автоматизацию вводят после испытаний отказов; короткий пример мониторинга не доказывает её безопасность.

Считайте стоимость принятого результата, а не только часа

Для своего пилота можно использовать показатель: все расходы за тест / число успешных ответов, прошедших критерии качества и задержки. При нуле подходящих ответов полезной цены за ответ нет. В расходы включайте оплаченный простой, прогрев, хранение и передачу данных по фактическим условиям, а также резерв, если он нужен рабочей схеме.

Стоимость миллиона выходных токенов сравнима лишь при одинаковых входах, качестве и настройках генерации. Более длинный, но бесполезный ответ не становится выгоднее. Для распределённой нагрузки отдельно измеряйте полный сценарий с обменом между GPU и узлами: тест памяти одной карты этого не заменяет.

Вариант собственного оборудования обсуждается в материале о локальной сборке на двух RTX 4090. Его цифры не заменяют ваш замер облачного предложения и расчёт полной стоимости владения.

Температуру и причины ограничения частот смотрите через nvidia-smi и документацию конкретного устройства. Универсальный порог 85°C для замены любого GPU некорректен: поддерживаемые поля и температурные пределы различаются. Снижение частоты требует диагностики, а не автоматического обвинения соседнего арендатора.

Что сделать перед долгой арендой

  1. Уточните ресурсы, режим разделения и предел бюджета пилота.
  2. Проведите короткий тест, затем согласованный замер реальной нагрузки.
  3. Сравните качество, задержки, ошибки и полные расходы.
  4. Сохраните конфигурацию и отчёт; настройте наблюдение и план остановки ресурсов.

Не нужен прогноз о будущих «Gold/Silver/Bronze GPU», чтобы принять решение сегодня. Достаточно проверяемых условий аренды и измерений под вашу задачу. Приведённые команды — шаблон для пилота, а не результаты выполненного здесь GPU-бенчмарка.

Частые вопросы

Как быстро проверить производительность облачного GPU?

Начните с короткого ограниченного теста выбранной модели на изолированном стенде. Зафиксируйте конфигурацию и ошибки, затем сравните разрешённые реальные задачи при одинаковой нагрузке.

Какой провайдер имеет наименьший разброс производительности?

Исследование Silicon Data анонимизирует провайдеров и не даёт такого брендового рейтинга. Сравнивайте конкретные предложения собственным воспроизводимым тестом.

Подписаться на канал