DGX Spark или H100: что выбрать для LLM
NVIDIA DGX Spark 128 ГБ · H100 80 ГБ в облаке
H100 — серверный ускоритель: память HBM3 в 12,3 раза быстрее, десятки одновременных запросов, продакшен-нагрузка. DGX Spark вмещает больше — около 108 ГБ под модель против 80 ГБ — и в месяц стоит в 3,7 раза дешевле круглосуточной H100 в облаке. Для разработки, пилота и внутреннего сервиса на несколько человек хватит Spark, для публичного продукта с пиками нагрузки нужна H100.
Характеристики
Открыть в сравнении NVIDIA DGX Spark 128 ГБ |  H100 80 ГБ в облаке | |
|---|---|---|
| Память, ГБ | 128 | 80 |
| Под модель, ГБ (оценка) | 108 | 80 |
| Пропускная способность, ГБ/с | 273 | 3 350 |
| FP4, TFLOPS | 1 000 | — |
| Мощность, Вт | 240 | 700 |
| Форм-фактор | Настольный | Облако |
| Цена покупки | 699 000 ₽ | — |
| Аренда в месяц | 49 000 ₽ | 180 000 ₽ |
| ГБ на 1 000 ₽ аренды | 2,61 | 0,44 |
| Примечания | Модели 70B–120B помещаются целиком благодаря 128 ГБ единой памяти; Аренда — 49 000 ₽/мес; покупка — от 699 тыс. ₽ | Память HBM3 — 3,35 ТБ/с: одиночный запрос обрабатывается многократно быстрее, годится для продакшена; ≈180 000 ₽ в месяц, если работает 24/7 (~250 ₽/ч); данные лежат у облачного провайдера; FP8 ≈ 1 979 TFLOPS, FP4 не поддерживается |
Отличия подсвечены. «Под модель» — сколько памяти остаётся под веса и контекст за вычетом системы или лимита видеопамяти.
Какие модели влезают
Расчёт под свою модельВ одну H100 при типовых настройках помещаются 17 моделей каталога из 32, в Spark — 22: сверх карты он берёт Qwen3-Coder-Next 80B-A3B, Qwen3-Next 80B-A3B, Mixtral 8x22B. Чтобы запустить их на H100, нужны две карты или более сильное квантование. Для моделей, которым мало одного Spark, есть кластер: две машины вмещают 26 моделей.
Типовой квант и контекст каждой модели, одно устройство: под модель 108 и 80 ГБ.
Только в DGX Spark
- Qwen3-Coder-Next 80B-A3B ≈ 93,5 ГБ
- Qwen3-Next 80B-A3B ≈ 92,8 ГБ
- Mixtral 8x22B ≈ 91,6 ГБ
- DeepSeek-R1-Distill-Llama 70B ≈ 83,1 ГБ
- Llama 3.3 70B ≈ 83,1 ГБ
Когда выбрать DGX Spark
- Нагрузка постоянная, но умеренная: внутренний ассистент, RAG по документам, разработка и тесты.
- Модели на 70B в 8 битах без деления между картами.
- Нужна фиксированная цена в рублях, договор и акт вместо почасового счёта.
- Данные не должны лежать в общем облаке: Spark выделен вам целиком, без соседей.
Когда выбрать H100
- Публичный сервис, где одновременно идут десятки запросов и важна задержка.
- Нагрузка эпизодическая: облачную карту включают на несколько часов и выключают.
- Обучение с нуля или дообучение больших моделей, где решают вычисления и HBM.
Стоимость: аренда или покупка
Посчитать в калькулятореКруглосуточная H100 в облаке обходится примерно в 180 000 ₽ в месяц — в 3,7 раза дороже аренды Spark за 49 000 ₽. Но облако оплачивается по часам: месяц Spark стоит столько же, сколько около 196 ч работы H100 по ~250 ₽. Если карта нужна меньше этого, облако выгоднее; если модель работает каждый день, выгоднее Spark.
Вопросы
Можно ли заменить H100 на DGX Spark?
Для разработки, тестов и внутренних сервисов с небольшой нагрузкой — да, тем более что памяти у Spark больше. Для продакшена с десятками одновременных пользователей — нет: память H100 работает в 12,3 раза быстрее, и параллельных запросов она держит намного больше.
Сколько стоит H100 в облаке в месяц?
Около 180 000 ₽ при работе 24/7, это примерно 250 ₽ в час. Аренда DGX Spark — 49 000 ₽ в месяц за выделенное устройство целиком.
Влезет ли Llama 3.3 70B в одну H100?
В 8 битах с контекстом — нет, ей нужно больше 80 ГБ; в 4 битах — да. В Spark она помещается и в 8 битах.
Где хранятся данные?
Облачная H100 работает в виртуальной машине на инфраструктуре провайдера. DGX Spark — физическое устройство в московском дата-центре, доступ к которому по SSH есть только у вас.
Другие сравнения
Все аналоги DGX Spark- DGX Spark или Ryzen AI Max+ 395: что выбрать для LLM128 и 128 ГБ · 273 и 256 ГБ/с
- DGX Spark или Mac Studio M3 Ultra: что выбрать для LLM128 и 256 ГБ · 273 и 819 ГБ/с
- DGX Spark и ASUS Ascent GX10: в чём разница128 и 128 ГБ · 273 и 273 ГБ/с
- DGX Spark или RTX 5090: что выбрать для LLM128 и 32 ГБ · 273 и 1 792 ГБ/с
- DGX Spark 128 ГБ или 64 ГБ: какую версию выбрать128 и 64 ГБ · 273 и 273 ГБ/с