DGX Spark или RTX 5090: что выбрать для LLM
NVIDIA DGX Spark 128 ГБ · Рабочая станция с RTX 5090
RTX 5090 читает память в 6,6 раза быстрее DGX Spark, но её 32 ГБ хватает только небольшим моделям. Spark медленнее на каждом токене, зато вмещает модели на 70–120 млрд параметров целиком. Правило простое: модель вместе с контекстом помещается в 32 ГБ — быстрее будет карта, не помещается — Spark.
Характеристики
Открыть в сравнении NVIDIA DGX Spark 128 ГБ |  Рабочая станция с RTX 5090 | |
|---|---|---|
| Память, ГБ | 128 | 32 |
| Под модель, ГБ (оценка) | 108 | 32 |
| Пропускная способность, ГБ/с | 273 | 1 792 |
| FP4, TFLOPS | 1 000 | 3 352 |
| Мощность, Вт | 240 | 800 |
| Форм-фактор | Настольный | Рабочая станция |
| Цена покупки | 699 000 ₽ | 450 000 ₽ |
| Аренда в месяц | 49 000 ₽ | — |
| ГБ на 1 000 ₽ аренды | 2,61 | — |
| Примечания | Модели 70B–120B помещаются целиком благодаря 128 ГБ единой памяти; Аренда — 49 000 ₽/мес; покупка — от 699 тыс. ₽ | Пока модель умещается в 32 ГБ, генерирует быстрее: видеопамять 1,79 ТБ/с, у Spark — 273 ГБ/с; Около 300 000 ₽ за видеокарту и ~150 000 ₽ за остальную платформу; один GPU потребляет 575 Вт; 70B и крупнее не запустить без выгрузки части весов в RAM |
Отличия подсвечены. «Под модель» — сколько памяти остаётся под веса и контекст за вычетом системы или лимита видеопамяти.
Скорость генерации
Замеры из открытых источников. В строке — только результаты, снятые одной методикой на обеих машинах: тот же движок, модель, квант и нагрузка. Основное число — скорость генерации, токенов в секунду; ниже — скорость обработки промпта; источник и дата — в каждой строке. Где под числом стоит «вход + выход», это другая метрика: суммарная пропускная способность при параллельных запросах, входные и выходные токены вместе, — сравнивать её можно только внутри строки.
Какие модели влезают
Расчёт под свою модельИз 32 моделей каталога в RTX 5090 при типовых настройках умещаются 3, в Spark — 22. Разница — 19 моделей, среди них Qwen3-Coder-Next 80B-A3B, Qwen3-Next 80B-A3B, Mixtral 8x22B. На карте их можно запустить, выгрузив часть слоёв в оперативную память компьютера, но тогда скорость задаёт уже обычная RAM, и преимущество GDDR7 пропадает.
Типовой квант и контекст каждой модели, одно устройство: под модель 108 и 32 ГБ.
Только в DGX Spark
- Qwen3-Coder-Next 80B-A3B ≈ 93,5 ГБ
- Qwen3-Next 80B-A3B ≈ 92,8 ГБ
- Mixtral 8x22B ≈ 91,6 ГБ
- DeepSeek-R1-Distill-Llama 70B ≈ 83,1 ГБ
- Llama 3.3 70B ≈ 83,1 ГБ
- gpt-oss-120b ≈ 73,7 ГБ
- Mistral Large 123B ≈ 73,4 ГБ
- Llama 4 Scout 109B-A17B ≈ 68,4 ГБ
- GLM-4.5-Air 106B-A12B ≈ 67,4 ГБ
- Llama Nemotron Super 49B ≈ 65,9 ГБ
- Mistral Small 24B ≈ 60,3 ГБ
- Qwen2.5-Coder 32B ≈ 45,4 ГБ
- Qwen3-Coder 30B-A3B ≈ 41,1 ГБ
- Qwen3 14B ≈ 39,2 ГБ
- Qwen3 32B ≈ 38,8 ГБ
- Phi-4 14B ≈ 37 ГБ
- Qwen3 30B-A3B ≈ 35,5 ГБ
- Gemma 3 27B ≈ 32,7 ГБ
- Gemma 3 12B ≈ 32,4 ГБ
Когда выбрать DGX Spark
- Модель крупнее 30 млрд параметров или нужен контекст на десятки тысяч токенов.
- В памяти должны жить сразу несколько моделей — например, LLM, эмбеддинги и реранкер для RAG.
- Не хочется собирать и обслуживать станцию на 800 Вт: Spark потребляет до 240 Вт и стоит в дата-центре.
- Нужен пилот на неделю-месяц без покупки железа.
Когда выбрать RTX 5090
- Модели до 30B в 4-битном кванте, где важнее всего скорость ответа.
- Генерация изображений и видео: там решают вычисления, а не объём памяти.
- Компьютер уже есть, и карта встаёт в него без новой платформы.
Стоимость: аренда или покупка
Посчитать в калькулятореРабочая станция с RTX 5090 обойдётся примерно в 450 000 ₽ — столько же стоят ≈9,2 мес. аренды Spark. Покупка самого Spark — от 699 000 ₽; при перепродаже за 60 % и электричестве 1 500 ₽ в месяц она окупается против аренды через 6 месяцев. Для станции учтите и счёт за электричество: под нагрузкой она тянет до 800 Вт.
Вопросы
Что быстрее: RTX 5090 или DGX Spark?
На моделях, которые помещаются в 32 ГБ, быстрее RTX 5090: её память работает на 1 792 ГБ/с против 273 ГБ/с у Spark, и в замерах LMSYS в Ollama карта генерирует в 3,4–6,2 раза быстрее. Модели крупнее карта либо не запускает, либо работает с выгрузкой в RAM, и сравнение уже не в её пользу. Цифры и источники — в таблице «Скорость генерации».
Запустится ли Llama 3.3 70B на RTX 5090?
Целиком — нет: даже в 4 битах ей нужно больше 32 ГБ. Варианты — несколько карт, выгрузка слоёв в RAM или устройство с большой памятью вроде Spark, где она помещается с запасом под контекст.
А если поставить две RTX 5090?
Две карты дают 64 ГБ, и 70B в 4 битах в них поместится. Но понадобится платформа с двумя полноразмерными слотами и мощный блок питания, а модель придётся делить между картами через PCIe — NVLink у потребительских карт нет.
Что дешевле в эксплуатации?
Spark потребляет до 240 Вт, станция с RTX 5090 — до 800 Вт. В аренде электричество, охлаждение и обслуживание — забота дата-центра, вы платите 49 000 ₽ в месяц.
Другие сравнения
Все аналоги DGX Spark- DGX Spark или Ryzen AI Max+ 395: что выбрать для LLM128 и 128 ГБ · 273 и 256 ГБ/с
- DGX Spark или Mac Studio M3 Ultra: что выбрать для LLM128 и 256 ГБ · 273 и 819 ГБ/с
- DGX Spark и ASUS Ascent GX10: в чём разница128 и 128 ГБ · 273 и 273 ГБ/с
- DGX Spark или H100: что выбрать для LLM128 и 80 ГБ · 273 и 3 350 ГБ/с
- DGX Spark 128 ГБ или 64 ГБ: какую версию выбрать128 и 64 ГБ · 273 и 273 ГБ/с