SparkHost

DGX Spark vs 2× RTX 3090: что выбрать для LLM

NVIDIA DGX Spark 128 ГБ · Рабочая станция с 2× RTX 3090

Две карты дают 48 ГБ и память в 3,4 раза быстрее — это модели до 32B; gpt-oss-120b, 70B в 8 битах и MoE на 80B+ помещаются только в Spark.

Арендовать NVIDIA DGX Spark 128 ГБ — 49 990 ₽/мес

Без НДС · 1 узел на месяц, сразу в корзину · Подробнее о сервере

Две RTX 3090 — известная сборка для локальных LLM: 48 ГБ видеопамяти на двоих, и каждая карта читает свою память в 3,4 раза быстрее, чем DGX Spark. Скорость генерации упирается как раз в чтение памяти, так что на моделях, которые помещаются в эти 48 ГБ, у сборки потолок выше. Spark берёт объёмом — около 108 ГБ под одну модель без деления между картами — и потреблением: до 240 Вт на всё устройство против 700 Вт только у двух карт.

Характеристики

Открыть в сравнении
NVIDIA DGX Spark 128 ГБРабочая станция с 2× RTX 3090
Память, ГБ12848
Под модель, ГБ (оценка)10848
Пропускная способность, ГБ/с273936
Накопитель, ТБ4—
FP4, TFLOPS1 000—
Мощность, Вт240700
Форм-факторНастольныйРабочая станция
Цена покупки699 000 ₽—
Аренда в месяц49 990 ₽—
ГБ на 1 000 ₽ аренды2,56—
ПримечанияМодели 70B–120B помещаются целиком благодаря 128 ГБ единой памяти; Аренда — 49 990 ₽/мес; покупка — от 699 тыс. ₽Две карты по 24 ГБ GDDR6X — 48 ГБ на двоих; каждая читает свою память на 936 ГБ/с (NVIDIA, архитектура GA102); Модель делится между картами по PCIe или мостику NVLink; FP8 и FP4 на тензорных ядрах Ampere нет; Мощность — только две карты, по 350 Вт; карты вышли в 2020 году по $1 499, цену покупки не приводим — она зависит от продавца и состояния

Отличия подсвечены. «Под модель» — сколько памяти остаётся под веса и контекст за вычетом системы или лимита видеопамяти.

Какие модели влезают

Расчёт под свою модель

Из 32 моделей каталога в две RTX 3090 при типовых настройках помещаются 11, в Spark — 22. Только Spark вмещает 11 моделей, самые крупные из них — Qwen3-Coder-Next 80B-A3B, Qwen3-Next 80B-A3B, Mixtral 8x22B. Llama 3.3 70B в 4 битах в 48 ГБ войдёт, но контекст придётся ограничить; в Spark её запускают в 8 битах. Если тесно и одному Spark, два узла через ConnectX-7 вмещают 26 моделей.

22 из 32
моделей каталога в DGX Spark
11 из 32
моделей каталога в 2× RTX 3090

Типовой квант и контекст каждой модели, одно устройство: под модель 108 и 48 ГБ.

Только в DGX Spark

Когда выбрать DGX Spark

  • Нужны модели больше 40 ГБ: gpt-oss-120b, 70B в 8 битах, MoE на 80–120 млрд параметров.
  • Не хочется собирать и обслуживать станцию на двух трёхслотовых картах: плата с двумя слотами PCIe, мощный блок питания, охлаждение.
  • Нужны современные форматы: FP8 и FP4 на тензорных ядрах Blackwell, которых у Ampere нет.
  • Сервер в дата-центре нужен на месяц-другой: аренда — 49 990 ₽ в месяц.

Когда выбрать 2× RTX 3090

  • Модели до 32B в 4–8 битах, где важна скорость ответа одному пользователю.
  • Карты уже есть или вы собираете станцию сами и готовы её обслуживать.
  • Кроме LLM нужны игры, рендер или генерация изображений на той же машине.

Стоимость: аренда или покупка

Посчитать в калькуляторе
49 990 ₽
Аренда DGX Spark в месяц
уточняйте у продавца
Покупка 2× RTX 3090
6 месяцев
Окупаемость покупки DGX Spark
перепродажа 60 %, электричество 1 500 ₽/мес

Цену покупки сборки мы не приводим: RTX 3090 вышли в 2020 году по $1 499 за Founders Edition, и сейчас цена зависит от продавца и состояния карт, а к ним нужны плата с двумя слотами PCIe, блок питания и корпус. Для сравнения: Spark в аренде — 49 990 ₽ в месяц, в покупке — от 699 000 ₽, и при перепродаже за 60 % и электричестве 1 500 ₽ в месяц покупка окупается против аренды через 6 месяцев. Учтите и счёт за электричество: две карты под нагрузкой берут до 700 Вт, Spark целиком — до 240 Вт.

Вопросы

Что быстрее для LLM: две RTX 3090 или DGX Spark?

Память каждой RTX 3090 работает на 936 ГБ/с, у Spark — на 273 ГБ/с, поэтому на моделях до 48 ГБ потолок скорости генерации выше у сборки. Замеров обеих систем одной методикой мы не нашли и чисел не приводим. Модели крупнее 48 ГБ в карты не помещаются без выгрузки в оперативную память, и там сравнение уже не в их пользу.

Нужен ли NVLink для двух RTX 3090?

Нет: llama.cpp, vLLM и другие движки делят модель между картами и по PCIe. Мостик NVLink у RTX 3090 есть и ускоряет обмен между картами, но памяти не добавляет — каждая по-прежнему работает со своими 24 ГБ.

Влезет ли Llama 3.3 70B в 48 ГБ?

В 4 битах — впритык: весам и кэшу на 8 тысяч токенов нужно около 43 ГБ, так что на длинный контекст места почти нет. В 8 битах — нет, ей нужно больше 80 ГБ. В Spark она помещается и в 8 битах.

Сколько потребляет сборка на двух RTX 3090?

По спецификации NVIDIA каждая карта берёт до 350 Вт, то есть 700 Вт на две, плюс процессор и остальная платформа; уже для системы с одной картой NVIDIA рекомендует блок питания от 750 Вт. Spark потребляет до 240 Вт целиком, а в аренде электричество и охлаждение берёт на себя дата-центр.

Другие сравнения

Все аналоги DGX Spark
52 490 ₽ с НДС
NVIDIA DGX Spark 128 ГБ · месяц
СравнитьАрендовать DGX Spark