Сервер для Qwen3-Next 80B-A3B
Qwen · 80 млрд параметров, из них 3 млрд активных · MoE
Qwen3-Next 80B-A3B — модель Qwen с архитектурой Mixture-of-Experts: в памяти держатся все 80 млрд параметров, а на каждый токен включаются примерно 3 млрд. Памяти нужно как под крупную модель, зато генерация быстрее, чем у плотной модели того же объёма, — поэтому главный параметр сервера для неё объём памяти, а не число GPU. На выделенном сервере с достаточным объёмом памяти такая модель работает внутри вашей инфраструктуры: запросы и данные компании её не покидают.
В типовой конфигурации — квантование fp8, контекст 32K токенов — нужно около 92,8 ГБ: веса 80 ГБ, KV-кэш 0,8 ГБ, служебный запас 12 ГБ. Это укладывается в один NVIDIA DGX Spark 128 ГБ: под модель там около 108 ГБ, занято примерно 86 %. Остаток уходит на длинный контекст и параллельные запросы пользователей; модель запускается через vLLM, llama.cpp или Ollama с OpenAI-совместимым API, а скорость на своей задаче можно проверить за сутки аренды, не покупая оборудование.
Типовые настройки
1 узелfp8, контекст 32K; узел — NVIDIA DGX Spark 128 ГБ, ~108 ГБ под модель.
Что арендовать
3 900 ₽ в сутки · 49 000 ₽ в месяц за узел, без НДС
Скорость на DGX Spark
Опубликованные замеры NVIDIA, авторов движков, обзоров и сообщества — не наши: у каждой строки ссылка на источник и дата. Генерация — токенов в секунду в ответе; при нескольких параллельных запросах — суммарно по всем. Обработка промпта — скорость чтения входного текста, от неё зависит задержка до первого токена.
- vLLM nightlypp2048/tg32 @ depth 0
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8 (Qwen)
- Запросов
- 1
- Генерация, ток/с
- 45
- Промпт, ток/с
- 3 078
- Источник
- forums.developer.nvidia.com6 янв. 2026 г.
- vLLM (nvcr.io/nvidia/vllm:25.12.post1-py3)ShareGPT
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8
- Запросов
- 1
- Генерация, ток/с
- 43
- Промпт, ток/с
- —
- Источник
- forums.developer.nvidia.com16 янв. 2026 г.
- vLLM nightly
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8 (Qwen)
- Запросов
- 1
- Генерация, ток/с
- 43
- Промпт, ток/с
- —
- Источник
- forums.developer.nvidia.com30 дек. 2025 г.
- vLLM nightly + FlashInfer 0.6.0rc2
- Конфигурация
- 1 × DGX Spark
- Квант
- NVFP4 (RESMP-DEV)
- Запросов
- 1
- Генерация, ток/с
- 35
- Промпт, ток/с
- —
- Источник
- forums.developer.nvidia.com31 дек. 2025 г.
Длинный контекст и параллельные запросы — ещё 4 замера
- vLLM nightlypp2048/tg32 @ depth 32768
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8 (Qwen)
- Запросов
- 1
- Генерация, ток/с
- 38
- Промпт, ток/с
- 196
- Источник
- forums.developer.nvidia.com6 янв. 2026 г.
- vLLM (nvcr.io/nvidia/vllm:25.12.post1-py3)ShareGPT
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8
- Запросов
- 4
- Генерация, ток/с
- 88
- Промпт, ток/с
- —
- Источник
- forums.developer.nvidia.com16 янв. 2026 г.
- vLLM (nvcr.io/nvidia/vllm:25.12.post1-py3)ShareGPT
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8
- Запросов
- 16
- Генерация, ток/с
- 136
- Промпт, ток/с
- —
- Источник
- forums.developer.nvidia.com16 янв. 2026 г.
- vLLM (nvcr.io/nvidia/vllm:25.12.post1-py3)ShareGPT
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8
- Запросов
- 64
- Генерация, ток/с
- 137
- Промпт, ток/с
- —
- Источник
- forums.developer.nvidia.com16 янв. 2026 г.
Разброс между источниками нормален: скорость зависит от версии движка, кванта, длины контекста и профиля теста. Строка с «depth» — замер на уже заполненном контексте.
Как запустить на DGX Spark
Готовые команды для сервера с DGX OS: выполняются по SSH под пользователем с доступом к Docker. Образы и теги со временем обновляются — перед запуском сверьте версию на странице источника. Как подключиться к серверу
Ollama
Q4_K_Mplaybook NVIDIAзагрузка ≈50 ГБУстановка — по playbook NVIDIA; тег модели — из библиотеки Ollama: в playbook его нет, проверку на Spark NVIDIA для него не заявляет. github.com/NVIDIA/dgx-spark-playbooks · обновлено 12 окт. 2025 г.
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3-next:80b
ollama run qwen3-next:80bvLLM
FP8по данным сообществаФлаги — из замеров участника форума NVIDIA; кэш префиксов для гибридной архитектуры Qwen3-Next в vLLM не работает. forums.developer.nvidia.com · обновлено 30 дек. 2025 г.
docker run -d --name vllm --gpus all -p 127.0.0.1:8000:8000 \
-e HF_TOKEN=$HF_TOKEN \
-v ~/.cache/huggingface:/root/.cache/huggingface \
nvcr.io/nvidia/vllm:26.05.post1-py3 \
vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct-FP8 \
--max-model-len 131072 --gpu-memory-utilization 0.7 \
--load-format fastsafetensors
docker logs -f vllmllama.cpp
GGUFplaybook NVIDIAКоманда — из playbook NVIDIA, модель подставлена по её официальной карточке. Сборка llama.cpp под GB10 (sm_121) по playbook NVIDIA, около 5–10 минут; GGUF скачивается с Hugging Face при первом запуске. build.nvidia.com · обновлено 9 окт. 2026 г.
sudo apt install -y git clang cmake libcurl4-openssl-dev libssl-dev
git clone https://github.com/ggml-org/llama.cpp ~/llama.cpp && cd ~/llama.cpp
cmake -B build -DGGML_NATIVE=ON -DGGML_CUDA=ON -DGGML_CURL=ON -DGGML_RPC=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j
./build/bin/llama-server -hf ggml-org/Qwen3-Next-80B-A3B-Instruct-GGUF --host 0.0.0.0 --port 30000 --ctx-size 32768Системные требования Qwen3-Next 80B-A3B
- Память под модель
- ≈92,8 ГБ в fp8 с контекстом 32K (из них веса — 80 ГБ)
- Минимум
- ≈45,8 ГБ в q3_k_m, с потерей качества
- DGX Spark 128 ГБ
- Хватает одного узла, занято ≈86 %. Под модель на узле — около 108 ГБ.
- DGX Spark 64 ГБ
- Нужен кластер из 2 узлов. Под модель на узле — около 48 ГБ.
- Размер в Ollama
- 50 ГБ — тег qwen3-next:80b
- Программы
- DGX OS 7.5.0 (Ubuntu 24.04), CUDA 13.0.2, драйвер 580.159.03; Docker с NVIDIA Container Toolkit — уже на сервере
Наша оценка: веса × байт на параметр × 1.15 (активации и рантайм) + KV-кэш под контекст. Реальный расход зависит от движка и числа параллельных запросов.
Память по квантованию
Свой квант и контекстКонтекст 32K токенов, узел — ~108 ГБ под модель.
| Квант | Нужно ГБ | Узлов |
|---|---|---|
| fp16 | 184,8 ГБ | 2 узла |
| fp8типовой | 92,8 ГБ | 1 узел |
| int8 | 92,8 ГБ | 1 узел |
| q6_k | 76,2 ГБ | 1 узел |
| q5_k_m | 66,1 ГБ | 1 узел |
| q4_k_m | 56 ГБ | 1 узел |
| int4 | 46,8 ГБ | 1 узел |
| q3_k_m | 45,8 ГБ | 1 узел |