Сервер для Qwen3-Coder-Next 80B-A3B
Qwen · 80 млрд параметров, из них 3 млрд активных · MoE
Qwen3-Coder-Next 80B-A3B — модель Qwen с архитектурой Mixture-of-Experts: в памяти держатся все 80 млрд параметров, а на каждый токен включаются примерно 3 млрд. Памяти нужно как под крупную модель, зато генерация быстрее, чем у плотной модели того же объёма, — поэтому главный параметр сервера для неё объём памяти, а не число GPU. На выделенном сервере с достаточным объёмом памяти такая модель работает внутри вашей инфраструктуры: запросы и данные компании её не покидают.
В типовой конфигурации — квантование fp8, контекст 64K токенов — нужно около 93,5 ГБ: веса 80 ГБ, KV-кэш 1,5 ГБ, служебный запас 12 ГБ. Это укладывается в один NVIDIA DGX Spark 128 ГБ: под модель там около 108 ГБ, занято примерно 87 %. Остаток уходит на длинный контекст и параллельные запросы пользователей; модель запускается через vLLM, llama.cpp или Ollama с OpenAI-совместимым API, а скорость на своей задаче можно проверить за сутки аренды, не покупая оборудование.
Типовые настройки
1 узелfp8, контекст 64K; узел — NVIDIA DGX Spark 128 ГБ, ~108 ГБ под модель.
Что арендовать
3 900 ₽ в сутки · 49 000 ₽ в месяц за узел, без НДС
Скорость на DGX Spark
Опубликованные замеры NVIDIA, авторов движков, обзоров и сообщества — не наши: у каждой строки ссылка на источник и дата. Генерация — токенов в секунду в ответе; при нескольких параллельных запросах — суммарно по всем. Обработка промпта — скорость чтения входного текста, от неё зависит задержка до первого токена.
- vLLM0.26.1rc1.dev535
- Конфигурация
- 1 × DGX Spark
- Квант
- 4-bit
- Запросов
- 1
- Генерация, ток/с
- 75
- Промпт, ток/с
- —
- Источник
- forums.developer.nvidia.com10 авг. 2026 г.
- Ollama
- Конфигурация
- 1 × DGX Spark
- Квант
- Q4
- Запросов
- 1
- Генерация, ток/с
- 59
- Промпт, ток/с
- —
- Источник
- forums.developer.nvidia.com10 авг. 2026 г.
Разброс между источниками нормален: скорость зависит от версии движка, кванта, длины контекста и профиля теста. Строка с «depth» — замер на уже заполненном контексте.
Как запустить на DGX Spark
Готовые команды для сервера с DGX OS: выполняются по SSH под пользователем с доступом к Docker. Образы и теги со временем обновляются — перед запуском сверьте версию на странице источника. Как подключиться к серверу
Ollama
Q4_K_Mplaybook NVIDIAзагрузка ≈52 ГБУстановка — по playbook NVIDIA; тег модели — из библиотеки Ollama: в playbook его нет, проверку на Spark NVIDIA для него не заявляет. github.com/NVIDIA/dgx-spark-playbooks · обновлено 12 окт. 2025 г.
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3-coder-next
ollama run qwen3-coder-nextvLLM
INT4 (AutoRound)по данным сообществаГотовый рецепт для одного Spark из репозитория сообщества, на который ссылается и NVIDIA; FP8-вариант там рассчитан на два узла. github.com/eugr/spark-vllm-docker · обновлено 20 окт. 2026 г.
git clone https://github.com/eugr/spark-vllm-docker.git && cd spark-vllm-docker
./run-recipe.sh recipes/qwen3-coder-next-int4-autoround.yaml --solo --setupllama.cpp
GGUFplaybook NVIDIAКоманда — из playbook NVIDIA, модель подставлена по её официальной карточке. Сборка llama.cpp под GB10 (sm_121) по playbook NVIDIA, около 5–10 минут; GGUF скачивается с Hugging Face при первом запуске. build.nvidia.com · обновлено 9 окт. 2026 г.
sudo apt install -y git clang cmake libcurl4-openssl-dev libssl-dev
git clone https://github.com/ggml-org/llama.cpp ~/llama.cpp && cd ~/llama.cpp
cmake -B build -DGGML_NATIVE=ON -DGGML_CUDA=ON -DGGML_CURL=ON -DGGML_RPC=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j
./build/bin/llama-server -hf ggml-org/Qwen3-Coder-Next-GGUF --host 0.0.0.0 --port 30000 --ctx-size 32768Системные требования Qwen3-Coder-Next 80B-A3B
- Память под модель
- ≈93,5 ГБ в fp8 с контекстом 64K (из них веса — 80 ГБ)
- Минимум
- ≈46,6 ГБ в q3_k_m, с потерей качества
- DGX Spark 128 ГБ
- Хватает одного узла, занято ≈87 %. Под модель на узле — около 108 ГБ.
- DGX Spark 64 ГБ
- Нужен кластер из 2 узлов. Под модель на узле — около 48 ГБ.
- Размер в Ollama
- 52 ГБ — тег qwen3-coder-next
- Программы
- DGX OS 7.5.0 (Ubuntu 24.04), CUDA 13.0.2, драйвер 580.159.03; Docker с NVIDIA Container Toolkit — уже на сервере
Наша оценка: веса × байт на параметр × 1.15 (активации и рантайм) + KV-кэш под контекст. Реальный расход зависит от движка и числа параллельных запросов.
Память по квантованию
Свой квант и контекстКонтекст 64K токенов, узел — ~108 ГБ под модель.
| Квант | Нужно ГБ | Узлов |
|---|---|---|
| fp16 | 185,5 ГБ | 2 узла |
| fp8типовой | 93,5 ГБ | 1 узел |
| int8 | 93,5 ГБ | 1 узел |
| q6_k | 77 ГБ | 1 узел |
| q5_k_m | 66,9 ГБ | 1 узел |
| q4_k_m | 56,7 ГБ | 1 узел |
| int4 | 47,5 ГБ | 1 узел |
| q3_k_m | 46,6 ГБ | 1 узел |