Сервер для Qwen3-Coder 30B-A3B
Qwen · 30.5 млрд параметров, из них 3.3 млрд активных · MoE
Qwen3-Coder 30B-A3B — модель Qwen с архитектурой Mixture-of-Experts: в памяти держатся все 30.5 млрд параметров, а на каждый токен включаются примерно 3.3 млрд. Памяти нужно как под крупную модель, зато генерация быстрее, чем у плотной модели того же объёма, — поэтому главный параметр сервера для неё объём памяти, а не число GPU. На выделенном сервере с достаточным объёмом памяти такая модель работает внутри вашей инфраструктуры: запросы и данные компании её не покидают.
В типовой конфигурации — квантование fp8, контекст 64K токенов — нужно около 41,1 ГБ: веса 30,5 ГБ, KV-кэш 6 ГБ, служебный запас 4,6 ГБ. Это укладывается в один NVIDIA DGX Spark 128 ГБ: под модель там около 108 ГБ, занято примерно 38 %. Остаток уходит на длинный контекст и параллельные запросы пользователей; модель запускается через vLLM, llama.cpp или Ollama с OpenAI-совместимым API, а скорость на своей задаче можно проверить за сутки аренды, не покупая оборудование.
Типовые настройки
1 узелfp8, контекст 64K; узел — NVIDIA DGX Spark 128 ГБ, ~108 ГБ под модель.
Что арендовать
3 900 ₽ в сутки · 49 000 ₽ в месяц за узел, без НДС
Скорость на DGX Spark
Опубликованные замеры NVIDIA, авторов движков, обзоров и сообщества — не наши: у каждой строки ссылка на источник и дата. Генерация — токенов в секунду в ответе; при нескольких параллельных запросах — суммарно по всем. Обработка промпта — скорость чтения входного текста, от неё зависит задержка до первого токена.
- llama.cppb7941 (11fb327bf)pp2048/tg32 @ depth 0
- Конфигурация
- 1 × DGX Spark
- Квант
- Q8_0
- Запросов
- 1
- Генерация, ток/с
- 61
- Промпт, ток/с
- 2 987
- Источник
- github.com/ggml-org/llama.cpp5 февр. 2026 г.
- llama.cppb7941 (11fb327bf)prompt 4096 + 32 gen
- Конфигурация
- 1 × DGX Spark
- Квант
- Q8_0
- Запросов
- 1
- Генерация, ток/с
- 54
- Промпт, ток/с
- —
- Источник
- github.com/ggml-org/llama.cpp5 февр. 2026 г.
- vLLMvLLM output throughput
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8
- Запросов
- 1
- Генерация, ток/с
- 47
- Промпт, ток/с
- —
- Источник
- storagereview.com14 окт. 2025 г.
- vLLMvLLM output throughput
- Конфигурация
- 1 × DGX Spark
- Квант
- BF16
- Запросов
- 1
- Генерация, ток/с
- 28
- Промпт, ток/с
- —
- Источник
- storagereview.com14 окт. 2025 г.
Длинный контекст и параллельные запросы — ещё 5 замеров
- llama.cppb7941 (11fb327bf)pp2048/tg32 @ depth 32768
- Конфигурация
- 1 × DGX Spark
- Квант
- Q8_0
- Запросов
- 1
- Генерация, ток/с
- 30
- Промпт, ток/с
- 1 348
- Источник
- github.com/ggml-org/llama.cpp5 февр. 2026 г.
- llama.cppb7941 (11fb327bf)prompt 4096 + 32 gen
- Конфигурация
- 1 × DGX Spark
- Квант
- Q8_0
- Запросов
- 8
- Генерация, ток/с
- 120
- Промпт, ток/с
- —
- Источник
- github.com/ggml-org/llama.cpp5 февр. 2026 г.
- llama.cppb7941 (11fb327bf)prompt 4096 + 32 gen
- Конфигурация
- 1 × DGX Spark
- Квант
- Q8_0
- Запросов
- 32
- Генерация, ток/с
- 217
- Промпт, ток/с
- —
- Источник
- github.com/ggml-org/llama.cpp5 февр. 2026 г.
- vLLMvLLM output throughput
- Конфигурация
- 1 × DGX Spark
- Квант
- FP8
- Запросов
- 64
- Генерация, ток/с
- 483
- Промпт, ток/с
- —
- Источник
- storagereview.com14 окт. 2025 г.
- vLLMvLLM output throughput
- Конфигурация
- 1 × DGX Spark
- Квант
- BF16
- Запросов
- 64
- Генерация, ток/с
- 166
- Промпт, ток/с
- —
- Источник
- storagereview.com14 окт. 2025 г.
Разброс между источниками нормален: скорость зависит от версии движка, кванта, длины контекста и профиля теста. Строка с «depth» — замер на уже заполненном контексте.
Как запустить на DGX Spark
Готовые команды для сервера с DGX OS: выполняются по SSH под пользователем с доступом к Docker. Образы и теги со временем обновляются — перед запуском сверьте версию на странице источника. Как подключиться к серверу
Ollama
Q4_K_Mplaybook NVIDIAзагрузка ≈19 ГБУстановка — по playbook NVIDIA; тег модели — из библиотеки Ollama: в playbook его нет, проверку на Spark NVIDIA для него не заявляет. github.com/NVIDIA/dgx-spark-playbooks · обновлено 12 окт. 2025 г.
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3-coder:30b
ollama run qwen3-coder:30bvLLM
FP8playbook NVIDIAКоманда — из playbook NVIDIA, модель подставлена по её официальной карточке. Это прежняя версия playbook, она осталась на GitHub; страница vLLM на build.nvidia.com теперь ведёт на рецепты recipes.vllm.ai и репозиторий сообщества spark-vllm-docker. github.com/NVIDIA/dgx-spark-playbooks · обновлено 12 июн. 2026 г.
docker run -d --name vllm --gpus all -p 127.0.0.1:8000:8000 \
-e HF_TOKEN=$HF_TOKEN \
-v ~/.cache/huggingface:/root/.cache/huggingface \
nvcr.io/nvidia/vllm:26.05.post1-py3 \
vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct-FP8
docker logs -f vllmllama.cpp
Q8_0playbook NVIDIAКоманда — из playbook NVIDIA, модель подставлена по её официальной карточке. Сборка llama.cpp под GB10 (sm_121) по playbook NVIDIA, около 5–10 минут; GGUF скачивается с Hugging Face при первом запуске. build.nvidia.com · обновлено 9 окт. 2026 г.
sudo apt install -y git clang cmake libcurl4-openssl-dev libssl-dev
git clone https://github.com/ggml-org/llama.cpp ~/llama.cpp && cd ~/llama.cpp
cmake -B build -DGGML_NATIVE=ON -DGGML_CUDA=ON -DGGML_CURL=ON -DGGML_RPC=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j
./build/bin/llama-server -hf ggml-org/Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF --host 0.0.0.0 --port 30000 --ctx-size 32768Системные требования Qwen3-Coder 30B-A3B
- Память под модель
- ≈41,1 ГБ в fp8 с контекстом 64K (из них веса — 30,5 ГБ)
- Минимум
- ≈23,2 ГБ в q3_k_m, с потерей качества
- DGX Spark 128 ГБ
- Хватает одного узла, занято ≈38 %. Под модель на узле — около 108 ГБ.
- DGX Spark 64 ГБ
- Хватает одного узла, занято ≈86 %. Под модель на узле — около 48 ГБ.
- Размер в Ollama
- 19 ГБ — тег qwen3-coder:30b
- Программы
- DGX OS 7.5.0 (Ubuntu 24.04), CUDA 13.0.2, драйвер 580.159.03; Docker с NVIDIA Container Toolkit — уже на сервере
Наша оценка: веса × байт на параметр × 1.15 (активации и рантайм) + KV-кэш под контекст. Реальный расход зависит от движка и числа параллельных запросов.
Память по квантованию
Свой квант и контекстКонтекст 64K токенов, узел — ~108 ГБ под модель.
| Квант | Нужно ГБ | Узлов |
|---|---|---|
| fp16 | 76,2 ГБ | 1 узел |
| fp8типовой | 41,1 ГБ | 1 узел |
| int8 | 41,1 ГБ | 1 узел |
| q6_k | 34,8 ГБ | 1 узел |
| q5_k_m | 30,9 ГБ | 1 узел |
| q4_k_m | 27,1 ГБ | 1 узел |
| int4 | 23,6 ГБ | 1 узел |
| q3_k_m | 23,2 ГБ | 1 узел |