Сервер для Qwen2.5-Coder 32B

Qwen2.5-Coder 32B — плотная модель Qwen на 32.5 млрд параметров: на каждый токен работают все веса, поэтому и объём памяти, и скорость генерации зависят от полного размера модели. Если веса не помещаются в одну видеокарту, модель приходится делить между несколькими GPU — или запускать на выделенном сервере с большой единой памятью, где запросы и данные остаются внутри вашей инфраструктуры.

В типовой конфигурации — квантование fp8, контекст 32K токенов — нужно около 45,4 ГБ: веса 32,5 ГБ, KV-кэш 8 ГБ, служебный запас 4,9 ГБ. Это укладывается в один NVIDIA DGX Spark 128 ГБ: под модель там около 108 ГБ, занято примерно 42 %. Остаток уходит на длинный контекст и параллельные запросы пользователей; модель запускается через vLLM, llama.cpp или Ollama с OpenAI-совместимым API, а скорость на своей задаче можно проверить за сутки аренды, не покупая оборудование.