Сервер для GLM-4.5-Air 106B-A12B

GLM-4.5-Air 106B-A12B — модель Zhipu с архитектурой Mixture-of-Experts: в памяти держатся все 106 млрд параметров, а на каждый токен включаются примерно 12 млрд. Памяти нужно как под крупную модель, зато генерация быстрее, чем у плотной модели того же объёма, — поэтому главный параметр сервера для неё объём памяти, а не число GPU. На выделенном сервере с достаточным объёмом памяти такая модель работает внутри вашей инфраструктуры: запросы и данные компании её не покидают.

В типовой конфигурации — квантование int4, контекст 32K токенов — нужно около 67,4 ГБ: веса 53 ГБ, KV-кэш 6,4 ГБ, служебный запас 7,9 ГБ. Это укладывается в один NVIDIA DGX Spark 128 ГБ: под модель там около 108 ГБ, занято примерно 62 %. Остаток уходит на длинный контекст и параллельные запросы пользователей; модель запускается через vLLM, llama.cpp или Ollama с OpenAI-совместимым API, а скорость на своей задаче можно проверить за сутки аренды, не покупая оборудование.