Сервер для GLM-4.5 355B-A32B

GLM-4.5 355B-A32B — модель Zhipu с архитектурой Mixture-of-Experts: в памяти держатся все 355 млрд параметров, а на каждый токен включаются примерно 32 млрд. Памяти нужно как под крупную модель, зато генерация быстрее, чем у плотной модели того же объёма, — поэтому главный параметр сервера для неё объём памяти, а не число GPU. На выделенном сервере с достаточным объёмом памяти такая модель работает внутри вашей инфраструктуры: запросы и данные компании её не покидают.

В типовой конфигурации — квантование int4, контекст 32K токенов — нужно около 213,7 ГБ: веса 177,5 ГБ, KV-кэш 9,6 ГБ, служебный запас 26,6 ГБ. Одного NVIDIA DGX Spark 128 ГБ не хватит: понадобится кластер из 2 узлов по ~108 ГБ, связанных ConnectX-7. Кластер добавляет память, но не ускоряет одиночный запрос; другой путь — более сильное квантование в таблице ниже.