Сервер для Kimi K2 1T-A32B

Kimi K2 1T-A32B — модель Moonshot с архитектурой Mixture-of-Experts: в памяти держатся все 1000 млрд параметров, а на каждый токен включаются примерно 32 млрд. Памяти нужно как под крупную модель, зато генерация быстрее, чем у плотной модели того же объёма, — поэтому главный параметр сервера для неё объём памяти, а не число GPU. На выделенном сервере с достаточным объёмом памяти такая модель работает внутри вашей инфраструктуры: запросы и данные компании её не покидают.

В типовой конфигурации — квантование int4, контекст 32K токенов — нужно около 584,6 ГБ: веса 500 ГБ, KV-кэш 9,6 ГБ, служебный запас 75 ГБ. Даже кластер из 4 узлов NVIDIA DGX Spark 128 ГБ её не вместит — посмотрите варианты с более сильным квантованием ниже или напишите нам, подберём другое железо.