Сервер для Command A 111B

Command A 111B — плотная модель Cohere на 111 млрд параметров: на каждый токен работают все веса, поэтому и объём памяти, и скорость генерации зависят от полного размера модели. Если веса не помещаются в одну видеокарту, модель приходится делить между несколькими GPU — или запускать на выделенном сервере с большой единой памятью, где запросы и данные остаются внутри вашей инфраструктуры.

В типовой конфигурации — квантование fp8, контекст 32K токенов — нужно около 137,3 ГБ: веса 111 ГБ, KV-кэш 9,6 ГБ, служебный запас 16,6 ГБ. Одного NVIDIA DGX Spark 128 ГБ не хватит: понадобится кластер из 2 узлов по ~108 ГБ, связанных ConnectX-7. Кластер добавляет память, но не ускоряет одиночный запрос; другой путь — более сильное квантование в таблице ниже.