Сервер для Llama 3.1 405B

Llama 3.1 405B — плотная модель Meta* на 405 млрд параметров: на каждый токен работают все веса, поэтому и объём памяти, и скорость генерации зависят от полного размера модели. Если веса не помещаются в одну видеокарту, модель приходится делить между несколькими GPU — или запускать на выделенном сервере с большой единой памятью, где запросы и данные остаются внутри вашей инфраструктуры.

В типовой конфигурации — квантование int4, контекст 8K токенов — нужно около 236,9 ГБ: веса 202,5 ГБ, KV-кэш 4 ГБ, служебный запас 30,4 ГБ. Одного NVIDIA DGX Spark 128 ГБ не хватит: понадобится кластер из 3 узлов по ~108 ГБ, связанных ConnectX-7. Кластер добавляет память, но не ускоряет одиночный запрос; другой путь — более сильное квантование в таблице ниже.