Сервер для Llama Nemotron Ultra 253B
NVIDIA · 253 млрд параметров · плотная модель
Llama Nemotron Ultra 253B — плотная модель NVIDIA на 253 млрд параметров: на каждый токен работают все веса, поэтому и объём памяти, и скорость генерации зависят от полного размера модели. Если веса не помещаются в одну видеокарту, модель приходится делить между несколькими GPU — или запускать на выделенном сервере с большой единой памятью, где запросы и данные остаются внутри вашей инфраструктуры.
В типовой конфигурации — квантование int4, контекст 32K токенов — нужно около 155,1 ГБ: веса 126,5 ГБ, KV-кэш 9,6 ГБ, служебный запас 19 ГБ. Одного NVIDIA DGX Spark 128 ГБ не хватит: понадобится кластер из 2 узлов по ~108 ГБ, связанных ConnectX-7. Кластер добавляет память, но не ускоряет одиночный запрос; другой путь — более сильное квантование в таблице ниже.
Типовые настройки
2 узлаint4, контекст 32K; узел — NVIDIA DGX Spark 128 ГБ, ~108 ГБ под модель.
Что арендовать
3 900 ₽ в сутки · 49 000 ₽ в месяц за узел, без НДС
Кластер 2 узла по ConnectX-7 рассчитываем индивидуально.
Память по квантованию
Свой квант и контекстКонтекст 32K токенов, узел — ~108 ГБ под модель.
| Квант | Нужно ГБ | Узлов |
|---|---|---|
| fp8 | 300,6 ГБ | 3 узла |
| int8 | 300,6 ГБ | 3 узла |
| q6_k | 248,2 ГБ | 3 узла |
| q5_k_m | 216,2 ГБ | 3 узла |
| q4_k_m | 184,2 ГБ | 2 узла |
| int4типовой | 155,1 ГБ | 2 узла |
| q3_k_m | 152,2 ГБ | 2 узла |
| q2_k | 131,8 ГБ | 2 узла |