Кластер для LLM: DGX Spark, Mac Studio и Ryzen AI Max+ 395
Несколько компьютеров с общей памятью под одну модель: как соединить и чем отличаются платформы
2 × NVIDIA DGX Spark 128 ГБ — 256 ГБ памяти, около 216 ГБ под модели: помещаются 26 из 32 моделей каталога, самая большая — GLM-4.5 355B-A32B.
Без НДС · кластер на ConnectX-7 собираем по заявке · Подробнее о сервере
Кластер — несколько компьютеров, которые вместе держат одну модель: их память складывается, и в неё помещаются LLM на сотни миллиардов параметров. Для локального инференса так объединяют три платформы с общей памятью CPU и GPU: NVIDIA DGX Spark и другие системы на чипе GB10, мини-ПК на AMD Ryzen AI Max+ 395 (Strix Halo) и Apple Mac Studio. Главное различие — чем связаны узлы: у Spark — ConnectX-7 на 200 Гбит/с с RDMA, у Mac — Thunderbolt 5 с RDMA, у мини-ПК AMD — обычный Ethernet или USB4.
Кластер из 2–4 серверов на GB10 можно арендовать у нас. На страницах платформ — как собрать свой кластер, что в него поместится и чем он отличается от остальных.
Платформы
- Кластер DGX Spark: как объединить два и больше узлов
DGX Spark, ASUS Ascent GX10, MSI EdgeXpert, xFusion FusionXpark — GB10 с ConnectX-7 на 200 Гбит/с
Связь: ConnectX-7, QSFP, до 200 Гбит/с · до 8 узлов
- Кластер на Ryzen AI Max+ 395: как объединить мини-ПК Strix Halo
Framework Desktop, Minisforum MS-S1 Max, GMKtec EVO-X2, Beelink GTR9 Pro и другие мини-ПК на Strix Halo
Связь: Ethernet 5/10 GbE, USB4, до 10 Гбит/с · до 4 узлов
- Кластер из Mac Studio: RDMA по Thunderbolt 5 и MLX
Mac Studio M5 Ultra и M5 Max, Mac mini M5 Pro — Thunderbolt 5 с RDMA в macOS 26.2 и новее
Связь: Thunderbolt 5, до 120 Гбит/с · до 4 узлов
Сравнение с кластерами других платформ
Модели — из каталога сайта при типовом кванте и контексте. Цены покупки — на месяц проверки, в валюте источника.
Скорость в таблице не сравнивается: кластеры разных платформ одной методикой не мерили. Замеры каждой платформы — на её странице, с источником и датой.
Вопросы
Зачем кластер, если модель помещается в один узел?
Почти незачем. Кластер добавляет память, а скорость одного запроса растёт медленнее числа узлов; в llama.cpp RPC она может даже упасть. Кластер нужен моделям, которые не помещаются в один узел, и для параллельной обработки большего числа запросов.
Какой кластер выбрать?
Нужны CUDA, vLLM и быстрая сеть — DGX Spark: 200 Гбит/с с RDMA, официально до восьми узлов. Нужны максимум памяти на узел и macOS — Mac Studio M5 Ultra, до четырёх узлов по Thunderbolt 5. Самый дешёвый узел при покупке — мини-ПК на Ryzen AI Max+ 395 с llama.cpp RPC, но сеть у них медленная и без RDMA.
Можно ли арендовать кластер?
Да, кластер из 2–4 одинаковых серверов на GB10 — по заявке. Выберите сервер и число узлов при добавлении сервера; соединение и сеть между узлами настроим мы. Узел стоит столько же, сколько одиночный сервер: NVIDIA DGX Spark 128 ГБ — 49 990 ₽ в месяц без НДС.
Почему нет сравнения скорости кластеров разных платформ?
Их не измеряли одной методикой — с одной моделью, квантом, движком и нагрузкой. Замеры каждой платформы есть на её странице, с источником и датой. Сравнивать числа из разных источников — значит сравнивать разные условия теста.