Как подключиться

Сервер выдаётся целиком: устройство, его память и диск используете только вы. Система уже установлена — после входа можно сразу запускать контейнеры с GPU.

Программное окружение

ОС

NVIDIA DGX OS 7.5.0 на базе Ubuntu 24.04

Ядро

Linux 6.17

Драйвер GPU

NVIDIA 580.159.03

CUDA

CUDA Toolkit 13.0.2

Контейнеры

Docker и NVIDIA Container Toolkit — предустановлен и настроен; образы NGC из nvcr.io

DGX Dashboard

Веб-панель: загрузка GPU и памяти, обновления системы, встроенный JupyterLab (порт 11000)

Версии — текущий выпуск DGX OS для DGX Spark Founders Edition по данным NVIDIA (июль 2026). На вашем сервере их покажут nvidia-smi и nvcc --version. Release notes NVIDIA

nvidia-smi
nvcc --version

docker run -it --gpus=all nvcr.io/nvidia/cuda:13.0.1-devel-ubuntu24.04 nvidia-smi

Ресурсы

Память общая для CPU и GPU; «под модель» — оценка с учётом DGX OS и рантайма.

DGX Dashboard — документацияРуководство пользователя DGX Spark

При оформлении пришлите публичный SSH-ключ — в ответ выдадим адрес, порт и пользователя с правами root. Вход только по ключу, пароли отключены.

<адрес>

адрес сервера (IP или имя)

<порт>

порт SSH

<пользователь>

имя пользователя

Эти значения придут вместе с доступом; в командах ниже они выделены — подставьте свои.

SSH

ssh-keygen -t ed25519 -C "<почта>"
cat ~/.ssh/id_ed25519.pub

Приватный ключ ~/.ssh/id_ed25519 остаётся у вас — никому его не отправляйте.

ssh -p <порт> <пользователь>@<адрес>

# ~/.ssh/config
Host spark
    HostName <адрес>
    Port <порт>
    User <пользователь>
    IdentityFile ~/.ssh/id_ed25519

ssh spark

На Windows 10 и 11 ssh, scp и ssh-keygen уже есть в PowerShell; rsync — в WSL.

DGX Dashboard и JupyterLab

Веб-интерфейсы сервера открывайте через SSH-туннель: команда держит соединение, пока открыт терминал, а страница открывается в браузере на вашем компьютере.

ssh -N -L 11000:localhost:11000 -p <порт> <пользователь>@<адрес>

cat /opt/nvidia/dgx-dashboard-service/jupyterlab_ports.yaml

ssh -N -L <порт-jupyter>:localhost:<порт-jupyter> -p <порт> <пользователь>@<адрес>

Весь накопитель — один NVMe-диск, домашний каталог на нём. Веса с Hugging Face по умолчанию попадают в ~/.cache/huggingface — этот каталог подключают к контейнерам в рецептах NVIDIA; свои данные удобно держать в ~/data.

df -h ~

Загрузка своих данных

rsync -avP -e "ssh -p <порт>" ./data/ <пользователь>@<адрес>:~/data/

scp -P <порт> ./dataset.tar.gz <пользователь>@<адрес>:~/data/

Веса с Hugging Face

curl -LsSf https://hf.co/cli/install.sh | bash
hf auth login

hf download <модель-hf>

Токены Hugging Face

Два коротких рецепта: vLLM в контейнере NVIDIA — для API под нагрузкой, Ollama — чтобы быстро попробовать модель. Оба отдают OpenAI-совместимый API; со своего компьютера к нему ходят через SSH-туннель.

Проверить, хватит ли памяти под модель

vLLM в контейнере NGC

docker run -d --name vllm --gpus all -p 127.0.0.1:8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  nvcr.io/nvidia/vllm:<тег> \
  vllm serve <модель-hf>
docker logs -f vllm

ssh -N -L 8000:localhost:8000 -p <порт> <пользователь>@<адрес>

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<модель-hf>",
    "messages": [{"role": "user", "content": "12*17"}],
    "max_tokens": 200
  }'

Образы vLLM в каталоге NGCРецепт NVIDIA: vLLM на DGX Spark

Ollama

curl -fsSL https://ollama.com/install.sh | sh
ollama pull <модель>
ollama run <модель>

ssh -N -L 11434:localhost:11434 -p <порт> <пользователь>@<адрес>

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<модель>",
    "messages": [{"role": "user", "content": "12*17"}]
  }'

Рецепт NVIDIA: Ollama на DGX Spark

Узлы соединены напрямую через порты ConnectX-7 (QSFP, до 200 Гбит/с на порт): два узла — кабелем, три-четыре — через коммутатор. Вариант соединения выбирается при добавлении сервера.

Варианты соединения в конфигураторе

Мы подключаем узлы и настраиваем между ними сеть ConnectX-7 и вход по SSH; модели и распределённый запуск — на вашей стороне.

ibdev2netdev

Для распределённого инференса NVIDIA предлагает vLLM с тензорным параллелизмом поверх Ray на всех узлах, для обучения — NCCL. Пошагово:

Соединение нескольких SparkvLLM на двух и более SparkNCCL для нескольких Spark

Почта

info@sparkhost.ru

Что прислать при проблеме

• номер заявки
• что запускали — команду или контейнер
• вывод nvidia-smi и docker logs <контейнер>
• когда началось

Документы

Акт — каждый месяц.

Продление

Напишите на почту до конца оплаченного срока — пришлём счёт на продление.