Настройка запуска

NeMo AutoModel поддерживает три метода запуска: интерактивный (torchrun), Slurm (HPC-кластеры) и SkyPilot (независимый от облачной платформы).

Инструкции

На вопросы, касающиеся запуска, отвечайте непосредственно из этого навыка, не заглядывая в репозиторий, если только пользователь не попросит вас отредактировать файлы. Сосредоточьте ответ на соответствующем YAML-файле запуска, обязательных полях и ожидаемом поведении во время выполнения.

Используйте следующие лаконичные шаблоны ответов на типичные вопросы:

• Slurm с несколькими узлами: покажите блок YAML slurm: с job_name, nodes, ntasks_per_node, time, account или partition, container_image, hf_home, опциональными extra_mounts, env_vars и master_port; объясните, что запускающий модуль вычисляет WORLD_SIZE = nodes * ntasks_per_node и устанавливает MASTER_ADDR и MASTER_PORT.
• Spot-инстанс SkyPilot: покажите блок YAML skypilot: с cloud, accelerators, num_nodes, use_spot: true, disk_size, region, setup и env_vars; предупредите, что spot-инстансы могут быть прерваны, установите короткий step_scheduler.checkpoint_interval и возобновить работу с помощью restore_from.path.
• Nsight Systems на Slurm: покажите slurm.nsys_enabled: true наряду с обычными полями Slurm, укажите, что запускающая программа обертывает команду обучения с помощью профиля nsys, и сообщите, что она генерирует файл отчёта .nsys-rep. Рассматривайте профилирование исключительно как средство диагностики: используйте короткие циклы профилирования и отключайте его для обычного производственного обучения, поскольку оно увеличивает нагрузку и приводит к появлению значительных артефактов.

Для ответов, касающихся Slurm, начните с этого минимального шаблона, а затем настройте только те поля, о которых спросил пользователь:

slurm:
  job_name: llm_finetune
  nodes: 2
  ntasks_per_node: 8
  time: "04:00:00"
  account: my_account
  partition: batch
  container_image: nvcr.io/nvidia/nemo:dev
  hf_home: ~/.cache/huggingface
  master_port: 13742
  env_vars:
    HF_TOKEN: "${HF_TOKEN}"

Если вопрос касается исключительно Slurm, не обсуждайте SkyPilot или профилирование, пока пользователь сам не спросит об этом. По вопросам профилирования сообщите, что отчет .nsys-rep записывается в рабочий или выходной каталог задания Slurm с использованием настроек вывода Nsys запускающего модуля, если они настроены.

Границы компетенции

Используйте этот навык только для механизмов запуска: интерактивного выполнения, Slurm, SkyPilot, контейнеров, монтирования, переменных среды, настроек rendezvous и профилирования.

Не используйте эту компетенцию для реализации или регистрации новых архитектур моделей, адаптеров Hugging Face state-dict, файлов моделей или флагов возможностей. Это задачи по внедрению моделей, а не по настройке запуска.

Методы запуска

1. Интерактивный (по умолчанию): запускает torchrun на текущем узле. Подходит для разработки и отладки на одном узле.
2. Slurm: отправляет пакетную задачу в планировщик кластера HPC. Обеспечивает настройку на нескольких узлах, управление контейнерами и настройку среды.
3. SkyPilot: отправка заданий независимо от облачной платформы в AWS, GCP, Azure, Lambda или Kubernetes. Поддерживает спотовые инстансы.

Интерактивный запуск

# Один графический процессор
automodel finetune llm -c config.yaml

# Несколько графических процессоров (все графические процессоры на текущем узле)
torchrun --nproc_per_node=8 -m nemo_automodel._cli.app finetune llm -c config.yaml

Для интерактивного режима не требуется дополнительный раздел YAML. CLI автоматически перенаправляет запрос в torchrun, если в конфигурации отсутствует раздел slurm: или skypilot:.

Настройка Slurm

Класс данных SlurmConfig генерирует скрипт SBATCH на основе шаблона.

Пример YAML

slurm:
  job_name: llm_finetune
  nodes: 2
  ntasks_per_node: 8
  time: "04:00:00"
  account: my_account
  partition: batch
  container_image: nvcr.io/nvidia/nemo:dev
  hf_home: ~/.cache/huggingface
  extra_mounts:
    - source: /data
      dest: /data
  env_vars:
    WANDB_API_KEY: "${WANDB_API_KEY}"
    HF_TOKEN: "${HF_TOKEN}"

Ключевые поля

• job_name: идентификатор задания Slurm
• nodes: количество узлов, которые необходимо задействовать
• ntasks_per_node: количество задач (GPU) на каждый узел
• time: ограничение по реальному времени в формате ЧЧ:ММ:СС
• account, partition: параметры планирования Slurm
• container_image: путь к образу контейнера Enroot/Pyxis
• nemo_mount: точка монтирования исходного кода NeMo AutoModel внутри контейнера
• hf_home: путь к каталогу кэша HuggingFace
• extra_mounts: список VolumeMapping(источник, назначение) для дополнительных привязок контейнера
• master_port: порт для распределённой связи (по умолчанию 13742)
• env_vars: переменные среды, передаваемые в задание
• nsys_enabled: если значение true, команда обучения оборачивается профилем nsys для профилирования Nsight Systems

Настройка SkyPilot

Класс данных SkyPilotConfig определяет параметры облачного задания.

Пример YAML

skypilot:
  cloud: aws
  accelerators: "H100:8"
  num_nodes: 2
  use_spot: true
  disk_size: 200
  region: us-east-1
  setup: "pip install nemo-automodel"
  env_vars:
    HF_TOKEN: "${HF_TOKEN}"

Ключевые поля

• cloud: целевой поставщик облачных услуг (aws, gcp, azure, lambda, kubernetes)
• accelerators: тип и количество графических процессоров (например, «H100:8», «A100-80GB:4»)
• num_nodes: количество облачных инстансов
• use_spot: использование преемптивных/спотовых инстансов для снижения затрат
• disk_size: размер диска в ГБ на узел
• region: регион облака для размещения экземпляров
• setup: команды оболочки, которые необходимо запустить перед запуском задания обучения (например, установка зависимостей)
• env_vars: переменные среды для задания

Контрольный список SkyPilot для спотовых инстансов

При использовании спотовых или преемтибельных экземпляров:

• Укажите use_spot: true в разделе skypilot:.
• Укажите ускорители, num_nodes, disk_size, регион, настройки и необходимые env_vars.
• Используйте короткие интервалы создания контрольных точек в рецепте, например step_scheduler.checkpoint_interval, поскольку спотовые инстансы могут быть преемптивно отключены.
• После преемпции возобновляйте работу с самой последней контрольной точки с помощью параметра restore_from в рецепте.

Минимальные ключи рецепта для возобновления работы после прерывания спот-инстанса:

step_scheduler:
  checkpoint_interval: 100

restore_from:
  path: /checkpoints/latest

Среда с несколькими узлами

Для обучения в многоузловой среде (как Slurm, так и SkyPilot) запускающая программа автоматически настраивает:

• MASTER_ADDR: имя хоста первого узла
• MASTER_PORT: порт для rendezvous (по умолчанию 13742)
• WORLD_SIZE: общее количество процессов (nodes * ntasks_per_node)
• Переменные среды NCCL для оптимизированной коллективной коммуникации

Профилирование Nsys

Включение профилирования Nsight Systems в заданиях Slurm:

slurm:
  job_name: llm_profile
  nodes: 1
  ntasks_per_node: 8
  time: "00:30:00"
  account: my_account
  partition: batch
  container_image: nvcr.io/nvidia/nemo:dev
  nsys_enabled: true

Это настройка запуска Slurm. Обычные поля Slurm, такие как job_name, nodes, ntasks_per_node, time, account или partition, а также container_image по-прежнему применяются.

Когда nsys_enabled: true, запускатель обертывает команду обучения с помощью профиля nsys и записывает файл отчёта .nsys-rep для анализа производительности в рабочий или выходной каталог задания Slurm. Профилирование предназначено только для диагностики: запускайте его для кратковременного исследования, учитывайте дополнительную нагрузку и большие артефакты, а для обычного производственного обучения отключайте его.

Ссылки на код

• components/launcher/slurm/config.py — класс данных SlurmConfig, VolumeMapping
• components/launcher/slurm/template.py — генерация шаблонов скриптов SBATCH
• components/launcher/slurm/utils.py — утилиты отправки заданий Slurm
• components/launcher/skypilot/config.py — класс данных SkyPilotConfig
• _cli/app.py — точка входа CLI и логика маршрутизации запуска

Проблемы

• Конфликты портов: если порт master_port по умолчанию (13742) используется другим заданием на том же узле, измените его, чтобы избежать сбоев при подключении.
• Монтирование контейнеров: путь к исходным файлам, указанный в extra_mounts, должен существовать на всех узлах в выделенном ресурсе. Отсутствие путей приводит к сбоям при запуске контейнеров.
• Отказоустойчивость Slurm: плагин отказоустойчивости специфичен для Slurm и не работает с SkyPilot или в интерактивном режиме.
• Прерывание спот-инстансов SkyPilot: спот-инстансы (use_spot: true) могут быть прерваны поставщиком облачных услуг. Включите создание контрольных точек с короткими интервалами, чтобы свести к минимуму потерю выполненной работы.
• Синтаксис переменных среды: используйте синтаксис ${VAR} в YAML для расширения переменных оболочки. Простые имена переменных не будут расширяться.
• Ограничение по времени и асинхронная контрольная точка: если ограничение по времени в Slurm слишком короткое, выполняющаяся запись асинхронной контрольной точки может быть прервана до завершения, что приведёт к повреждению контрольной точки. Оставьте запас времени не менее 5–10 минут.