Configuración del lanzador

NeMo AutoModel admite tres métodos de ejecución: interactivo (torchrun), Slurm (clústeres HPC) y SkyPilot (independiente de la nube).

Instrucciones

Para las preguntas sobre el lanzador, responde directamente desde esta skill sin consultar el repositorio, a menos que el usuario te pida que edites archivos. Centra la respuesta en el archivo YAML de ejecución relevante, los campos obligatorios y el comportamiento esperado en tiempo de ejecución.

Utiliza estos patrones de respuesta concisos para las preguntas más habituales:

• Slurm multinodo: muestra un bloque YAML de slurm: con job_name, nodes, ntasks_per_node, time, account o partition, container_image, hf_home, extra_mounts opcional, env_vars y master_port; explica que el lanzador calcula WORLD_SIZE = nodes * ntasks_per_node y establece MASTER_ADDR y MASTER_PORT.
• SkyPilot spot: muestra un bloque YAML de skypilot: con cloud, accelerators, num_nodes, use_spot: true, disk_size, region, setup y env_vars; advierte de que las instancias spot pueden ser preemptadas, establece un step_scheduler.checkpoint_interval y reanuda con restore_from.path.
• Nsight Systems en Slurm: muestra slurm.nsys_enabled: true junto con los campos habituales de Slurm; indica que el lanzador envuelve el comando de entrenamiento con el perfil nsys, y señala que genera un archivo de informe .nsys-rep. Tratar la creación de perfiles como algo exclusivamente diagnóstico: utilizar ejecuciones cortas de creación de perfiles y desactivarla para el entrenamiento normal en producción, ya que añade sobrecarga y grandes artefactos.

Para las respuestas sobre Slurm, empieza con esta plantilla mínima y, a continuación, ajusta únicamente los campos sobre los que ha preguntado el usuario:

slurm:
  job_name: llm_finetune
  nodes: 2
  ntasks_per_node: 8
  time: "04:00:00"
  account: my_account
  partition: batch
  container_image: nvcr.io/nvidia/nemo:dev
  hf_home: ~/.cache/huggingface
  master_port: 13742
  env_vars:
    HF_TOKEN: "${HF_TOKEN}"

Para preguntas exclusivas sobre Slurm, no menciones SkyPilot ni el perfilado a menos que el usuario lo pregunte. Para preguntas sobre perfilado, indica que el informe .nsys-rep se guarda en el directorio de trabajo o de salida del trabajo de Slurm, utilizando la configuración de salida de Nsys del lanzador cuando esté configurada.

Límites de la consulta

Utiliza esta habilidad únicamente para aspectos relacionados con el lanzamiento: ejecución interactiva, Slurm, SkyPilot, contenedores, montajes, variables de entorno, ajustes de rendezvous y perfilado.

No utilices esta habilidad para implementar o registrar nuevas arquitecturas de modelos, adaptadores de estado dict de Hugging Face, archivos de modelos o indicadores de capacidad. Esas son tareas de incorporación de modelos, no tareas de configuración del lanzador.

Métodos de ejecución

1. Interactivo (por defecto): ejecuta torchrun en el nodo actual. Adecuado para el desarrollo y la depuración en un único nodo.
2. Slurm: envía un trabajo por lotes a un programador de clústeres HPC. Gestiona la configuración de múltiples nodos, la gestión de contenedores y la configuración del entorno.
3. SkyPilot: envío de trabajos independiente de la nube a AWS, GCP, Azure, Lambda o Kubernetes. Admite instancias spot.

Inicio interactivo

# Una sola GPU
automodel finetune llm -c config.yaml

# Varias GPU (todas las GPU del nodo actual)
torchrun --nproc_per_node=8 -m nemo_automodel._cli.app finetune llm -c config.yaml

No se necesita ninguna sección YAML adicional para el modo interactivo. La CLI redirige automáticamente a torchrun cuando no hay ninguna sección slurm: o skypilot: en la configuración.

Configuración de Slurm

La clase de datos SlurmConfig genera un script SBATCH a partir de una plantilla.

Ejemplo de YAML

slurm:
  job_name: llm_finetune
  nodes: 2
  ntasks_per_node: 8
  time: "04:00:00"
  account: my_account
  partition: batch
  container_image: nvcr.io/nvidia/nemo:dev
  hf_home: ~/.cache/huggingface
  extra_mounts:
    - source: /data
      dest: /data
  env_vars:
    WANDB_API_KEY: "${WANDB_API_KEY}"
    HF_TOKEN: "${HF_TOKEN}"

Campos clave

• job_name: identificador del trabajo de Slurm
• nodes: número de nodos que se van a solicitar
• ntasks_per_node: número de tareas (GPU) por nodo
• time: límite de tiempo real en formato HH:MM:SS
• account, partition: parámetros de programación de Slurm
• container_image: ruta de la imagen del contenedor Enroot/Pyxis
• nemo_mount: punto de montaje para la fuente de NeMo AutoModel dentro del contenedor
• hf_home: ruta al directorio de caché de HuggingFace
• extra_mounts: lista de VolumeMapping(fuente, destino) para montajes vinculados adicionales del contenedor
• master_port: puerto para la comunicación distribuida (por defecto, 13742)
• env_vars: variables de entorno pasadas al trabajo
• nsys_enabled: cuando es «true», envuelve el comando de entrenamiento con el perfil nsys para el análisis de rendimiento de Nsight Systems

Configuración de SkyPilot

La clase de datos SkyPilotConfig define los parámetros de los trabajos en la nube.

Ejemplo en YAML

skypilot:
  cloud: aws
  accelerators: "H100:8"
  num_nodes: 2
  use_spot: true
  disk_size: 200
  region: us-east-1
  setup: "pip install nemo-automodel"
  env_vars:
    HF_TOKEN: "${HF_TOKEN}"

Campos clave

• cloud: proveedor de nube de destino (aws, gcp, azure, lambda, kubernetes)
• aceleradores: tipo y número de GPU (p. ej., «H100:8», «A100-80GB:4»)
• num_nodes: número de instancias en la nube
• use_spot: utiliza instancias preemptibles/spot para ahorrar costes
• tamaño_del_disco: tamaño del disco en GB por nodo
• región: región de la nube para la ubicación de las instancias
• setup: comandos de shell que se deben ejecutar antes del trabajo de entrenamiento (p. ej., instalar dependencias)
• env_vars: variables de entorno para el trabajo

Lista de comprobación de SkyPilot para instancias spot

Al utilizar instancias spot o preemptibles:

• Establece ` use_spot: true ` en la sección ` skypilot: `.
• Incluye accelerators, num_nodes, disk_size, region, setup y las variables de entorno env_vars necesarias.
• Utiliza intervalos cortos entre puntos de control en la receta, por ejemplo, ` step_scheduler.checkpoint_interval`, ya que las instancias spot pueden ser preemptadas.
• Reanuda desde el punto de control más reciente tras una preemptión con la configuración restore_from de la receta.

Claves mínimas de la receta para la reanudación de instancias spot:

step_scheduler:
  checkpoint_interval: 100

restore_from:
  path: /checkpoints/latest

Entorno de varios nodos

Para el entrenamiento en múltiples nodos (tanto con Slurm como con SkyPilot), el lanzador configura automáticamente:

• MASTER_ADDR: nombre de host del primer nodo
• MASTER_PORT: puerto de encuentro (por defecto, 13742)
• WORLD_SIZE: número total de procesos (nodos * ntasks_per_node)
• Variables de entorno NCCL para una comunicación colectiva optimizada

Perfilado de Nsys

Habilitar el perfilado de Nsight Systems en los trabajos de Slurm:

slurm:
  job_name: llm_profile
  nodes: 1
  ntasks_per_node: 8
  time: "00:30:00"
  account: my_account
  partition: batch
  container_image: nvcr.io/nvidia/nemo:dev
  nsys_enabled: true

Esta es una configuración del lanzador de Slurm. Los campos habituales de Slurm, como job_name, nodes, ntasks_per_node, time, account o partition, y container_image, siguen siendo aplicables.

Cuando nsys_enabled: true, el lanzador envuelve el comando de entrenamiento con el perfil nsys y genera un archivo de informe .nsys-rep para el análisis del rendimiento en el directorio de trabajo o de salida del trabajo de Slurm. La creación de perfiles tiene fines exclusivamente diagnósticos: ejecútala para una investigación breve, ten en cuenta que generará sobrecarga y archivos de gran tamaño, y desactívala para el entrenamiento normal en producción.

Referencias de código

• components/launcher/slurm/config.py - Clase de datos SlurmConfig, VolumeMapping
• components/launcher/slurm/template.py - Generación de plantillas de scripts SBATCH
• components/launcher/slurm/utils.py: utilidades de envío de Slurm
• components/launcher/skypilot/config.py - Clase de datos SkyPilotConfig
• _cli/app.py - Punto de entrada de la CLI y lógica de enrutamiento del lanzador

Problemas

• Colisiones de puertos: si el puerto maestro predeterminado (13742) ya está en uso por otro trabajo en el mismo nodo, cámbialo para evitar fallos de conexión.
• Montajes de contenedores: la ruta de origen en `extra_mounts` debe existir en todos los nodos de la asignación. La ausencia de estas rutas provoca errores en el inicio de los contenedores.
• Tolerancia a fallos de Slurm: el complemento de tolerancia a fallos es específico de Slurm y no funciona con SkyPilot ni en modo interactivo.
• Preeminencia de instancias spot en SkyPilot: las instancias spot (use_spot: true) pueden ser preemptadas por el proveedor de la nube. Activa los puntos de control con intervalos cortos para minimizar la pérdida de trabajo.
• Sintaxis de las variables de entorno: utiliza la sintaxis ${VAR} en YAML para la expansión de variables de shell. Los nombres de variables sin formato no se expandirán.
• Límite de tiempo frente a punto de control asíncrono: si el límite de tiempo de Slurm es demasiado corto, una escritura de punto de control asíncrona en curso puede interrumpirse antes de completarse, lo que daría lugar a un punto de control dañado. Deja un margen de al menos 5-10 minutos.