Antes de comenzar

No explore el área de trabajo primero. El paso "Aprender" del flujo de trabajo le proporciona todo lo que necesita.

Objetivo

Construya un conjunto de datos sintético utilizando la biblioteca Data Designer que coincida con esta descripción:

$ARGUMENTS

Flujo de trabajo

Utilice el modo Autopilot si el usuario implica que no desea responder preguntas, por ejemplo, si dice algo como "sea opinativo", "tú decides", "haga suposiciones razonables", "simplemente constrúyalo", "sorpréndame", etc. De lo contrario, utilice el modo Interactive (predeterminado).

Lea únicamente el archivo de flujo de trabajo que coincida con el modo seleccionado, luego sígalo:

• Interactive → lea workflows/interactive.md
• Autopilot → lea workflows/autopilot.md

Reglas

• Mantenga todas las columnas en la salida de forma predeterminada. Las únicas excepciones para eliminar una columna son: (1) el usuario lo solicita explícitamente, o (2) es una columna auxiliar que existe únicamente para derivar otras columnas (por ejemplo, un objeto de persona muestreado utilizado para extraer nombre, ciudad, etc.). En caso de duda, mantenga la columna.
• No sugiera ni pregunte sobre conjuntos de datos semilla. Solo utilice uno cuando el usuario proporcione explícitamente datos semilla o solicite construir a partir de registros existentes. Al utilizar una semilla, lea references/seed-datasets.md.
• Cuando el conjunto de datos requiera datos de personas (nombres, datos demográficos, direcciones), lea references/person-sampling.md.
• Si ya existe un script de conjunto de datos que coincida con la descripción del conjunto de datos, pregunte al usuario si desea editarlo o crear uno nuevo.
• Para comandos y contexto específicos de este complemento de la plataforma NeMo (por ejemplo, obtener configuraciones de modelos de proveedores IGW o ModelConfigs en el script, instalar o publicar personas Nemotron locales, punteros de recursos del lado de la plataforma), lea references/nemo-platform-plugin-additions.md.

Consejos de uso y errores comunes

• Las columnas de muestreo y validación necesitan tanto un tipo como parámetros. Por ejemplo, sampler_type="category" con params=dd.CategorySamplerParams(...).
• Plantillas Jinja2 en los campos prompt, system_prompt y expr: haga referencia a las columnas con {{ column_name }}, campos anidados con {{ column_name.field }}.
• **SamplerColumnConfig:** Toma params, no sampler_params.
• Acceso a la puntuación del juez LLM: LLMJudgeColumnConfig produce un diccionario anidado donde cada nombre de puntuación se asigna a {reasoning: str, score: int}. Para obtener la puntuación numérica, utilice el atributo .score. Por ejemplo, para una columna de juez llamada quality con una puntuación llamada correctness, utilice {{ quality.correctness.score }}. Utilizar {{ quality.correctness }} devuelve el diccionario completo, no la puntuación numérica.

Solución de problemas

• **nemo data-designer CLI not found:** Indique al usuario que nemo data-designer no está instalado en este entorno (requiere Python >= 3.11). Pregunte si desea que cree un entorno virtual e lo instale, o si prefiere hacerlo ellos mismos. No instale nada sin el permiso del usuario.
• Errores de red durante la vista previa: Un entorno de sandbox puede estar bloqueando las solicitudes salientes. Solicite al usuario permiso para reintentar el comando con el sandbox deshabilitado. Solo como último recurso, si reintentar fuera del sandbox también falla, indique al usuario que ejecute el comando ellos mismos.

Plantilla de salida

Escriba un archivo Python en el directorio actual con una función load_config_builder() que devuelva un DataDesignerConfigBuilder. Nombre el archivo de manera descriptiva (por ejemplo, customer_reviews.py). Utilice metadatos en línea PEP 723 para las dependencias.

# /// script
# dependencies = [
#   "data-designer", # siempre requerido
#   "pydantic", # solo si este script importa desde pydantic
#   # agregue dependencias adicionales aquí
# ]
# ///
import data_designer.config as dd
from pydantic import BaseModel, Field


# Utilice modelos Pydantic cuando la salida deba ajustarse a un esquema específico
class MyStructuredOutput(BaseModel):
    field_one: str = Field(description="...")
    field_two: int = Field(description="...")


# Utilice generadores personalizados cuando los tipos de columna integrados no sean suficientes
@dd.custom_column_generator(
    required_columns=["col_a"],
    side_effect_columns=["extra_col"],
)
def generator_function(row: dict) -> dict:
    # agregue lógica personalizada aquí que dependa de "col_a" y actualice row in situ
    row["name_in_custom_column_config"] = "custom value"
    row["extra_col"] = "extra value"
    return row


def load_config_builder() -> dd.DataDesignerConfigBuilder:
    config_builder = dd.DataDesignerConfigBuilder(
        # Declarar configuraciones de modelos programáticamente aquí es la ruta portátil:
        # funciona tanto para `run` local como para `submit` en el clúster, mientras que la alternativa de registro YAML local solo funciona para `run`. El proveedor a continuación
        # es un valor predeterminado común creado durante `nemo setup` — confírmelo (o
        # descubra otros) con `nemo inference providers list`. Consulte
        # references/nemo-platform-plugin-additions.md para la alternativa de YAML local.
        model_configs=[
            dd.ModelConfig(
                alias="text",
                model="...",
                provider="default/nvidia-build",
                inference_parameters=dd.ChatCompletionInferenceParams(),
            ),
        ],
    )

    # Conjunto de datos semilla (solo si el usuario menciona explícitamente una ruta de conjunto de datos semilla)
    # config_builder.with_seed_dataset(dd.LocalFileSeedSource(path="path/to/seed.parquet"))

    # config_builder.add_column(...)
    # config_builder.add_processor(...)

    return config_builder

Incluya únicamente modelos Pydantic, generadores personalizados, conjuntos de datos semilla y dependencias adicionales cuando la tarea lo requiera. Prefiera incluir model_configs cuando el conjunto de datos utilice columnas LLM: declararlo en el script mantiene la configuración portátil entre run local y submit en el clúster, mientras que la alternativa de registro YAML local solo funciona para run.