Прежде чем начать

Не изучайте рабочую область заранее. На этапе «Обучение» рабочего процесса вы найдете всю необходимую информацию.

Цель

Создайте с помощью библиотеки Data Designer синтетический набор данных, соответствующий следующему описанию:

$ARGUMENTS

Рабочий процесс

Используйте режим «Автопилот», если пользователь дает понять, что не хочет отвечать на вопросы — например, говорит что-то вроде «действуйте по своему усмотрению», «решайте сами», «делайте разумные допущения», «просто создайте», «удивите меня» и т. д. В противном случае используйте интерактивный режим (по умолчанию).

Прочитайте только файл рабочего процесса, соответствующий выбранному режиму, а затем следуйте ему:

• Интерактивный → прочитать workflows/interactive.md
• «Автопилот» → прочитать workflows/autopilot.md

Правила

• По умолчанию сохраняйте все столбцы в выходных данных. Единственными исключениями для удаления столбца являются: (1) пользователь явно просит об этом, или (2) это вспомогательный столбец, существующий исключительно для вывода других столбцов (например, объект «выбранного человека», используемый для извлечения имени, города и т. д.). В случае сомнений сохраняйте столбец.
• Не предлагайте и не спрашивайте о начальных наборах данных. Используйте их только в том случае, если пользователь явно предоставляет исходные данные или просит построить набор на основе существующих записей. При использовании исходных данных ознакомьтесь с references/seed-datasets.md.
• Если набору данных требуются данные о лицах (имена, демографические данные, адреса), ознакомьтесь с references/person-sampling.md.
• Если скрипт набора данных, соответствующий описанию набора данных, уже существует, спросите пользователя, нужно ли его отредактировать или создать новый.
• Что касается команд и контекста, специфичных для данного плагина платформы NeMo (например, получение конфигураций моделей от поставщиков IGW или встроенных в скрипт ModelConfig, установку или публикацию локалей Nemotron Personas, указатели на ресурсы на стороне платформы), ознакомьтесь с references/nemo-platform-plugin-additions.md.

«Советы по использованию и типичные ошибки»

• Колонки выборки и валидации требуют указания как типа, так и параметров. Например, sampler_type="category" с params=dd.CategorySamplerParams(...).
• шаблонами Jinja2 в prompt, system_prompt, а также expr поля: ссылочные столбцы с {{ column_name }}, вложенные поля с {{ column_name.field }}.
• **SamplerColumnConfig:** Принимает params, а не sampler_params.
• доступ к оценкам судей LLM: LLMJudgeColumnConfig создаёт вложенный словарь, в котором каждое название оценки сопоставляется с {reasoning: str, score: int}. Чтобы получить числовую оценку, используйте .score атрибут. Например, для столбца оценки судьи с именем quality с оценкой под названием correctness, используйте {{ quality.correctness.score }}. Использование {{ quality.correctness }} возвращается полный словарь, а не числовой балл.

Устранение неполадок

• **nemo data-designer CLI не найден:** Сообщите пользователю, что nemo data-designer не установлен в данной среде (требуется Python версии 3.11 или выше). Спросите, хочет ли он, чтобы вы создали виртуальную среду и установили его, или он предпочитает сделать это самостоятельно. Не устанавливайте ничего без разрешения пользователя.
• Сетевые ошибки во время предварительного просмотра: среда песочницы может блокировать исходящие запросы. Попросите у пользователя разрешения повторить команду с отключенной песочницей. Только в крайнем случае, если повторная попытка вне песочницы также не удалась, предложите пользователю запустить команду самостоятельно.

Шаблон вывода

Создайте в текущем каталоге файл Python с load_config_builder() функцией, возвращающей DataDesignerConfigBuilder. Назовите файл так, чтобы его название отражало его назначение (например, customer_reviews.py). Используйте встроенные метаданные PEP 723 для указания зависимостей.

# /// script
# dependencies = [
#   "data-designer", # always required
#   "pydantic", # only if this script imports from pydantic
#   # add additional dependencies here
# ]
# ///
import data_designer.config as dd
from pydantic import BaseModel, Field


# Use Pydantic models when the output needs to conform to a specific schema
class MyStructuredOutput(BaseModel):
    field_one: str = Field(description="...")
    field_two: int = Field(description="...")


# Use custom generators when built-in column types aren't enough
@dd.custom_column_generator(
    required_columns=["col_a"],
    side_effect_columns=["extra_col"],
)
def generator_function(row: dict) -> dict:
    # add custom logic here that depends on "col_a" and update row in place
    row["name_in_custom_column_config"] = "custom value"
    row["extra_col"] = "extra value"
    return row


def load_config_builder() -> dd.DataDesignerConfigBuilder:
    config_builder = dd.DataDesignerConfigBuilder(
        # Declaring model configs programmatically here is the portable path:
        # it works for both local `run` and cluster `submit`, while the local
        # YAML registry alternative only works for `run`. The provider below
        # is a common default created during `nemo setup` — confirm it (or
        # discover others) with `nemo inference providers list`. See
        # references/nemo-platform-plugin-additions.md for the local-YAML alternative.
        model_configs=[
            dd.ModelConfig(
                alias="text",
                model="...",
                provider="default/nvidia-build",
                inference_parameters=dd.ChatCompletionInferenceParams(),
            ),
        ],
    )

    # Seed dataset (only if the user explicitly mentions a seed dataset path)
    # config_builder.with_seed_dataset(dd.LocalFileSeedSource(path="path/to/seed.parquet"))

    # config_builder.add_column(...)
    # config_builder.add_processor(...)

    return config_builder

Включайте модели Pydantic, пользовательские генераторы, наборы данных seed и дополнительные зависимости только в том случае, если это требуется для решения задачи. Предпочтительно включать model_configs , если в наборе данных используются столбцы LLM — объявление этого в скрипте обеспечивает переносимость конфигурации между локальными run и кластером submit, тогда как альтернативный локальный реестр YAML работает только для run.