Генерация фиктивных наборов данных

Генерируйте реалистичные фиктивные наборы данных для тестирования с настраиваемыми столбцами, ограничениями и форматами вывода (CSV, JSON, SQL, скрипт Python). Создавайте исполняемые скрипты или файлы данных для немедленного использования.

Используйте в следующих случаях: при создании тестовых данных, генерации образцов наборов данных, формировании реалистичных фиктивных данных для разработки или заполнении тестовых сред.

Аргументы:

• $PRODUCT: Название продукта или системы
• $DATASET_TYPE: Тип данных (например, отзывы клиентов, транзакции, профили пользователей)
• $ROWS: Количество строк для генерации (по умолчанию: 100)
• $COLUMNS: Конкретные столбцы или поля, которые необходимо включить
• $FORMAT: Формат вывода (CSV, JSON, SQL, скрипт на Python)
• $CONSTRAINTS: Дополнительные ограничения или бизнес-правила

Пошаговый процесс

1. Определите тип набора данных — изучите область данных
2. Определите спецификации столбцов — имена, типы данных и диапазоны значений
3. Определение количества строк — сколько образцов записей требуется
4. Выберите формат вывода — CSV, JSON, SQL INSERT или скрипт на Python
5. Применение реалистичных шаблонов — обеспечение достоверности и валидности данных
6. Добавьте бизнес-ограничения — соблюдайте бизнес-логику и взаимосвязи
7. Генерируйте или создавайте скрипты данных — создавайте исполняемый вывод
8. Проверьте результат — убедитесь в качестве и полноте данных

Шаблон: Вывод в виде скрипта на Python

import csv
import json
from datetime import datetime, timedelta
import random

# Configuration
ROWS = $ROWS
FILENAME = "$DATASET_TYPE.csv"

# Column definitions with realistic value generators
columns = {
    "id": "auto-increment",
    "name": "first_last_name",
    "email": "email",
    "created_at": "timestamp",
    # Add more columns...
}

def generate_dataset():
    """Generate realistic dummy dataset"""
    data = []
    for i in range(1, ROWS + 1):
        record = {
            "id": f"U{i:06d}",
            # Generate values based on column definitions
        }
        data.append(record)
    return data

def save_as_csv(data, filename):
    """Save dataset as CSV"""
    with open(filename, 'w', newline='') as f:
        writer = csv.DictWriter(f, fieldnames=data[0].keys())
        writer.writeheader()
        writer.writerows(data)

if __name__ == "__main__":
    dataset = generate_dataset()
    save_as_csv(dataset, FILENAME)
    print(f"Generated {len(dataset)} records in {FILENAME}")

Пример спецификации набора данных

Тип набора данных: Отзывы клиентов

Столбцы:

• feedback_id (автоинкремент, U001, U002...)
• customer_name (реальные имена)
• email (допустимый формат электронной почты)
• feedback_date (даты за последние 90 дней)
• rating (1–5 звезд)
• category (Ошибка, Запрос на добавление функции, Жалоба, Похвала)
• text (реалистичный текст отзыва)
• product (электроника, одежда, товары для дома)

Ограничения:

• Распределение оценок: 40 % — 5 звёзд, 30 % — 4 звёзды, 20 % — 3 звёзды, 10 % — 1–2 звёзды
• Категория «Ошибка» только с оценками 1–3
• Запросы на добавление функций — только с оценками от 3 до 5
• Реалистичные домены электронной почты (gmail, yahoo, company.com)

Результаты

• Готовый к запуску скрипт на Python ИЛИ файл данных
• Файл CSV с правильными заголовками и форматированием
• Файл JSON с корректной структурой и типами
• Операторы INSERT на языке SQL для заполнения базы данных
• Проверка данных и соблюдение ограничений
• Реалистичные значения, соответствующие бизнес-контексту
• Документация по логике генерации данных
• Инструкции по быстрому началу работы с набором данных

Форматы вывода

CSV: плоский табличный формат, удобный для импорта в электронные таблицы и базы данных

JSON: вложенная структура, идеально подходящая для API и NoSQL-баз данных

SQL: операторы INSERT, непосредственно исполняемые в реляционных базах данных

Скрипт на Python: исполняемый генератор для пользовательских или больших наборов данных