Generación de conjuntos de datos ficticios

Genera conjuntos de datos ficticios realistas para realizar pruebas con columnas, restricciones y formatos de salida personalizables (CSV, JSON, SQL, script de Python). Crea scripts ejecutables o archivos de datos directos para su uso inmediato.

Cuándo utilizarlo: Para crear datos de prueba, generar conjuntos de datos de muestra, crear datos ficticios realistas para el desarrollo o rellenar entornos de prueba.

Argumentos:

• $PRODUCT: El nombre del producto o del sistema
• $DATASET_TYPE: Tipo de datos (p. ej., comentarios de clientes, transacciones, perfiles de usuario)
• $ROWS: Número de filas que se van a generar (por defecto: 100)
• $COLUMNS: Columnas o campos específicos que se deben incluir
• $FORMAT: Formato de salida (CSV, JSON, SQL, script de Python)
• $CONSTRAINTS: Restricciones o reglas de negocio adicionales

Proceso paso a paso

1. Identificar el tipo de conjunto de datos: comprender el ámbito de los datos
2. Definir las especificaciones de las columnas: nombres, tipos de datos y rangos de valores
3. Determinar el número de filas: cuántos registros de muestra se necesitan
4. Seleccionar el formato de salida: CSV, JSON, SQL INSERT o script de Python
5. Aplicar patrones realistas: asegurarse de que los datos parezcan auténticos y válidos
6. Añadir restricciones de negocio: respetar la lógica de negocio y las relaciones
7. Generar o crear un script con los datos: crear una salida ejecutable
8. Validar el resultado: garantizar la calidad y la integridad de los datos

Plantilla: Salida de script de Python

import csv
import json
from datetime import datetime, timedelta
import random

# Configuration
ROWS = $ROWS
FILENAME = "$DATASET_TYPE.csv"

# Column definitions with realistic value generators
columns = {
    "id": "auto-increment",
    "name": "first_last_name",
    "email": "email",
    "created_at": "timestamp",
    # Add more columns...
}

def generate_dataset():
    """Generate realistic dummy dataset"""
    data = []
    for i in range(1, ROWS + 1):
        record = {
            "id": f"U{i:06d}",
            # Generate values based on column definitions
        }
        data.append(record)
    return data

def save_as_csv(data, filename):
    """Save dataset as CSV"""
    with open(filename, 'w', newline='') as f:
        writer = csv.DictWriter(f, fieldnames=data[0].keys())
        writer.writeheader()
        writer.writerows(data)

if __name__ == "__main__":
    dataset = generate_dataset()
    save_as_csv(dataset, FILENAME)
    print(f"Generated {len(dataset)} records in {FILENAME}")

Ejemplo de especificación de un conjunto de datos

Tipo de conjunto de datos: Comentarios de los clientes

Columnas:

• feedback_id (autoincremento, U001, U002...)
• customer_name (nombres realistas)
• email (formato de correo electrónico válido)
• feedback_date (fechas de los últimos 90 días)
• rating (1-5 estrellas)
• categoría (error, solicitud de función, queja, elogio)
• texto (comentarios realistas)
• producto (electrónica, ropa, hogar)

Restricciones:

• Valoraciones sesgadas: 40 % de 5 estrellas, 30 % de 4 estrellas, 20 % de 3 estrellas, 10 % de 1-2 estrellas
• Categoría «Error» solo con valoraciones de 1 a 3
• Solicitudes de funciones solo con valoraciones de 3 a 5
• Dominios de correo electrónico realistas (gmail, yahoo, company.com)

Resultados esperados

• Script de Python listo para ejecutarse O archivo de datos directo
• Archivo CSV con encabezados y formato adecuados
• Archivo JSON con estructura y tipos válidos
• Instrucciones SQL INSERT para el rellenado de la base de datos
• Validación de datos y cumplimiento de restricciones
• Valores realistas y adecuados para el contexto empresarial
• Documentación de la lógica de generación de datos
• Instrucciones de inicio rápido para el uso del conjunto de datos

Formatos de salida

CSV: formato tabular plano, fácil de importar a hojas de cálculo y bases de datos

JSON: estructura anidada, ideal para API y bases de datos NoSQL

SQL: sentencias INSERT, ejecutables directamente en bases de datos relacionales

Script de Python: generador ejecutable para conjuntos de datos personalizados o de gran tamaño