Geração de conjuntos de dados fictícios

Gere conjuntos de dados fictícios realistas para testes com colunas, restrições e formatos de saída personalizáveis (CSV, JSON, SQL, script Python). Cria scripts executáveis ou arquivos de dados diretos para uso imediato.

Quando usar: ao criar dados de teste, gerar conjuntos de dados de amostra, construir dados simulados realistas para desenvolvimento ou preencher ambientes de teste.

Argumentos:

• $PRODUCT: O nome do produto ou sistema
• $DATASET_TYPE: Tipo de dados (por exemplo, feedback de clientes, transações, perfis de usuários)
• $ROWS: Número de linhas a serem geradas (padrão: 100)
• $COLUMNS: Colunas ou campos específicos a serem incluídos
• $FORMAT: Formato de saída (CSV, JSON, SQL, script Python)
• $CONSTRAINTS: Restrições adicionais ou regras de negócios

Processo passo a passo

1. Identifique o tipo de conjunto de dados - Entenda o domínio dos dados
2. Definir as especificações das colunas — nomes, tipos de dados e intervalos de valores
3. Determinar o número de linhas – Quantos registros de amostra são necessários
4. Selecionar o formato de saída — CSV, JSON, SQL INSERT ou script em Python
5. Aplique padrões realistas — Garanta que os dados pareçam autênticos e válidos
6. Adicionar restrições de negócios — Respeitar a lógica de negócios e as relações
7. Gerar ou criar script de dados — Criar saída executável
8. Validar a saída — Garantir a qualidade e a integridade dos dados

Modelo: Saída de script em Python

import csv
import json
from datetime import datetime, timedelta
import random

# Configuration
ROWS = $ROWS
FILENAME = "$DATASET_TYPE.csv"

# Column definitions with realistic value generators
columns = {
    "id": "auto-increment",
    "name": "first_last_name",
    "email": "email",
    "created_at": "timestamp",
    # Add more columns...
}

def generate_dataset():
    """Generate realistic dummy dataset"""
    data = []
    for i in range(1, ROWS + 1):
        record = {
            "id": f"U{i:06d}",
            # Generate values based on column definitions
        }
        data.append(record)
    return data

def save_as_csv(data, filename):
    """Save dataset as CSV"""
    with open(filename, 'w', newline='') as f:
        writer = csv.DictWriter(f, fieldnames=data[0].keys())
        writer.writeheader()
        writer.writerows(data)

if __name__ == "__main__":
    dataset = generate_dataset()
    save_as_csv(dataset, FILENAME)
    print(f"Generated {len(dataset)} records in {FILENAME}")

Exemplo de especificação do conjunto de dados

Tipo de conjunto de dados: Feedback do cliente

Colunas:

• feedback_id (autoincremento, U001, U002...)
• customer_name (nomes realistas)
• email (formato de e-mail válido)
• feedback_date (datas dos últimos 90 dias)
• rating (1 a 5 estrelas)
• categoria (Bug, Solicitação de Recurso, Reclamação, Elogio)
• text (comentário realista)
• produto (eletrônicos, roupas, casa)

Restrições:

• Avaliações distorcidas: 40% de 5 estrelas, 30% de 4 estrelas, 20% de 3 estrelas, 10% de 1 a 2 estrelas
• Categoria “Bug” apenas com avaliações de 1 a 3 estrelas
• Solicitações de recursos apenas com avaliações de 3 a 5 estrelas
• Domínios de e-mail realistas (gmail, yahoo, company.com)

Resultados esperados

• Script em Python pronto para execução OU arquivo de dados direto
• Arquivo CSV com cabeçalhos e formatação adequados
• Arquivo JSON com estrutura e tipos válidos
• Instruções SQL INSERT para preenchimento do banco de dados
• Validação de dados e conformidade com restrições
• Valores realistas e adequados ao contexto empresarial
• Documentação da lógica de geração de dados
• Instruções de início rápido para o uso do conjunto de dados

Formatos de saída

CSV: Formato tabular simples, fácil de importar para planilhas e bancos de dados

JSON: estrutura aninhada, ideal para APIs e bancos de dados NoSQL

SQL: instruções INSERT, executáveis diretamente em bancos de dados relacionais

Script em Python: Gerador executável para conjuntos de dados personalizados ou de grande porte