skill-comply: Medición automatizada del cumplimiento

Mide si los agentes de codificación siguen realmente las habilidades, las reglas o las definiciones de los agentes mediante:

1. Generar automáticamente secuencias de comportamiento esperadas (especificaciones) a partir de cualquier archivo .md
2. La generación automática de escenarios con un nivel de rigor decreciente en las indicaciones (de apoyo → neutro → competitivo)
3. Ejecutando claude -p y capturando trazas de llamadas a herramientas mediante stream-json
4. Clasificar las llamadas a herramientas en función de los pasos de las especificaciones utilizando LLM (no expresiones regulares)
5. Comprobando el orden temporal de forma determinista
6. Generación de informes autónomos con especificaciones, indicaciones y cronologías

Objetivos compatibles

• Habilidades (skills/*/SKILL.md): habilidades de flujo de trabajo como «search-first» y guías de TDD
• Reglas (rules/common/*.md): reglas obligatorias como testing.md, security.md, git-workflow.md
• Definiciones de agentes (agents/*.md): si un agente se invoca cuando se espera (la verificación interna del flujo de trabajo aún no es compatible)

Cuándo se activa

• El usuario ejecuta «skill-comply »
• El usuario pregunta: «¿Se está cumpliendo realmente esta regla?»
• Tras añadir nuevas reglas o habilidades, para verificar el cumplimiento por parte de los agentes
• Periódicamente, como parte del mantenimiento de la calidad

Uso

# Ejecución completa
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Simulación (sin coste, solo especificaciones y escenarios)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Modelos personalizados
uv run python -m scripts.run --gen-model haiku --model sonnet 

Concepto clave: Independencia de la indicación

Mide si se sigue una habilidad o regla incluso cuando la indicación no la admite explícitamente.

Contenido del informe

Los informes son autónomos e incluyen:

1. Secuencia de comportamiento esperada (especificación generada automáticamente)
2. Indicaciones del escenario (lo que se pidió en cada nivel de rigor)
3. Puntuaciones de cumplimiento por escenario
4. Cronologías de llamadas a la herramienta con etiquetas de clasificación del LLM

Avanzado (opcional)

Para los usuarios familiarizados con los «hooks», los informes también incluyen recomendaciones de promoción de «hooks» para los pasos con bajo nivel de cumplimiento. Se trata de información de carácter orientativo: el principal valor reside en la propia visibilidad del cumplimiento.