skill-comply: Évaluation automatisée de la conformité

Évalue si les agents de codage respectent effectivement les compétences, les règles ou les définitions d’agents en :

1. Générer automatiquement des séquences de comportement attendues (spécifications) à partir de n’importe quel fichier .md
2. Générer automatiquement des scénarios avec une rigueur décroissante des invites (favorable → neutre → antagoniste)
3. L'exécution de ` claude -p ` et la capture des traces d'appels d'outils via `stream-json`
4. Classant les appels d’outils par rapport aux étapes des spécifications à l’aide d’un LLM (et non d’expressions régulières)
5. Vérification déterministe de l’ordre temporel
6. Génération de rapports autonomes comprenant les spécifications, les invites et les chronologies

Cibles prises en charge

• Compétences (skills/*/SKILL.md) : compétences de workflow telles que « search-first », guides TDD
• Règles (rules/common/*.md) : règles obligatoires telles que testing.md, security.md, git-workflow.md
• Définitions d’agents (agents/*.md) : vérification qu’un agent est bien invoqué au moment prévu (vérification interne du workflow non encore prise en charge)

Quand l’activer

• L'utilisateur exécute la commande « /skill-comply »
• L'utilisateur demande « cette règle est-elle réellement respectée ? »
• Après l’ajout de nouvelles règles/compétences, pour vérifier la conformité des agents
• Périodiquement, dans le cadre du maintien de la qualité

Utilisation

# Exécution complète
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Simulation (sans coût, spécifications et scénarios uniquement)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Modèles personnalisés
uv run python -m scripts.run --gen-model haiku --model sonnet 

Concept clé : indépendance vis-à-vis de la requête

Évalue si une compétence/règle est respectée même lorsque la consigne ne la prend pas explicitement en charge.

Contenu du rapport

Les rapports sont autonomes et comprennent :

1. La séquence de comportement attendue (spécification générée automatiquement)
2. Consignes du scénario (ce qui a été demandé à chaque niveau de rigueur)
3. Scores de conformité par scénario
4. Chronologies des appels à l’outil avec les étiquettes de classification LLM

Fonctionnalités avancées (facultatives)

Pour les utilisateurs familiarisés avec les hooks, les rapports incluent également des recommandations de promotion de hooks pour les étapes présentant une faible conformité. Il s’agit d’une information à titre indicatif : la principale valeur réside dans la visibilité de la conformité elle-même.