skill-comply: Automatisierte Überprüfung der Compliance

Misst, ob Programmierer tatsächlich die vorgegebenen Fähigkeiten, Regeln oder Agenten-Definitionen einhalten, indem:

1. Erstellung erwarteter Verhaltensabläufe (Spezifikationen) aus beliebigen .md-Dateien
2. Automatische Generierung von Szenarien mit abnehmender Strenge der Eingabeaufforderungen (unterstützend → neutral → konkurrierend)
3. Ausführung von „claude -p“ und Erfassung der Tool-Aufrufverläufe über „stream-json“
4. Klassifizierung von Tool-Aufrufen anhand von Spezifikationsschritten unter Verwendung von LLM (nicht Regex)
5. Deterministische Überprüfung der zeitlichen Reihenfolge
6. Erstellung eigenständiger Berichte mit Spezifikationen, Eingabeaufforderungen und Zeitachsen

Unterstützte Ziele

• Skills (skills/*/SKILL.md): Workflow-Skills wie „search-first“, TDD-Anleitungen
• Regeln (rules/common/*.md): Obligatorische Regeln wie „testing.md“, „security.md“, „git-workflow.md“
• Agentendefinitionen (agents/*.md): Ob ein Agent wie erwartet aufgerufen wird (interne Workflow-Überprüfung wird noch nicht unterstützt)

Wann aktivieren?

• Der Benutzer führt „/skill-comply “ aus
• Der Benutzer fragt: „Wird diese Regel tatsächlich befolgt?“
• Nach dem Hinzufügen neuer Regeln/Fähigkeiten, um die Einhaltung durch den Agenten zu überprüfen
• Regelmäßig im Rahmen der Qualitätssicherung

Verwendung

# Vollständiger Durchlauf
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Trockenlauf (keine Kosten, nur Spezifikation und Szenarien)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Benutzerdefinierte Modelle
uv run python -m scripts.run --gen-model haiku --model sonnet 

Schlüsselkonzept: Prompt-Unabhängigkeit

Misst, ob eine Fertigkeit/Regel auch dann befolgt wird, wenn die Eingabeaufforderung diese nicht explizit unterstützt.

Inhalt des Berichts

Berichte sind in sich geschlossen und enthalten:

1. Erwartete Verhaltensabfolge (automatisch generierte Spezifikation)
2. Szenario-Anweisungen (was auf jeder Strenge-Stufe abgefragt wurde)
3. Einhaltungswerte pro Szenario
4. Zeitachsen der Tool-Aufrufe mit LLM-Klassifizierungsbezeichnungen

Erweitert (optional)

Für Benutzer, die mit Hooks vertraut sind, enthalten die Berichte zudem Empfehlungen zur Förderung von Hooks für Schritte mit geringer Konformität. Dies dient lediglich zu Informationszwecken – der Hauptnutzen liegt in der Transparenz der Konformität selbst.