Дом
skill-comply
affaan-m/ECC
Автоматически проверяет, насколько агенты кодирования соответствуют требованиям к навыкам, правилам или определениям агентов, путем генерации сценариев с различными уровнями строгости подсказок, запуска агентов, классификации вызовов инструментов и составления отчетов о показателях соответствия с полной хронологией событий.
...Расширить всеskill-comply: Автоматизированная оценка соответствия
Оценивает, действительно ли агенты кодирования следуют навыкам, правилам или определениям агентов, путем:
- автоматического генерации ожидаемых последовательностей поведения (спецификаций) из любого файла .md
- Автоматического генерации сценариев с постепенным снижением строгости подсказок (поддерживающие → нейтральные → конкурирующие)
- Запускает
claude -pи фиксирует трассировки вызовов инструментов с помощью stream-json - Классификации вызовов инструментов по шагам спецификаций с использованием LLM (а не регулярных выражений)
- Детерминированной проверки временного порядка
- Генерация самодостаточных отчетов со спецификациями, подсказками и временными шкалами
Поддерживаемые цели
- Навыки (
skills/*/SKILL.md): навыки рабочего процесса, такие как search-first, руководства по TDD - Правила (
rules/common/*.md): обязательные правила, такие как testing.md, security.md, git-workflow.md - Определения агентов (
agents/*.md): вызывается ли агент в ожидаемый момент (внутренняя проверка рабочего процесса пока не поддерживается)
Когда активировать
- Пользователь запускает
команду «skill-comply » - Пользователь задает вопрос: «Действительно ли соблюдается это правило?»
- После добавления новых правил/навыков — для проверки соответствия агентов
- Периодически в рамках обеспечения качества
Использование
# Полный запуск
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Тестовый запуск (без затрат, только спецификации и сценарии)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Пользовательские модели
uv run python -m scripts.run --gen-model haiku --model sonnet
Ключевое понятие: Независимость от подсказки
Оценивает, соблюдается ли навык/правило даже в том случае, если подсказка явно его не поддерживает.
Содержание отчета
Отчеты являются самодостаточными и включают:
- Ожидаемую последовательность поведения (автоматически сгенерированную спецификацию)
- Подсказки сценария (что запрашивалось на каждом уровне строгости)
- Оценки соответствия по каждому сценарию
- Хронологию вызовов инструмента с метками классификации LLM
Расширенные возможности (опционально)
Для пользователей, знакомых с хуками, отчеты также содержат рекомендации по продвижению хуков для шагов с низким уровнем соответствия. Эта информация носит рекомендательный характер — основная ценность заключается в самой видимости соответствия.
---
name: skill-comply
description: Automatically measures whether coding agents follow skills, rules, or agent definitions by generating scenarios at multiple prompt strictness levels, running agents, classifying tool calls, and reporting compliance rates with full timelines.
---
# skill-comply: Automated Compliance Measurement
Measures whether coding agents actually follow skills, rules, or agent definitions by:
1. Auto-generating expected behavioral sequences (specs) from any .md file
2. Auto-generating scenarios with decreasing prompt strictness (supportive → neutral → competing)
3. Running `claude -p` and capturing tool call traces via stream-json
4. Classifying tool calls against spec steps using LLM (not regex)
5. Checking temporal ordering deterministically
6. Generating self-contained reports with spec, prompts, and timelines
## Supported Targets
- **Skills** (`skills/*/SKILL.md`): Workflow skills like search-first, TDD guides
- **Rules** (`rules/common/*.md`): Mandatory rules like testing.md, security.md, git-workflow.md
- **Agent definitions** (`agents/*.md`): Whether an agent gets invoked when expected (internal workflow verification not yet supported)
## When to Activate
- User runs `/skill-comply <path>`
- User asks "is this rule actually being followed?"
- After adding new rules/skills, to verify agent compliance
- Periodically as part of quality maintenance
## Usage
```bash
# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
```
## Key Concept: Prompt Independence
Measures whether a skill/rule is followed even when the prompt doesn't explicitly support it.
## Report Contents
Reports are self-contained and include:
1. Expected behavioral sequence (auto-generated spec)
2. Scenario prompts (what was asked at each strictness level)
3. Compliance scores per scenario
4. Tool call timelines with LLM classification labels
### Advanced (optional)
For users familiar with hooks, reports also include hook promotion recommendations for steps with low compliance. This is informational — the main value is the compliance visibility itself.
Все файлы
21 файловУстановить skill-comply
Скачайте файлы навыков и распакуйте их в каталог .claude/skills/.
Скачать ZIPКлонируйте репозиторий и скопируйте файлы навыка в свой проект.
git clone https://github.com/affaan-m/ECC/tree/main/skills/skill-comply # Copy SKILL.md to your .claude/skills/ directory
Копировать
