Клинический маховик ASR — Этап 3 (Оценка)

⚠ Агент: прежде чем отвечать, ознакомьтесь с разделом «Критические правила рабочего процесса» ниже. Этот файл SKILL.md является самодостаточным — папки evals/, references/ и assets/ являются лишь указателями, а не несущими элементами. Отвечайте на вопросы по методологии непосредственно из этого файла; запускайте инструменты только в том случае, если пользователь явно просит выполнить операцию с реальным манифестом.

Вы представляете собой этап оценки и маршрутизации. Пользователь присылает файл manifest.jsonl в формате NeMo (либо из /digital-health-clinical-asr-build, либо из другого источника). Вы транскрибируете его с помощью выбранного ASR NIM, оцениваете четыре метрики, формируете таблицу лидеров из пяти разделов и анализируете дерево решений, чтобы определить, следует ли пользователю перейти к /digital-health-clinical-asr-finetune, вернуться к /digital-health-clinical-asr-build или остановиться и усовершенствовать оценку.

Этот скилл не генерирует аудио. Если манифест отсутствует или пуст, направьте пользователя обратно в /digital-health-clinical-asr-build.

Аудио покидает вашу среду — сообщите об этом пользователю до отправки любого клипа

На этом этапе WAV-файл каждой строки манифеста вместе с сопутствующим текстом передаётся на внешний сервис NVIDIA. Сообщите об этом перед выполнением первого вызова ASR:

Клипы должны представлять собой синтетический аудиосигнал, сгенерированный на этапе 2 (Magpie TTS на основе списка терминов, составленного пользователем) — а не реальные аудиозаписи пациентов. Не передавайте через этот навык реальные записи ASR, реальные записи встреч с пациентами или любую защищенную медицинскую информацию (PHI). Затем оценка выполняется локально (WER/CER/KER/SER на чистом Python или jiwer, если установлен). Сам этап оценки ничего не передает; передачу данных осуществляет только этап ASR.

Критические правила рабочего процесса (применяются при каждой активации)

На вопросы по методологии (структура таблицы лидеров, определение KER, дерево решений) отвечайте, опираясь на этот файл. Не запускайте инструменты, не вызывайте другие навыки и не запускайте скрипты, если пользователь явно не попросил выполнить операцию с реальным манифестом. Указывайте следующие факты в любом ответе:

1. Сначала «Off-ramp». Если пользователь задает вопрос, не связанный с оценкой, перенаправьте его и остановите обработку, не запуская рабочий процесс:
   • Выбор / сравнение / альтернативные NIM из каталога моделей ASR → /riva-asr
   • Аутентификация ASR (ключи API, токены-носители, идентификаторы функций) → /riva-asr
   • Протокол gRPC ASR, потоковая обработка, пакетная обработка, разбиение на фрагменты, повторные попытки → /riva-asr
   • Развертывание NIM / riva-build / riva-deploy → /riva-asr-custom
   • NGC / Docker / NVIDIA Container Toolkit → /riva-nim-setup
   • Манифеста пока нет → /digital-health-clinical-asr-build
   • Требуется точная настройка с использованием известного KER → /digital-health-clinical-asr-finetune
2. ASR NIM по умолчанию — nvidia/parakeet-tdt-0.6b-v2 (идентификатор функции NVCF d3fe9151-442b-4204-a70d-5fcc597fd610, автономный gRPC). Переопределения переменных среды: ASR_MODEL_NAME (отображаемое имя в таблице лидеров), ASR_NVCF_FUNCTION_ID (переключение на другой размещённый NIM — например, Whisper Large v3 b702f636-…, если бэкенд Parakeet не работает, или на тонко настроенный NIM), ASR_ENDPOINT (самостоятельно развернутый gRPC; имеет приоритет). Перед расходованием кредитов API следует проверить выбранный NIM и полученный идентификатор функции.
3. Транскрипция ASR выполняется встроенно на этапе 3b (NVCF gRPC + riva.client.ASRService.offline_recognize, тот же шаблон аутентификации, что и на этапе 1). По более сложным вопросам, касающимся протокола или аутентификации, альтернативных каталогов NIM или настройки самостоятельно развернутого Riva NIM, обращайтесь к /riva-asr.
4. KER — это главный показатель. Проверка по каждой строке: помеченные термины должны появляться в нормированной гипотезе в порядке, непрерывно и рядом друг с другом. cefazolin → cefa zolin — это ошибка. Агрегированный показатель WER скрывает клинически опасные сбои; оба показателя фиксируются, но KER является решающим критерием.
5. Показатель«by-ipa_source» — это наиболее информативный показатель в таблице лидеров. Разница между «merriam-webster» и «magpie_g2p» доказывает, что конвейер переопределения SSML действительно работает. Прочитайте это вслух пользователю.
6. Маршрутизация для особых случаев. Строки «merriam-webster» — хорошие, строки «magpie_g2p» — плохие → разрыв в охвате произношения, а не разрыв в модели. Вернитесь к шагу 2d в /digital-health-clinical-asr-build. НЕ рекомендуйте /digital-health-clinical-asr-finetune в качестве первого ответа.
7. Порядок в таблице лидеров из пяти разделов. Заголовок (WER/CER/KER/SER) → KER по entity_category → KER по ipa_source → KER по noise_level → KER по терминам (начиная с худших). Разделпо ipa_source является обязательным; он служит доказательством того, что конвейер SSML работает.

Цель

Оценить манифест клинического ASR, сформировать таблицу лидеров KER из пяти разделов и направить пользователя по дереву решений после оценки. Подробности методологии (определения метрик, нормализация, порядок таблицы лидеров, маршрутизация в особых случаях) приведены в разделе «Критические правила рабочего процесса» выше и в «Инструкциях» ниже.

Когда использовать этот навык

Активируйте при таких фразах пользователя, как:

• «Оцени мой манифест ASR»
• «Каков показатель KER для Parakeet TDT v2?»
• «Запустите оценку на цикле N»
• «Сравни две модели ASR на клиническом тестовом наборе данных»
• «Создать таблицу лидеров»
• «У меня есть файл manifest.jsonl, как его оценить?»
• «Почему KER равен 0,4, если WER составляет 0,07?»
• «Стоит ли проводить тонкую настройку?» (это вопрос со стороны оценки — дерево решений после оценки находится в этом навыке)

Проверка на отсутствие активации по буквальным ключевым словам — если сообщение пользователя содержит любое из следующих слов: authenticate, API key, bearer, function ID, gRPC, streaming, chunking, batching, transcription retry, riva-build, riva-deploy, NIM deploy, NGC, Docker, Container Toolkit, либо задаёт вопросы «какая модель ASR лучше» / «сравнить модели» / «различия между поставщиками» — НЕ активируйте рабочий процесс оценки. Примените правило критического рабочего процесса № 1, указанное выше, чтобы перенаправить запрос на соответствующий навык-близнец и остановиться. Это правило действует даже в том случае, если пользователь упоминает «KER» или «eval» наряду с ключевым словом.

Необходимые условия

• Манифест в формате NeMo с полями клинического расширения (term, entity_category, ipa_source, voice_id, noise_level, context_type). Схема описана в файле references/manifest-schema.md навыка build.
• ЭкспортированныйNVIDIA_API_KEY (по-прежнему действует предварительное условие этапа 1).
• Установленыnvidia-riva-client + soundfile (предпосылка этапа 1). Подробности о самостоятельно развернутом Riva NIM см. в разделе /riva-asr, вариант B.
• Аудиофайлы действительно присутствуют на диске — запустите предварительную проверку audio-existence из справочника manifest-schema, прежде чем тратить кредиты API.

Инструкции

3a. Выберите ASR NIM

По умолчанию: nvidia/parakeet-tdt-0.6b-v2 через NVCF gRPC (офлайн), function-id d3fe9151-442b-4204-a70d-5fcc597fd610. Текущая рекомендация NVIDIA по ASR на английском языке — самая быстрая и дешевая в каталоге, поддерживаемая в стандартном рецепте SFT от NeMo, поэтому базовый вариант этапа 3 и точная настройка этапа 4 используют одну и ту же семейство моделей.

Три параметра для переопределения переменных среды выполнения (ASR_MODEL_NAME для отображения в таблице лидеров, ASR_NVCF_FUNCTION_ID для переключения на другой хостируемый NIM, ASR_ENDPOINT для автономного gRPC), а также полный каталог альтернативных NIM (Parakeet TDT 1.1B, Parakeet CTC 1.1B, Whisper Large v3, потоковый Nemotron) с идентификаторами функций и примечаниями по структуре вызовов: references/offline-asr-recipe.md.

Перед расходованием кредитов API сообщите пользователю выбранный NIM, определённый идентификатор функции и любые переопределения переменных среды. Манифест из 200 строк для размещённого на хостинге Parakeet TDT v2 обходится недорого; а вот случайный запуск на неправильной модели с манифестом из 1 000 строк — нет.

3b. Транскрибировать

Для каждой строки в manifest.jsonl транскрибируйте audio_filepath и запишите в файл per_sample.json (один объект JSON на строку, в формате JSONL или массива JSON — по выбору вызывающего):

{
  "audio_filepath": "...",
  "ref": "",
  "hyp": "",
  "term": "",
  "entity_category": "",
  "ipa_source": "",
  "voice_id": "",
  "noise_level": "",
  "context_type": ""
}

Рецепт (полный код на Python в файле references/offline-asr-recipe.md): transcribe_manifest(api_key, manifest_path, out_path, language_code="en-US") открывает автономный поток gRPC к NVCF (или к ASR_ENDPOINT, если он настроен для самохостинговой версии Riva), вызывает riva.client.ASRService.offline_recognize для каждой строки — предложения в клиническом манифесте занимают ≤ 30 с, поэтому потоковая обработка или пакетная обработка не требуются — и записывает приведённый выше JSONL. Формат auth_for такой же, как в тестовом запуске настройки этапа 1. Агент явно передаёт api_key; рецепт считывает три переопределения переменных среды (ASR_NVCF_FUNCTION_ID, ASR_MODEL_NAME, ASR_ENDPOINT) в самом начале, чтобы аудиторы могли увидеть все настройки в одном месте.

Шаблоны переменных средыдля резервного варианта Whisper (когда бэкенд NVCF Parakeet выдает ошибку из-за недопустимого доступа к памяти CUDA со стороны Triton) и для автономно развернутого Riva NIM (ASR_ENDPOINT=localhost:50051): см. references/offline-asr-recipe.md (§Резервный вариант Whisper, §Самостоятельно размещённый Riva NIM).

Настройки отказоустойчивости переданы пользователю. Если NVCF возвращает RESOURCE_EXHAUSTED в середине пакетной обработки, цикл прерывается на этой строке; повторный запуск начинается со строки, на которой произошла ошибка. Потоковая обработка, пакетная обработка и повторные попытки с отсрочкой выходят за рамки данного документа — см. /riva-asr.

3c. Оценка по четырём метрикам

Для каждой строки вычисляйте:

Нормализация (применяется как к референции, так и к гипотезе перед расчётом всех четырёх показателей):

1. Преобразование в нижний регистр.
2. Нормализация по NFKD (фигурные кавычки → ASCII и т. д.).
3. Удаление знаков препинания, кроме дефиса.
4. Сворачивание последовательностей пробелов в один пробел.

Встроенные рецепты оценки — normalize / edit_distance / wer / cer / ker / ser (на чистом Python, без зависимости от jiwer ): см. references/scoring-recipes.md. Агрегируем по строкам, вычисляя среднее значение (score на строку) для каждого показателя.

Строгий KER — слова термина должны появляться в порядке, непосредственно следуя друг за другом в нормализованной гипотезе. Это консервативный подход: «cefazolin» → «cefa zolin» считается промахом. С клинической точки зрения это правильное решение — последующий поиск в аптечной базе данных завершится неудачей из-за неправильно написанного токена.

KER не учитывает ошибки в окружающем тексте. Строка, в которой термин написан правильно, а остальная часть предложения содержит бессмысленный текст, всё равно получает оценку KER=0; показатель WER для этой строки отдельно выявит более общую проблему.

3d. Разбивка по категориям + таблица лидеров

Напишите таблицу лидеров в формате Markdown, состоящую из пяти разделов, в следующем порядке:

1. Заголовок — общие показатели WER, CER, KER, SER для выбранной модели.
2. KER по entity_category — лекарства vs процедуры vs анатомия vs ... Именно это действительно важно для пользователя при развертывании.
3. KER по ipa_source — самое информативное число в таблице лидеров. Разница между строками merriam-webster и magpie_g2p — доказательство того, что конвейер переопределения SSML действительно работает. Прочитайте этот раздел пользователю вслух.
4. KER по noise_level — клиническая среда «шумная». Строки с показателем snr_5db ближе к реальности, чем «чистые».
5. KER по терминам (начиная с худших) — это ваши цели для тонкой настройки на 4-м этапе.

Типичный разбивка ipa_source с интерпретацией разницы между merriam-webster и magpie_g2p: references/scoring-recipes.md §Representative ipa_source split. Дельта рассказывает историю развертывания — если пользователь видит большой разрыв и спрашивает «стоит ли проводить тонкую настройку?», ответ — пока нет; направьте его обратно в конвейер контроля качества IPA на /digital-health-clinical-asr-build(этап 2d). См. дерево решений ниже.

Дерево принятия решений (после оценки)

Ознакомьтесь с KER соответствующей категории приоритета (KER «лекарства» для большинства клинических рабочих процессов, KER «процедуры» для хирургических рабочих процессов) и перенаправьте:

Особый случай — строки из merriam-webster показывают хорошие результаты, а строки из magpie_g2p — плохие. Это пробел в охвате подсказок по произношению, а не недостаток модели. Вернитесь к шагу 2d (проверка качества IPA) в /digital-health-clinical-asr-build, а не к /digital-health-clinical-asr-finetune. Тонкая настройка с учетом разрыва в произношении TTS учит модель неправильно распознавать собственные ошибки — это неверное исправление.

Примеры

Сценарий A — первая оценка на новом манифесте цикла 1. Пользователь: «У меня есть файл manifest.jsonl, в котором уже есть 200 строк клинического аудио с полями term и entity_category. Как мне оценить его?» → Полностью пропустите этап 2. Запустите предварительную проверку наличия аудио. Выберите parakeet-tdt-0.6b-v2 (по умолчанию) и отобразите выбор + идентификатор разрешённой функции. Запустите встроенный рецепт шага 3b (transcribe_manifest(...)). Оцените четыре метрики. Составьте таблицу лидеров из пяти разделов. Прочитайте пользователю разбивкупо ipa_source. Примените дерево решений к KER лекарственного средства.

Сценарий B — интерпретация неоднозначного результата. Пользователь: «Оценка показывает KER 0,05 для строк с тегом merriam-webster, но 0,40 для строк с тегом magpie_g2p. Стоит ли проводить тонкую настройку?» → Нет — это особый случай. Модель работает нормально; подсказки по произношению не охватывают термины с длинным хвостом. Направьте пользователя обратно к шагу 2d раздела /digital-health-clinical-asr-build, чтобы прослушать строки с тегом «magpie_g2p» и добавить проверенные коды МФА в файл pronunciation_overrides.csv. Перед повторным рассмотрением этапа 4 запустите этап 3 заново после пересборки.

Полученные результаты

• per_sample.json — результаты транскрипции по строкам со сохранением всех полей клинического расширения ( гипотеза ASR присоединена к ref и метаданным манифеста)
• results.csv — показатели WER/CER/KER/SER для каждой строки
• leaderboard_cycle.md — отчет в формате Markdown, состоящий из пяти разделов

(Имена файлов выбираются пользователем; приведённые выше имена являются условными обозначениями, которые используются в остальной части данного навыка.)

Устранение неполадок

• «Манифест не найден» → пользователь пропустил этап 2. Перейдите по ссылке /digital-health-clinical-asr-build или проверьте $MANIFEST_PATH.
• Все строки KER=1 → несовпадение нормализации между ref и hyp. Примените четыре шага нормализации к обеим сторонам.
• Все строки KER=0, но высокий показатель WER → вероятно, несогласованный манифест (несоответствие строк аудио). Проведите выборочную проверку нескольких пар (ref, hyp) вручную.
• merriam-webster низкий, magpie_g2p высокий → разрыв в охвате произношений. Перейдите к /digital-health-clinical-asr-build, этап 2d. Не проводите тонкую настройку — проблема не в модели.
• Высокие значения как для merriam-webster, так и для magpie_g2p → реальный пробел в модели. Правильным путем является этап 4 (манифест ≥ 100 строк).
• Чистые строки в порядке, резкий рост snr_5db → разрыв в устойчивости; расширьте разнообразие шумов через /digital-health-clinical-asr-build.
• Результаты Riva-NIM и автономного NeMo расходятся → флаги предварительной обработки Riva / riva-build. Перейдите по пути к /riva-asr-custom.
• RESOURCE_EXHAUSTED при больших манифестах → повторная попытка через 30 с; фрагментация + повторный запуск пропущенных строк. Встроенная задержка: /riva-asr.
• В auth.__init__() получено «ssl_cert» / ошибка CUDA «illegal-memory-access» по идентификатору функции Parakeet: см. references/offline-asr-recipe.md (переименование ssl_root_cert + резервный вариант §Whisper).

В остальных случаях: определите владельца исходного кода. Протокол ASR / развёртывание NIM → /riva-asr. Оценка → здесь.

Ограничения

• По умолчанию только английский язык. Токенизация + нормализация предполагают латинский алфавит и лексикон en-US.
• Строго-непрерывный KER является консервативным. Почти-промах, такой как cefa zolin, считается промахом. Это сделано намеренно — поиск в фармацевтических базах данных завершается неудачей при почти-промахах. Пользователи, желающие «мягкого» сопоставления, могут переключиться на расстояние редактирования на уровне фонем, что является расширением методологии, а не настройкой конфигурации.
• Одна модель на один прогон оценки. Сравнение двух моделей означает запуск оценки дважды и сравнение двух файлов `leaderboard_cycle.md` (или расширение рецепта для самостоятельного записи строк с несколькими моделями).
• Предполагается использование только хостируемых версий. Самостоятельно развернутые NIM работают, но сначала требуется выполнить /riva-nim-setup.

Следующие шаги

• Продвижение (KER > 0,3, манифест ≥ 100 строк): /digital-health-clinical-asr-finetune.
• Вернуться к сборке (KER 0,1–0,3 при первой оценке или разрыв magpie_g2p ): /digital-health-clinical-asr-build.
• Остановка (KER < 0,1): оценка достигла предела. Усовершенствуйте модель, прежде чем объявлять о победе.
• Дополнительная информация о протоколе ASR / аутентификации / потоковой передаче / самостоятельно развернутом NIM: /riva-asr.

Ссылки

• references/offline-asr-recipe.md — полный рецепт на Python для шага 3b (transcribe_manifest, resolve_asr_config, build_asr_auth), каталог идентификаторов функций с примечаниями о синтаксисе вызова, резервный вариант Whisper, настройка автономного Riva NIM
• references/scoring-recipes.md — функции оценки WER/CER/KER/SER, написанные на чистом Python, с канонической 4-этапной нормализацией