AC launching-evals
Запускает, отслеживает, анализирует и отлаживает оценки LLM через nemo-evaluator-launcher. Охватывает запуск оценок, проверку статуса и текущего прогресса, отладку неудачных запусков, экспорт артефактов и логов, а также анализ результатов. ВСЕГДА активируется при упоминании запуска оценок, проверки прогресса, отладки неудачных оценок, анализа запусков или результатов, каталогов запусков или путей к артефактам в кластерах, проблем с заданиями Slurm, идентификаторов вызовов или при проверке логов (клиентских логов, серверных логов, SSH к кластеру, tail logs, grep logs). НЕ используйте для создания или изменения конфигураций оценок.
машинный переводПоказать оригиналСкрыть оригинал«Run, monitor, analyze, and debug LLM evaluations via nemo-evaluator-la…»
Run, monitor, analyze, and debug LLM evaluations via nemo-evaluator-launcher. Covers running evaluations, checking status and live progress, debugging failed runs, exporting artifacts and logs, and analyzing results. ALWAYS triggers on mentions of running evaluations, checking progress, debugging failed evals, analyzing or analysing runs or results, run directories or artifact paths on clusters, Slurm job issues, invocation IDs, or inspecting logs (client logs, server logs, SSH to cluster, tail logs, grep logs). Do NOT use for creating or modifying evaluation configs.
Запускает, отслеживает, анализирует и отлаживает оценки LLM через nemo-evaluator-launcher.
Как процесс C 59/100 · Есть пробелы — слабые места: результат и критерий готовности, входы и предусловия, повторный запуск
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 9. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 59/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 55Ошибки и развилки. Развилок: 1
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 100Шаги. Шагов: 14
- 100Когда включается. Сказано, когда применять и когда не применять
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1298 токенов
- low Ответ описан самодельной разметкой (5 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +3Формат ответа не описан: модель каждый раз решает сама
- +2Инструкции на одном языке
- +4Описание говорит, когда скилл НЕ применять
- +3Длина description 574 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 5 заголовков
- +3Пошаговые инструкции: 14 пунктов
- +4Есть примеры (1 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (4 из 4)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 93.