CC tao-analyze-detection-kpi
Выполнить анализ KPI сервисов данных TAO для обнаружения объектов, сравнивая выводы модели с эталонными данными для вычисления TP/FP/FN/TN, точности, полноты, общей точности и AP для каждого класса при фиксированном IoU. Используйте, когда рабочий процесс обнаружения объектов требует отчета mAP для каждого класса после вывода, или когда пользователь просит "выполнить анализ KPI", "вычислить mAP обнаружения" или "оценить мои предсказания OD по сравнению с эталонными данными".
машинный переводПоказать оригиналСкрыть оригинал«Run TAO Data Services KPI analysis for object detection, comparing inf…»
Run TAO Data Services KPI analysis for object detection, comparing inference annotations against ground truth to compute per-class TP/FP/FN/TN, precision, recall, accuracy, and AP at a fixed IoU. Use when an object detection workflow needs per-class mAP reported after inference, or when the user asks to "run KPI analyze", "compute detection mAP", or "score my OD predictions against ground truth".
Выполнить анализ KPI сервисов данных TAO для обнаружения объектов, сравнивая выводы модели с эталонными данными для вычисления TP/FP/FN/TN, точности, полноты…
Как процесс C 56/100 · Есть пробелы — Скилл ссылается на файлы, которых нет в архиве: assets/example_mapping.yaml, assets/default_kpi_analyze.yaml
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл просит больше прав, чем нужно для задачи: широкий доступ к инструментам, секретные переменные окружения, бинарные файлы. Каждое лишнее право расширяет ущерб при ошибке или взломе.
Сузьте allowed-tools и список переменных до минимума, замените бинарники на исходники или скрипты, которые можно прочитать.
Как улучшить
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
✓ Критических и высоких находок нет
Средние и низкие: 1
-
средняя Широкие права
meta-broad-allowed-toolsSKILL.md:1Заранее разрешены широкие инструменты: Bashallowed-tools: Read Bash
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
missing-refссылка на отсутствующий файл: assets/example_mapping.yaml - предупреждение
missing-refссылка на отсутствующий файл: assets/default_kpi_analyze.yaml
Процессный рейтинг: все десять параметров 56/100
- 0Инструменты и файлы. Не хватает 2 файла(ов): assets/example_mapping.yaml, assets/default_kpi_analyze.yaml
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 30Повторный запуск. Изменяющих операций: 5, без проверки текущего состояния
- 70Когда включается. Сказано, когда применять, но не сказано, когда не стоит
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 85Шаги. Шагов: 4, расплывчатых формулировок: 1
- 100Ошибки и развилки. Развилок: 1, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 2468 токенов
- 100Отчётность по ходу. Скилл сообщает о ходе работы
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +2Инструкции на одном языке
- +5В description 3 примера фраз-триггеров в кавычках
- +3Длина description 399 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 8 заголовков
- +3Пошаговые инструкции: 4 пунктов
- +4Есть примеры (9 блоков кода)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 81.