BD skill-evaluation
Автоматически оценивает Skill и выводит отчет об оценке. Поддерживает проверку одного Skill, сравнительную оценку нескольких Skill, сравнение нескольких моделей и сравнение фреймворков. Активируется, когда пользователь говорит «оценить skill», «запустить оценку», «проверить этот skill», «сравнить эффективность skill», «сравнительная оценка», «проверить работу skill».
машинный переводПоказать оригиналСкрыть оригинал«对 Skill 进行自动化评测，并输出评测报告。支持单 Skill 验证、多 Skill 横评、多模型对比、运行框架对比。当用户提到"评测…»
对 Skill 进行自动化评测，并输出评测报告。支持单 Skill 验证、多 Skill 横评、多模型对比、运行框架对比。当用户提到"评测 skill"、"跑评测"、"测一下这个 skill"、"对比 skill 效果"、"横评"、"验证 skill 表现"时触发。
Автоматически оценивает Skill и выводит отчет об оценке.
Как процесс D 46/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Чем это грозит
Скилл содержит фрагменты, которые в чужих руках стоят денег или данных. Ниже, что рискует потерять тот, кто установит, и что должен сделать автор.
Скилл просит агента что-то скрывать от вас: не показывать ошибки, не упоминать действия, отвечать иначе, чем было сделано. Вы теряете возможность контролировать, что агент реально сделал.
Прозрачность важнее гладкого ответа. Если хочется спрятать технический шум, попросите агента «кратко сообщить», а не «не сообщать».
Как улучшить
- Разберите находки высокой серьёзности: каждая стоит 18 баллов безопасности. Если это ложное срабатывание, добавьте код правила в guard.allow в spec.yaml.
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
-
высокая Сокрытие от пользователя
en-hide-from-userskill-card.md:20Инструкция скрыть действия от пользователяRisk: The skill can silently upload selected skills, datasets, and attachments to the configured cloud service. <br>
Просканировано файлов: 34. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда")
Процессный рейтинг: все десять параметров 46/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 100Шаги. Шагов: 11
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 507 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- -32 из 2 скриптов не упомянуты в SKILL.md
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 4 примера фраз-триггеров в кавычках
- +3Длина description 133 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 6 заголовков
- +3Пошаговые инструкции: 11 пунктов
- +4Есть примеры (2 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (2 из 5)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 78.