BC skill-reviewer
Оценивает и ранжирует AgentSkills по четырем параметрам: качество дизайна, качество контента, безопасность и удобство использования. Используйте, когда вас попросят оценить или проранжировать качество навыка — это создаст числовую оценку с рейтингами по каждому параметру. Срабатывает по запросам «оцени этот навык», «ранжируй навык», «оцени качество навыка», «проверь навык», «оценка навыка», «给技能打分», «技能评分».
машинный переводПоказать оригиналСкрыть оригинал«Score and grade AgentSkills across four dimensions: design quality, co…»
Score and grade AgentSkills across four dimensions: design quality, content quality, security, and usability. Use when asked to score, grade, evaluate, or rate a skill's quality — producing a numeric scorecard with dimension-by-dimension ratings. Triggers on "score this skill", "grade skill", "rate skill quality", "evaluate skill", "skill scorecard", "给技能打分", "技能评分".
Оценивает и ранжирует AgentSkills по четырем параметрам: качество дизайна, качество контента, безопасность и удобство использования.
Как процесс C 62/100 · Есть пробелы — слабые места: результат и критерий готовности, входы и предусловия, согласованность
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.
Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 7
✓ Критических и высоких находок нет
Средние и низкие: 7
-
средняя Опасные команды
cmd-pipe-to-shellreferences/security.md:65Скачивание и запуск удалённого кода с неизвестного хоста (pipe в shell) (документация security-скилла)| C3 | Remote execution: curl\|bash, wget\|sh, eval $(curl), pip install from HTTP URLs | |
security-скилл -
низкая Рискованное назначение
intent-offensive-securityreferences/security.md:44Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)# C8: Privilege escalation
-
низкая Рискованное назначение
intent-offensive-securityreferences/security.md:63Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)| C1 | Credential harvesting: reads API keys/tokens in code AND makes network calls | Both must be present in same file |
-
низкая Опасные команды
cmd-privilegereferences/security.md:70Повышение привилегий / права на запись для всех (документация security-скилла)| C8 | Privilege escalation: sudo, chmod 777, setuid, writes to system paths | In executable code, not docs |
security-скилл -
низкая Рискованное назначение
intent-offensive-securityreferences/security.md:70Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)| C8 | Privilege escalation: sudo, chmod 777, setuid, writes to system paths | In executable code, not docs |
Ещё 2 совпадений отнесены к цитатам в документации скилла по безопасности и не считаются находками.
Просканировано файлов: 7. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
frontmatter-yamlSKILL.md: фронтматтер не разбирается как YAML (YAML parse error: Nested mappings are not allowed in compact mappings at line 2, column 14: description: Score and grade AgentSkills across four dimensions: design quality… ^ ); поля прочитаны построчно. Обычная причина — двоеточие в незакавыченном значении
Процессный рейтинг: все десять параметров 62/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 40Согласованность. Имя во frontmatter (skill-reviewer) не совпадает с папкой (skill-quality-auditor)
- 70Когда включается. Сказано, когда применять, но не сказано, когда не стоит
- 70Ошибки и развилки. Развилок: 4
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 14
- 100Стоимость исполнения. Тело инструкции 680 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 5 примера фраз-триггеров в кавычках
- +3Длина description 369 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 10 заголовков
- +3Пошаговые инструкции: 14 пунктов
- +4Есть примеры (2 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (5 из 5)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 83.