SKILLEMALL.ai
GitHub ↗ EN Войти

CD agent-qa-testing

Используйте, когда проект использует agent-qa и пользователь просит проверить его YAML, запустить выбранный регрессионный тест или провести триаж неудачного/успешного запуска с доказательствами memidex. Для общего инвентаря функций приложения используйте app-user-story-qa.

машинный переводПоказать оригиналСкрыть оригинал«Use when a project uses agent-qa and the user asks to validate its YAM…»

Use when a project uses agent-qa and the user asks to validate its YAML, run a selected regression test, or triage a failed/healed run with memidex evidence. For a general app feature inventory, use app-user-story-qa.

Не рекомендуетсяесть критические или высокие находки безопасности
majiayu000/spellbook Agent Skills автор: majiayu000 1 файл тело ≈ 1 544 токенов Открыть источникgithub.com↗ проанализирован 11 дн назад

Используйте, когда проект использует agent-qa и пользователь просит проверить его YAML, запустить выбранный регрессионный тест или провести триаж…

Как процесс D 49/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия

ПроцедураИИ и агентыДанные и аналитикатип и темы размечены автоматически по тексту скилла
Запускается в: Claude / Claude Code ChatGPT / Codex Gemini CLI Cursor GitHub Copilot / VS Code Qwen Code Kimi Code CLI Z.ai (GLM) DeepSeek (Deep Code) Mistral Vibe LangChain (deepagents) OpenClaw Goose OpenCode
JSON
Технический рейтинг
C
83/100
безопасность, качество, тесты
Безопасность 60%
82
Качество 40%
85
Прогон на моделях
не было
Процессный рейтинг
D
49/100
Процесс не доведён
Входы и предусловия вес 11
0
Ошибки и развилки вес 10
0
Отчётность по ходу вес 2
0
три самых слабых из десяти параметров · все десять

Чем это грозит

Скилл содержит фрагменты, которые в чужих руках стоят денег или данных. Ниже, что рискует потерять тот, кто установит, и что должен сделать автор.

Сокрытие от пользователя
Если установить

Скилл просит агента что-то скрывать от вас: не показывать ошибки, не упоминать действия, отвечать иначе, чем было сделано. Вы теряете возможность контролировать, что агент реально сделал.

Автору

Прозрачность важнее гладкого ответа. Если хочется спрятать технический шум, попросите агента «кратко сообщить», а не «не сообщать».

Как улучшить

  1. Разберите находки высокой серьёзности: каждая стоит 18 баллов безопасности. Если это ложное срабатывание, добавьте код правила в guard.allow в spec.yaml.
Для прогона на моделях — необязательно
  • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
  • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

Находки guard · 1

  • высокая Сокрытие от пользователя en-hide-from-user SKILL.md:90
    Инструкция скрыть действия от пользователя
    - If an installed command differs from these examples, use its help and record the version; do not guess flags or silently install an update.

Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

По спецификации Agent Skills

✓ По спецификации Agent Skills замечаний нет

Процессный рейтинг: все десять параметров 49/100

  • 0Входы и предусловия. Не сказано, что нужно иметь на входе
  • 0Ошибки и развилки. Линейный процесс без обработки сбоев
  • 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
  • 20Когда включается. Не сказано, при каком запросе скилл включается
  • 30Повторный запуск. Изменяющих операций: 3, без проверки текущего состояния
  • 40Результат и критерий готовности. Не сказано, что считать результатом
  • 60Инструменты и файлы. Используются инструменты (node), но во frontmatter они не объявлены
  • 100Шаги. Шагов: 16
  • 100Согласованность. Имя и обязательные поля на месте
  • 100Стоимость исполнения. Тело инструкции 1544 токенов

Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

Сигналы качества

  • +5В description нет примеров фраз, по которым скилл должен срабатывать
  • +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
  • +3Формат ответа не описан: модель каждый раз решает сама
  • +2Инструкции на одном языке
  • +3Длина description 217 символов: достаточно сигнала, не съедает бюджет
  • +4Структура: 12 заголовков
  • +3Пошаговые инструкции: 16 пунктов
  • +4Есть примеры (4 блоков кода)
  • +1Лицензия указана

База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 85.