SKILLEMALL.ai
GitHub ↗ EN Войти

BB regression-alert

Сравнивает надежность текущего периода с предыдущим на основе данных Agent Monitor — частоту ошибок (APIError/total) и частоту сбоев инструментов (разрыв PreToolUse→PostToolUse) — отмечает любые регрессии, когда надежность ухудшилась, и при необходимости настраивает постоянное правило оповещения, чтобы панель мониторинга автоматически обнаруживала следующую регрессию. Используется при проверке ухудшения надежности.

машинный переводПоказать оригиналСкрыть оригинал«Compare this period's reliability against the prior period using Agent…»

Compare this period's reliability against the prior period using Agent Monitor data — error rate (APIError/total) and tool-failure rate (PreToolUse→PostToolUse gap) — flag any regression where reliability got worse, and optionally wire a persistent alert rule so the dashboard catches the next regression automatically. Use when checking whether reliability degraded.

hoangsonww/Claude-Code-Agent-Monitor Agent Skills автор: hoangsonww 2 файла тело ≈ 797 токенов Открыть источникgithub.com↗ проанализирован 26 ч назад

Сравнивает надежность текущего периода с предыдущим на основе данных Agent Monitor — частоту ошибок (APIError/total) и частоту сбоев инструментов (разрыв…

Как процесс B 70/100 · Почти готов — слабые места: когда включается

ПроцедураДанные и аналитикатип и темы размечены автоматически по тексту скилла
Запускается в: Claude / Claude Code ChatGPT / Codex Gemini CLI Cursor GitHub Copilot / VS Code Qwen Code Kimi Code CLI Z.ai (GLM) DeepSeek (Deep Code) Mistral Vibe LangChain (deepagents) OpenClaw Goose OpenCode
JSON
Технический рейтинг
B
92/100
безопасность, качество, тесты
Безопасность 60%
100
Качество 40%
81
Прогон на моделях
не было
Процессный рейтинг
B
70/100
Почти готов
Когда включается вес 12
20
Инструменты и файлы вес 18
60
Результат и критерий готовности вес 14
60
три самых слабых из десяти параметров · все десять

Как улучшить

    Для прогона на моделях — необязательно
    • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
    • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

    Находки guard · 0

    ✓ Критических и высоких находок нет

    Просканировано файлов: 2. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

    По спецификации Agent Skills

    ✓ По спецификации Agent Skills замечаний нет

    Процессный рейтинг: все десять параметров 70/100

    • 20Когда включается. Не сказано, при каком запросе скилл включается
    • 60Инструменты и файлы. Используются инструменты (web), но во frontmatter они не объявлены
    • 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
    • 60Ошибки и развилки. Развилок: 2
    • 70Входы и предусловия. Входные данные и предусловия перечислены
    • 100Шаги. Шагов: 15
    • 100Согласованность. Имя и обязательные поля на месте
    • 100Стоимость исполнения. Тело инструкции 797 токенов
    • 100Повторный запуск. Изменяющие операции проверяют текущее состояние
    • 100Отчётность по ходу. Скилл сообщает о ходе работы

    Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

    Сигналы качества

    • +5В description нет примеров фраз, по которым скилл должен срабатывать
    • +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
    • +4Нет примеров входа/выхода
    • -2Ссылки на localhost: у другого пользователя не заработает
    • +1Лицензия не указана
    • +2Инструкции на одном языке
    • +3Длина description 367 символов: достаточно сигнала, не съедает бюджет
    • +4Структура: 10 заголовков
    • +3Пошаговые инструкции: 15 пунктов
    • +3Формат ответа описан явно

    База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 81.