SKILLEMALL.ai
GitHub ↗ EN Войти

AB test-mutation

Запустить мутационное тестирование (StrykerJS, mutmut), чтобы измерить, утверждают ли тесты поведение, а не просто выполняют строки. Используйте, когда "добавить мутационное тестирование", "реальны ли наши тесты", "можно ли обмануть наш набор тестов" или после того, как агент массово сгенерировал тесты.

машинный переводПоказать оригиналСкрыть оригинал«Run mutation testing (StrykerJS, mutmut) to measure whether tests asse…»

Run mutation testing (StrykerJS, mutmut) to measure whether tests assert behavior, not just execute lines. Use when "add mutation testing", "are our tests real", "can our test suite be gamed", or after an agent bulk-generated tests.

kensaurus/skills Agent Skills автор: kensaurus MIT 1 файл тело ≈ 1 734 токенов Открыть источникgithub.com↗ проанализирован 6 дн назад

Запустить мутационное тестирование (StrykerJS, mutmut), чтобы измерить, утверждают ли тесты поведение, а не просто выполняют строки.

Как процесс B 65/100 · Почти готов — слабые места: когда включается, входы и предусловия, ошибки и развилки

ПроцедураДанные и аналитикаИИ и агентытип и темы размечены автоматически по тексту скилла
Запускается в: Claude / Claude Code ChatGPT / Codex Gemini CLI Cursor GitHub Copilot / VS Code Qwen Code Kimi Code CLI Z.ai (GLM) DeepSeek (Deep Code) Mistral Vibe LangChain (deepagents) OpenClaw Goose OpenCode
JSON
Технический рейтинг
A
96/100
безопасность, качество, тесты
Безопасность 60%
100
Качество 40%
89
Прогон на моделях
не было
Процессный рейтинг
B
65/100
Почти готов
Входы и предусловия вес 11
0
Ошибки и развилки вес 10
0
Отчётность по ходу вес 2
0
три самых слабых из десяти параметров · все десять

Как улучшить

    Для прогона на моделях — необязательно
    • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
    • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

    Находки guard · 0

    ✓ Критических и высоких находок нет

    Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

    По спецификации Agent Skills

    ✓ По спецификации Agent Skills замечаний нет

    Процессный рейтинг: все десять параметров 65/100

    • 0Входы и предусловия. Не сказано, что нужно иметь на входе
    • 0Ошибки и развилки. Линейный процесс без обработки сбоев
    • 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
    • 20Когда включается. Не сказано, при каком запросе скилл включается
    • 30Повторный запуск. Изменяющих операций: 6, без проверки текущего состояния
    • 100Инструменты и файлы. Внешние инструменты не нужны
    • 100Шаги. Шагов: 35
    • 100Результат и критерий готовности. Формат результата и критерий готовности описаны
    • 100Согласованность. Имя и обязательные поля на месте
    • 100Стоимость исполнения. Тело инструкции 1734 токенов
    • low Разделов верхнего уровня: 10. Похоже на несколько доменов в одном скилле
    • high Скилл велит модели самой совершать необратимое действие, без подтверждения человеком

    Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

    Сигналы качества

    • +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
    • +4Нет примеров входа/выхода
    • +2Инструкции на одном языке
    • +5В description 3 примера фраз-триггеров в кавычках
    • +3Длина description 232 символов: достаточно сигнала, не съедает бюджет
    • +4Структура: 11 заголовков
    • +3Пошаговые инструкции: 35 пунктов
    • +3Формат ответа описан явно
    • +1Лицензия указана

    База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 89.