SKILLEMALL.ai
GitHub ↗ EN Войти

AB test-suite-curation

Аудит всего регрессионного набора тестов и его сокращение/реструктуризация с доказательствами: отпечатки покрытия для каждого теста, кластеризация близких дубликатов AST, анализ истории CI для никогда не сбоящих и нестабильных тестов, правила принятия решений о сокращении (избыточные/устаревшие/низкоценные/оставить), категоризация на уровни smoke/core/extended по риску и истории обнаружения дефектов, а также обоснованная запись «что мы удалили и почему». Удаление разрушительно — карантин и одобрение человеком обязательны. Используйте, когда: «аудит набора тестов», «сократить избыточные тесты», «найти дублирующиеся тесты», «какие тесты можно удалить», «реструктурировать в smoke/core/extended», «окупается ли этот тест», «уменьшить регрессионный набор». Не для: оценки того, хорошо ли написан отдельный тест (запахи, утверждения) — это ai-qa-review. Исправление одного нестабильного теста во время выполнения — это test-reliability. Массовое восстановление селекторов после рефакторинга UI — это selector-drift-recovery. Связанные: ai-qa-review, coverage-analysis, test-reliability, risk-based-testing, qa-project-context.

машинный переводПоказать оригиналСкрыть оригинал«Audit a whole regression suite and prune/restructure it with evidence:…»

Audit a whole regression suite and prune/restructure it with evidence: per-test coverage fingerprinting, AST near-duplicate clustering, CI-history mining for never-failing and flaky tests, prune decision rules (redundant/obsolete/low-value/keep), smoke/core/extended tiering by risk and defect-detection history, and a defensible "what we deleted and why" record. Deletion is destructive — quarantine and human sign-off are mandatory. Use when: "audit the test suite," "prune redundant tests," "find duplicate tests," "which tests can we delete," "restructure into smoke/core/extended," "is this test pulling its weight," "shrink the regression suite." Not for: Judging whether an individual test is WELL-WRITTEN (smells, assertions) — that is ai-qa-review. Healing one flaky test at runtime — that is test-reliability. Bulk selector regeneration after a UI refactor — that is selector-drift-recovery. Related: ai-qa-review, coverage-analysis, test-reliability, risk-based-testing, qa-project-context.

petrkindlmann/qa-skills Agent Skills автор: petrkindlmann MIT 8 файлов тело ≈ 5 999 токенов Открыть источникgithub.com↗ проанализирован 2 дн назад

Аудит всего регрессионного набора тестов и его сокращение/реструктуризация с доказательствами: отпечатки покрытия для каждого теста, кластеризация близких…

Как процесс B 66/100 · Почти готов — слабые места: результат и критерий готовности, входы и предусловия

АнализаторРазработкаДанные и аналитикатип и темы размечены автоматически по тексту скилла
Запускается в: Claude / Claude Code ChatGPT / Codex Gemini CLI Cursor GitHub Copilot / VS Code Qwen Code Kimi Code CLI Z.ai (GLM) DeepSeek (Deep Code) Mistral Vibe LangChain (deepagents) OpenClaw Goose OpenCode
JSON
Технический рейтинг
A
94/100
безопасность, качество, тесты
Безопасность 60%
100
Качество 40%
85
Прогон на моделях
не было
Процессный рейтинг
B
66/100
Почти готов
Входы и предусловия вес 11
0
Результат и критерий готовности вес 14
40
Когда включается вес 12
50
три самых слабых из десяти параметров · все десять

Как улучшить

  1. Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
Для прогона на моделях — необязательно
  • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
  • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

Находки guard · 0

✓ Критических и высоких находок нет

Просканировано файлов: 8. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

По спецификации Agent Skills

  • предупреждение body-long тело SKILL.md ≈ 5999 токенов (рекомендуется < 5000); вынесите детали в references/
  • заметка edit-residue в тексте есть пометки об устаревшем (строки 14, 38, 40, 119, 123, 148): проверьте, не остались ли старые правила рядом с новыми — полная проверка читает текст на противоречия

Процессный рейтинг: все десять параметров 66/100

  • 0Входы и предусловия. Не сказано, что нужно иметь на входе
  • 40Результат и критерий готовности. Не сказано, что считать результатом
  • 50Когда включается. Не сказано, при каком запросе скилл включается
  • 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
  • 70Стоимость исполнения. Тело инструкции 5999 токенов
  • 100Шаги. Шагов: 55
  • 100Ошибки и развилки. Развилок: 1, есть раздел про ошибки
  • 100Согласованность. Имя и обязательные поля на месте
  • 100Повторный запуск. Изменяющие операции проверяют текущее состояние
  • 100Отчётность по ходу. Скилл сообщает о ходе работы
  • medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
  • low Разделов верхнего уровня: 16. Похоже на несколько доменов в одном скилле

Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

Сигналы качества

  • +3Длина description 1001: рекомендуется 120–800 символов
  • +3Формат ответа не описан: модель каждый раз решает сама
  • +2Инструкции на одном языке
  • +5В description 8 примера фраз-триггеров в кавычках
  • +4Описание говорит, когда скилл НЕ применять
  • +4Структура: 25 заголовков
  • +3Пошаговые инструкции: 55 пунктов
  • +4Есть примеры (1 блоков кода)
  • +4Справочные файлы упоминаются в инструкциях (7 из 7)
  • +1Лицензия указана

База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 85.