AB qa-metrics
Определение, отслеживание и управление QA-метриками: процент покрытия тестами, коэффициент нестабильности, процент пропущенных дефектов, MTTR, тенденции времени выполнения тестов, ROI автоматизации, контрольные точки качества и SLA для наборов тестов. Включает формулы метрик, реалистичные целевые показатели в зависимости от стадии компании и действия, которые необходимо предпринять, когда каждая метрика становится красной. Используйте, когда: "QA-метрики", "метрики тестов", "KPI качества", "состояние тестов", "коэффициент нестабильности", "процент пропущенных дефектов". Не для: создания UI дашборда (Allure/Grafana) — используйте qa-dashboard; измерения пробелов в покрытии и показателя мутации — используйте coverage-analysis. Связанные: qa-dashboard, coverage-analysis, ci-cd-integration, release-readiness, quality-postmortem.
машинный переводПоказать оригиналСкрыть оригинал«Define, track, and act on QA metrics: test coverage percentage, flakin…»
Define, track, and act on QA metrics: test coverage percentage, flakiness rate, defect escape rate, MTTR, test execution time trends, automation ROI, quality gates, and SLAs for test suites. Includes metric formulas, realistic targets by company stage, and the action to take when each metric goes red. Use when: "QA metrics," "test metrics," "quality KPIs," "test health," "flakiness rate," "defect escape rate." Not for: building the dashboard UI (Allure/Grafana) — use qa-dashboard; measuring coverage gaps and mutation score — use coverage-analysis. Related: qa-dashboard, coverage-analysis, ci-cd-integration, release-readiness, quality-postmortem.
Определение, отслеживание и управление QA-метриками: процент покрытия тестами, коэффициент нестабильности, процент пропущенных дефектов, MTTR, тенденции…
Как процесс B 76/100 · Почти готов — слабые места: результат и критерий готовности, повторный запуск, отчётность по ходу
Как улучшить
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 3. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 5075 токенов (рекомендуется < 5000); вынесите детали в references/
Процессный рейтинг: все десять параметров 76/100
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 19, без проверки текущего состояния
- 40Результат и критерий готовности. Не сказано, что считать результатом
- 50Когда включается. Не сказано, при каком запросе скилл включается
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 70Стоимость исполнения. Тело инструкции 5075 токенов
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 43
- 100Ошибки и развилки. Развилок: 1, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- low Разделов верхнего уровня: 10. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +3Формат ответа не описан: модель каждый раз решает сама
- +2Инструкции на одном языке
- +5В description 6 примера фраз-триггеров в кавычках
- +4Описание говорит, когда скилл НЕ применять
- +3Длина description 653 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 43 заголовков
- +3Пошаговые инструкции: 43 пунктов
- +4Есть примеры (12 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (2 из 2)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 88.