CF qa-methodology
Проектирование и применение методологии QA для команд разработки ПО: стратегия тестирования, регрессионное тестирование, анализ сбоев CI, автоматизация тестирования, контрольные точки и метрики качества, тестирование на основе рисков, исследовательское тестирование, методы проектирования тестов, AI-контрольные точки качества кода (независимая верификация, происхождение артефактов, оракулы на основе спецификаций, анализ комментариев AI-ревью, тестируемость критериев приемки для разработки на основе спецификаций), усиление тестов с помощью мутаций и анализ доказательств (выжившие мутанты, слабые утверждения, мутационное тестирование с учетом различий), проектирование агентурных оценок (проектирование тестов набора данных, судья как тестируемая система, дисциплина flaky-eval), уровни карьеры QA (Senior/Staff/Principal) и инжиниринг SDET (тестовая инфраструктура, gTAA, интеграция CI/CD). Не использовать для отладки первопричин инцидентов в продакшене, реализации безопасности или моделирования угроз, а также для управления фреймворком оценки и статистического анализа — направляйте их в systematic-debugging, secure-software-engineering и agent-evals-and-observability соответственно.
машинный переводПоказать оригиналСкрыть оригинал«Design and apply QA methodology for software teams: test strategy, reg…»
Design and apply QA methodology for software teams: test strategy, regression testing, CI failure triage, test automation, quality gates and metrics, risk-based testing, exploratory testing, test design techniques, AI code quality gates (independent verification, artifact provenance, spec-first oracles, AI-review-comment triage, acceptance-criteria testability for Spec-Driven Development), mutation-guided test hardening and review evidence (surviving mutants, weak assertions, diff-aware mutation testing), agentic eval design (dataset test design, judge-as-system-under-test, flaky-eval discipline), QA career levels (Senior/Staff/Principal), and SDET engineering (test infrastructure, gTAA, CI/CD integration). Do not use for root-cause debugging of production incidents, security implementation or threat modeling, or evaluation framework governance and statistical analysis — route those to systematic-debugging, secure-software-engineering, and agent-evals-and-observability respectively.
Проектирование и применение методологии QA для команд разработки ПО: стратегия тестирования, регрессионное тестирование, анализ сбоев CI, автоматизация…
Как процесс F 47/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: ../systematic-debugging/SKILL.md, ../secure-software-engineering/SKILL.md, ../playwright/SKILL.md
Как улучшить
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 4
✓ Критических и высоких находок нет
Средние и низкие: 4
-
низкая Рискованное назначение
intent-offensive-securityreferences/security-testing.md:13Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение) (тестовый файл / пример)| Pre-release | Pen test (manual) | External firm or red team | Quarterly / major release |
тестовый файл -
низкая Рискованное назначение
intent-offensive-securityreferences/security-testing.md:21Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение) (тестовый файл / пример)| A01 | Broken Access Control | IDOR, privilege escalation, path traversal | Access other users' resources by ID; test admin endpoints as regular user; fuzz path parameters with `../` |
тестовый файл -
низкая Секреты в коде
secret-aws-keyreferences/security-testing.md:128AWS access key ID (значение-заглушка)- Credential testing uses obviously-fake values: `AKIA…PLE`
заглушка -
низкая Секреты в коде
secret-aws-keyreferences/test-data-management.md:138AWS access key ID (значение-заглушка)| Use obviously-fake credentials for auth tests | `AKIA…PLE` (AWS example key) |
заглушка
Просканировано файлов: 32. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
missing-refссылка на отсутствующий файл: ../systematic-debugging/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../secure-software-engineering/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../playwright/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../spec-driven-development/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../agent-evals-and-observability/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../verification-methodology/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: ../release-engineering/SKILL.md
Процессный рейтинг: все десять параметров 47/100
- 0Инструменты и файлы. Не хватает 7 файла(ов): ../systematic-debugging/SKILL.md, ../secure-software-engineering/SKILL.md, ../playwright/SKILL.md
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 40Результат и критерий готовности. Не сказано, что считать результатом
- 50Когда включается. Не сказано, при каком запросе скилл включается
- 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
- 100Шаги. Шагов: 23
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 2620 токенов
- low Среди тестов нет случая на инъекцию через данные
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +3Длина description 997: рекомендуется 120–800 символов
- +3Формат ответа не описан: модель каждый раз решает сама
- +4Нет примеров входа/выхода
- +2Инструкции на одном языке
- +4Описание говорит, когда скилл НЕ применять
- +4Структура: 8 заголовков
- +3Пошаговые инструкции: 23 пунктов
- +4Справочные файлы упоминаются в инструкциях (17 из 17)
- +3Все 2 скриптов описаны в инструкциях
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 77.