CB experiment-design
Дисциплина проектирования экспериментов (A/B-тесты, многовариантные тесты, контрольные группы), чтобы результаты действительно отвечали на поставленный вопрос. Формулирование гипотез, размер выборки, продолжительность, анализ сегментов, дисциплина проведения, сопоставление результата с заранее определенным правилом принятия решений и распространенные сбои, которые приводят к уверенно неверным решениям о запуске. Используйте этот навык всякий раз, когда пользователь планирует тест, который еще не проводился: формулирует гипотезу, определяет размер выборки, устанавливает продолжительность, выбирает защитные метрики или решает, стоит ли что-то тестировать вообще. Срабатывает по запросам: спроектировать эксперимент, план эксперимента, A/B-тест, сплит-тест, многовариантный тест, контрольная группа, гипотеза эксперимента, размер выборки, минимальный обнаруживаемый эффект, MDE, продолжительность теста, защитная метрика, без подглядывания, заранее определенное правило принятия решений, стоит ли это тестировать. Используйте `experimentation-analytics` вместо этого, когда тест уже проводился, а вопрос касается того, как читать панель результатов.
машинный переводПоказать оригиналСкрыть оригинал«A discipline for designing experiments (A/B tests, multivariate, holdo…»
A discipline for designing experiments (A/B tests, multivariate, holdouts) so the results actually answer the question you asked. Hypothesis writing, sample size, duration, segment analysis, running discipline, matching a result to a pre-committed decision rule, and the common failure modes that produce confidently wrong shipping decisions. Use this skill whenever the user is planning a test that has not run yet: framing a hypothesis, sizing the sample, setting duration, choosing guardrails, or deciding whether something is worth testing at all. Triggers on design an experiment, experiment plan, A/B test, split test, multivariate test, holdout, experiment hypothesis, sample size, minimum detectable effect, MDE, test duration, guardrail metric, no peeking, pre-committed decision rule, is this worth testing. Use `experimentation-analytics` instead when the test has already run and the question is how to read the result panel.
Дисциплина проектирования экспериментов (A/B-тесты, многовариантные тесты, контрольные группы), чтобы результаты действительно отвечали на поставленный вопрос.
Как процесс B 69/100 · Почти готов — слабые места: результат и критерий готовности, повторный запуск, отчётность по ходу
Как улучшить
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 8. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 7638 токенов (рекомендуется < 5000); вынесите детали в references/ - заметка
frontmatter-keyнеизвестное поле фронтматтера "catalog_summary" - заметка
frontmatter-keyнеизвестное поле фронтматтера "display_order"
Процессный рейтинг: все десять параметров 69/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 20, без проверки текущего состояния
- 55Ошибки и развилки. Развилок: 1
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 70Стоимость исполнения. Тело инструкции 7638 токенов
- 85Шаги. Шагов: 37, расплывчатых формулировок: 1
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Когда включается. Сказано, когда применять и когда не применять
- 100Согласованность. Имя и обязательные поля на месте
- low Разделов верхнего уровня: 17. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Длина description 937: рекомендуется 120–800 символов
- +3Формат ответа не описан: модель каждый раз решает сама
- +4Нет примеров входа/выхода
- +1Лицензия не указана
- +2Инструкции на одном языке
- +4Структура: 18 заголовков
- +3Пошаговые инструкции: 37 пунктов
- +4Справочные файлы упоминаются в инструкциях (7 из 7)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 69.