BB data-warehouse-experimentation
Проведение экспериментов из хранилища данных, а не через специализированные платформы для экспериментов. Назначение на основе SQL, дисциплина ведения журналов воздействия, определения метрик в моделях dbt, статистический анализ в SQL или Python, снижение дисперсии с помощью CUPED, последовательное тестирование и операционные компромиссы по сравнению с такими платформами, как Statsig и Optimizely. Триггеры: эксперименты, нативные для хранилища данных, проведение экспериментов в BigQuery, проведение экспериментов в Snowflake, эксперименты dbt, t-тест SQL, снижение дисперсии CUPED, журнал воздействия, несоответствие соотношения выборки, последовательное тестирование, mSPRT, двукратно робастное оценивание, создание против покупки экспериментов. Также срабатывает, когда команда выбирает между платформой и хранилищем данных, создает инфраструктуру для экспериментов, нативную для хранилища данных, проводит аудит одной из них или проводит эксперимент с пользовательской метрикой, которую платформа не может обработать.
машинный переводПоказать оригиналСкрыть оригинал«Running experiments out of the data warehouse instead of via dedicated…»
Running experiments out of the data warehouse instead of via dedicated experiment platforms. SQL-based assignment, exposure logging discipline, metric definitions in dbt models, statistical analysis in SQL or Python, variance reduction with CUPED, sequential testing, and the operational tradeoffs vs platforms like Statsig and Optimizely. Triggers on warehouse-native experimentation, run experiments in BigQuery, run experiments in Snowflake, dbt experiments, SQL t-test, CUPED variance reduction, exposure log, sample ratio mismatch, sequential testing, mSPRT, doubly robust estimation, build vs buy experimentation. Also triggers when the team is choosing between platform and warehouse, building warehouse-native experiment infrastructure, auditing one, or running an experiment with a custom metric the platform cannot handle.
Проведение экспериментов из хранилища данных, а не через специализированные платформы для экспериментов.
Как процесс B 74/100 · Почти готов — слабые места: результат и критерий готовности
Такой же скилл встречается ещё в 2 местах: claude-skills, claude-skills
Как улучшить
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 10. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 6967 токенов (рекомендуется < 5000); вынесите детали в references/
Процессный рейтинг: все десять параметров 74/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 60Инструменты и файлы. Используются инструменты (git, python), но во frontmatter они не объявлены
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 70Стоимость исполнения. Тело инструкции 6967 токенов
- 100Шаги. Шагов: 61
- 100Когда включается. Сказано, когда применять и когда не применять
- 100Ошибки и развилки. Развилок: 1, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Разделов верхнего уровня: 16. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Длина description 832: рекомендуется 120–800 символов
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +4Структура: 17 заголовков
- +3Пошаговые инструкции: 61 пунктов
- +4Есть примеры (8 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (8 из 8)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 75.