AC sxt-ab-lead-analysis
Полный плейбук для анализа эффективности сбора данных в AB-тестировании через чат (私信通/私信AI). От CSV-таблицы отслеживания событий онлайн до «реконструкции сеанса → разметки сигналов сбора данных (A/B/C + широкий охват) → сравнения групп и доверительных интервалов → разложения/стандартизации отраслевых смесей/сопоставления продавцов → послойной воронки → OR-атрибуции (признаки на основе правил + конвейер обратного извлечения правил с помощью LLM) → онлайн-отчета». Используется, когда пользователь хочет «проанализировать разницу в коэффициенте сбора данных в AB-тестировании», «сравнить сбор данных в тестовой и контрольной группах», «атрибутировать, какие действия ИИ влияют на сбор данных», «запустить OR-атрибуцию по правилам», «повторно запустить отчет по анализу сбора данных». Также подходит для сеансовой OR-атрибуции других бинарных исходов (например, совершение покупки/добавление в друзья).
машинный переводПоказать оригиналСкрыть оригинал«私信通(私信AI) AB 实验留资效果分析全流程 playbook。从线上埋点表 CSV 出发, 完成「会话重建 → 留资信号标注(A/B/…»
私信通(私信AI) AB 实验留资效果分析全流程 playbook。从线上埋点表 CSV 出发, 完成「会话重建 → 留资信号标注(A/B/C+宽口径) → 组间对比与置信区间 → 行业 mix 分解/标准化/商家配对 → 漏斗分层 → OR 归因(规则版特征 + LLM 反向提取 rubrics 管道) → 在线报告」。当用户要"分析 AB 实验留资率差异""实验组对照组留资对比""归因哪些 AI 动作影响留资""跑 rubrics OR 归因""复跑留资分析报告"时使用。也适用于其他二值结局(如成单/加微)的会话级 AB 归因分析。
Полный плейбук для анализа эффективности сбора данных в AB-тестировании через чат (私信通/私信AI).
Как процесс C 53/100 · Есть пробелы — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 6. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда")
Процессный рейтинг: все десять параметров 53/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 16
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 527 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +4Нет примеров входа/выхода
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 5 примера фраз-триггеров в кавычках
- +3Длина description 271 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 4 заголовков
- +3Пошаговые инструкции: 16 пунктов
- +4Справочные файлы упоминаются в инструкциях (2 из 2)
- +3Все 1 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 80.