AB agent-causal
Инструмент причинно-следственных решений для агентов помогает вам и вашим ИИ-агентам ответить на один вопрос на основе экспериментальных данных: следует ли нам выпустить это изменение, продолжить тест или откатить его? Возвращает структурированные JSON-решения, ключевую статистику и аудиторские отчеты из A/B-тестов (частотный + байесовский), DiD, когортного/сегментного анализа и последовательного раннего прекращения.
машинный переводПоказать оригиналСкрыть оригинал«Agent Causal Decision Tool helps you and your AI agents answer one que…»
Agent Causal Decision Tool helps you and your AI agents answer one question from experiment data: should we ship this change, keep running the test, or roll it back? Returns structured JSON decisions, key statistics, and audit trails from A/B tests (frequentist + Bayesian), DiD, cohort/segment analysis, and sequential early stopping.
Инструмент причинно-следственных решений для агентов помогает вам и вашим ИИ-агентам ответить на один вопрос на основе экспериментальных данных: следует ли…
Как процесс B 70/100 · Почти готов — слабые места: входы и предусловия, повторный запуск, отчётность по ходу
Как улучшить
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 3. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 6841 токенов (рекомендуется < 5000); вынесите детали в references/
Процессный рейтинг: все десять параметров 70/100
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 2, без проверки текущего состояния
- 60Инструменты и файлы. Используются инструменты (bash, web, python), но во frontmatter они не объявлены
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 70Стоимость исполнения. Тело инструкции 6841 токенов
- 100Шаги. Шагов: 113
- 100Когда включается. Сказано, когда применять и когда не применять
- 100Ошибки и развилки. Развилок: 1, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Разделов верхнего уровня: 12. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 335 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 30 заголовков
- +3Пошаговые инструкции: 113 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (30 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 77.