SKILLEMALL.ai
GitHub ↗ EN Войти

CD polly-e2e-dev

Сквозное тестирование критически важных пользовательских сценариев (CUJ) оркестратора поликодовых агентов polly. Две части — детерминированный драйвер mock-LLM (polly_cuj.py), который запускает временный локальный сервер + mock LLM и проверяет подложку (загрузка, перенаправленный вызов системных инструментов, ограничения blast_radius / spawn_bounds / headless_subagent_purpose_guard, распределение fan-out), и реальный рецепт с реальным CLI (реальные claude/codex/pi, реальные рабочие деревья/PR) для фактической оценки polly. Загружайте при разработке, тестировании или отладке examples/polly — его config.yaml, суб-агентов claude_code/codex/pi, навыки investigate/fanout/cross-review или ограничения omnigent.inner.nessie.policies — или при воспроизведении ошибки оркестрации polly.

машинный переводПоказать оригиналСкрыть оригинал«End-to-end test the polly multi-agent coding orchestrator's critical u…»

End-to-end test the polly multi-agent coding orchestrator's critical user journeys (CUJs). Two halves — a deterministic mock-LLM driver (polly_cuj.py) that boots a throwaway local server + mock LLM and asserts the substrate (boot, bridged sys_* tool dispatch, the blast_radius / spawn_bounds / headless_subagent_purpose_guard guardrails, fan-out delegation), and a live real-CLI recipe (real claude/codex/pi, real worktrees/PRs) for polly's actual judgment. Load when developing, testing, or debugging examples/polly — its config.yaml, the claude_code/codex/pi sub-agents, the investigate/fanout/cross-review skills, or the omnigent.inner.nessie.policies guardrails — or reproducing a polly orchestration bug.

omnigent-ai/omnigent Agent Skills автор: omnigent-ai Apache-2.0 2 файла · 1 скрипт тело ≈ 2 712 токенов Открыть источникgithub.com↗ проанализирован 6 дн назад

Сквозное тестирование критически важных пользовательских сценариев (CUJ) оркестратора поликодовых агентов polly.

Как процесс D 35/100 · Процесс не доведён — Скилл ссылается на файлы, которых нет в архиве: examples/polly/, examples/polly/config.yaml, examples/polly/agents/{claude_code,codex,pi}/config.yaml

ИнтеграцияИИ и агентыРазработкатип и темы размечены автоматически по тексту скилла
Запускается в: Claude / Claude Code ChatGPT / Codex Gemini CLI Cursor GitHub Copilot / VS Code Qwen Code Kimi Code CLI Z.ai (GLM) DeepSeek (Deep Code) Mistral Vibe LangChain (deepagents) OpenClaw Goose OpenCode
JSON
Технический рейтинг
C
88/100
безопасность, качество, тесты
Безопасность 60%
100
Качество 40%
70
Прогон на моделях
не было
Процессный рейтинг
D
35/100
Процесс не доведён
Скилл ссылается на файлы, которых нет в архиве: examples/polly/, examples/polly/config.yaml, examples/polly/agents/{claude_code,codex,pi}/config.yaml
Инструменты и файлы вес 18
0
Результат и критерий готовности вес 14
0
Входы и предусловия вес 11
0
три самых слабых из десяти параметров · все десять

Как улучшить

  1. В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
Для прогона на моделях — необязательно
  • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
  • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

Находки guard · 0

✓ Критических и высоких находок нет

Просканировано файлов: 2. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

По спецификации Agent Skills

  • предупреждение missing-ref ссылка на отсутствующий файл: examples/polly/
  • предупреждение missing-ref ссылка на отсутствующий файл: examples/polly/config.yaml
  • предупреждение missing-ref ссылка на отсутствующий файл: examples/polly/agents/{claude_code,codex,pi}/config.yaml
  • предупреждение missing-ref ссылка на отсутствующий файл: examples/polly/skills/{investigate,fanout,cross-review}/SKILL.md

Процессный рейтинг: все десять параметров 35/100

Не запустится. Скилл ссылается на файлы, которых нет в архиве: examples/polly/, examples/polly/config.yaml, examples/polly/agents/{claude_code,codex,pi}/config.yaml
  • 0Инструменты и файлы. Не хватает 4 файла(ов): examples/polly/, examples/polly/config.yaml, examples/polly/agents/{claude_code,codex,pi}/config.yaml
  • 0Результат и критерий готовности. Не сказано, что считать результатом
  • 0Входы и предусловия. Не сказано, что нужно иметь на входе
  • 0Ошибки и развилки. Линейный процесс без обработки сбоев
  • 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
  • 20Когда включается. Не сказано, при каком запросе скилл включается
  • 100Шаги. Шагов: 22
  • 100Согласованность. Имя и обязательные поля на месте
  • 100Стоимость исполнения. Тело инструкции 2712 токенов
  • 100Повторный запуск. Изменяющие операции проверяют текущее состояние
  • low Ответ описан самодельной разметкой (3 тегов): типизированный вызов надёжнее

Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

Сигналы качества

  • +5В description нет примеров фраз, по которым скилл должен срабатывать
  • +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
  • +3Формат ответа не описан: модель каждый раз решает сама
  • -2Ссылки на localhost: у другого пользователя не заработает
  • +1Лицензия не указана
  • +2Инструкции на одном языке
  • +3Длина description 709 символов: достаточно сигнала, не съедает бюджет
  • +4Структура: 16 заголовков
  • +3Пошаговые инструкции: 22 пунктов
  • +4Есть примеры (7 блоков кода)

База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 70.