SKILLEMALL.ai
GitHub ↗ EN Войти

CD skill-autobench

Создает оценку для существующего навыка на основе его РЕАЛЬНОЙ истории использования, а не его спецификации. Извлекает вызовы из архива разговоров базы знаний (conversations/) и транскриптов сессий каждого обработчика — исправление пользователя после вызова является золотым сигналом — затем синтезирует eval_contract плюс 4-8 воспроизводимых случаев с метками честности (ВЫВЕДЕНО ИЗ СПЕЦИФИКАЦИИ vs ПОДРАЗУМЕВАЕТСЯ ИЗ ИСТОРИИ) и размещает результат в skills/<name>/eval/autobench-<date>.md как ОЖИДАЮЩИЙ УТВЕРЖДЕНИЯ ЧЕЛОВЕКОМ. Никогда не переписывает SKILL.md. Поставляет двух компаньонов-стражей: целостность панели (судейство на основе нескольких моделей должно доказать, что каждый поставщик действительно ответил) и таксономию улучшений при сбоях (зарегистрированные случаи отката LLM со временем преобразуются в детерминированный код).

машинный переводПоказать оригиналСкрыть оригинал«Author an eval for an existing skill from its REAL usage history, not…»

Author an eval for an existing skill from its REAL usage history, not its spec. Mine invocations from the brain's conversation archive (conversations/) and per-harness session transcripts — a user correction after an invocation is the gold signal — then synthesize an eval_contract plus 4-8 replayable cases with honesty labels (SPEC-DERIVED vs HISTORY-IMPLIED) and stage the result at skills/<name>/eval/autobench-<date>.md as PENDING-HUMAN-APPROVAL. Never rewrites SKILL.md. Ships two guard companions: panel integrity (multi-model judging must prove each provider actually responded) and the fail-improve taxonomy (logged LLM-fallback cases convert to deterministic code over time).

garrytan/gbrain Agent Skills автор: garrytan MIT 1 файл тело ≈ 2 846 токенов Открыть источникgithub.com↗ проанализирован 6 дн назад

Создает оценку для существующего навыка на основе его РЕАЛЬНОЙ истории использования, а не его спецификации.

Как процесс D 48/100 · Процесс не доведён — Скилл ссылается на файлы, которых нет в архиве: ../conventions/brain-first.md, ../conventions/model-routing.md, ../conventions/agent-operator-protocol.md

ПроцедураИИ и агентыРазработкатип и темы размечены автоматически по тексту скилла
Запускается в: Claude / Claude Code ChatGPT / Codex Gemini CLI Cursor GitHub Copilot / VS Code Qwen Code Kimi Code CLI Z.ai (GLM) DeepSeek (Deep Code) Mistral Vibe LangChain (deepagents) OpenClaw Goose OpenCode
JSON
Технический рейтинг
C
84/100
безопасность, качество, тесты
Безопасность 60%
100
Качество 40%
60
Прогон на моделях
не было
Процессный рейтинг
D
48/100
Процесс не доведён
Скилл ссылается на файлы, которых нет в архиве: ../conventions/brain-first.md, ../conventions/model-routing.md, ../conventions/agent-operator-protocol.md
Инструменты и файлы вес 18
0
Входы и предусловия вес 11
0
Когда включается вес 12
20
три самых слабых из десяти параметров · все десять

Как улучшить

  1. Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
  2. В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
Для прогона на моделях — необязательно
  • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
  • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

Находки guard · 0

✓ Критических и высоких находок нет

Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

По спецификации Agent Skills

  • предупреждение description-no-when description не говорит, КОГДА применять скилл (нет "use when / используй когда")
  • предупреждение missing-ref ссылка на отсутствующий файл: ../conventions/brain-first.md
  • предупреждение missing-ref ссылка на отсутствующий файл: ../conventions/model-routing.md
  • предупреждение missing-ref ссылка на отсутствующий файл: ../conventions/agent-operator-protocol.md
  • заметка frontmatter-key неизвестное поле фронтматтера "triggers"
  • заметка frontmatter-key неизвестное поле фронтматтера "requires"
  • заметка frontmatter-key неизвестное поле фронтматтера "mutating"
  • заметка frontmatter-key неизвестное поле фронтматтера "writes_pages"
  • заметка frontmatter-key неизвестное поле фронтматтера "writes_to"
  • заметка frontmatter-key неизвестное поле фронтматтера "upstream"

Процессный рейтинг: все десять параметров 48/100

Не запустится. Скилл ссылается на файлы, которых нет в архиве: ../conventions/brain-first.md, ../conventions/model-routing.md, ../conventions/agent-operator-protocol.md
  • 0Инструменты и файлы. Не хватает 3 файла(ов): ../conventions/brain-first.md, ../conventions/model-routing.md, ../conventions/agent-operator-protocol.md
  • 0Входы и предусловия. Не сказано, что нужно иметь на входе
  • 20Когда включается. Не сказано, при каком запросе скилл включается
  • 30Повторный запуск. Изменяющих операций: 2, без проверки текущего состояния
  • 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
  • 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
  • 100Шаги. Шагов: 35
  • 100Согласованность. Имя и обязательные поля на месте
  • 100Стоимость исполнения. Тело инструкции 2846 токенов
  • 100Отчётность по ходу. Скилл сообщает о ходе работы
  • medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
  • low Ответ описан самодельной разметкой (8 тегов): типизированный вызов надёжнее

Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

Сигналы качества

  • +5В description нет примеров фраз, по которым скилл должен срабатывать
  • +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
  • +1Лицензия не указана
  • +2Инструкции на одном языке
  • +3Длина description 685 символов: достаточно сигнала, не съедает бюджет
  • +4Структура: 13 заголовков
  • +3Пошаговые инструкции: 35 пунктов
  • +3Формат ответа описан явно
  • +4Есть примеры (3 блоков кода)

База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 60.