AC skill-forge
Используйте, когда требуется автоматически сгенерировать набор тестовых задач task_suite.yaml для существующего Skill, создать полный SKILL.md + task_suite из skill_spec.yaml или пройти весь цикл «генерация → оценка → улучшение» в один клик. Читает пять источников из SKILL.md: frontmatter/When to Use/example/anti-example/Output, автоматически выводит 5-10 тестовых задач и выбирает ContainsJudge / LLMRubricJudge / PytestJudge. Не используется для ручного написания SKILL.md (используйте skill-creator), отдельной оценки существующего task_suite (используйте improvement-evaluator) или для управления циклом улучшений (используйте improvement-orchestrator).
машинный переводПоказать оригиналСкрыть оригинал«当需要为已有 Skill 自动生成 task_suite.yaml 测试任务集、从 skill_spec.yaml 生成完整 SKILL.m…»
当需要为已有 Skill 自动生成 task_suite.yaml 测试任务集、从 skill_spec.yaml 生成完整 SKILL.md + task_suite、或一键走完「生成 → 评估 → 改进」全链路时使用。 读取 SKILL.md 中的 frontmatter/When to Use/example/anti-example/Output 五类来源， 自动推导 5-10 个 test task 并选择 ContainsJudge / LLMRubricJudge / PytestJudge。 不用于手动编写 SKILL.md（用 skill-creator）、单独评估已有 task_suite（用 improvement-evaluator）、 或驱动改进循环（用 improvement-orchestrator）。
yaml для существующего Skill, создать полный SKILL.md + tasksuite из skillspec.yaml или пройти весь цикл «генерация → оценка → улучшение» в один клик. Читает…
Как процесс C 57/100 · Есть пробелы — слабые места: когда включается, входы и предусловия, согласованность
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 12. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- заметка
frontmatter-keyнеизвестное поле фронтматтера "triggers"
Процессный рейтинг: все десять параметров 57/100
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 3, без проверки текущего состояния
- 40Согласованность. Имя во frontmatter (skill-forge) не совпадает с папкой (auto-skill-forge)
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 100Шаги. Шагов: 29
- 100Ошибки и развилки. Развилок: 1, есть раздел про ошибки
- 100Стоимость исполнения. Тело инструкции 2516 токенов
- low Ответ описан самодельной разметкой (8 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- -33 из 4 скриптов не упомянуты в SKILL.md
- +2Инструкции на одном языке
- +3Длина description 371 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 13 заголовков
- +3Пошаговые инструкции: 29 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (4 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (1 из 1)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 88.