CC builder-smoke-test
Сквозное тестирование ветки функции Agent Builder на основе герметичного проекта, созданного с помощью этого инструмента (связанного с текущим рабочим деревом). Охватывает согласование рабочей области, CRUD агентов/инструментов, владение, видимость, избранное, поток копирования реестра/библиотеки, списки разрешенных выбора, политику модели, управление доступом на основе ролей (RBAC), интерфейс подмены ролей, настройки по умолчанию для конструктора, диагностику инфраструктуры, каналы и интерфейс Studio + Agent Builder. Запускайте при проверке ветки функции agent-builder, PR, затрагивающих пакеты/сервер, пакеты/playground, маршруты agent-builder пакетов/playground-ui или пути кода builder EE.
машинный переводПоказать оригиналСкрыть оригинал«Smoke test the Agent Builder feature branch end-to-end against a herme…»
Smoke test the Agent Builder feature branch end-to-end against a hermetic project scaffolded by the skill (linked to the current worktree). Covers workspace reconciliation, stored agents/skills CRUD, ownership, visibility, stars, registry/library Copy flow, picker allowlists, model policy, RBAC role gating, role impersonation UI, builder defaults, infrastructure diagnostics, channels, and Studio + Agent Builder UI. Trigger when validating the agent-builder feature branch, PRs that touch packages/server, packages/playground, packages/playground-ui agent-builder routes, or builder EE code paths.
Сквозное тестирование ветки функции Agent Builder на основе герметичного проекта, созданного с помощью этого инструмента (связанного с текущим рабочим деревом).
Как процесс C 53/100 · Есть пробелы — Скилл ссылается на файлы, которых нет в архиве: examples/agent, references/<section>.md, examples/agent-builder
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Инструкции или скрипты отправляют данные наружу: переменные окружения, ключи, содержимое файлов, историю чата. Вы можете не заметить этого в диалоге, потому что агент выполнит отправку как «часть задачи».
Если отправка не нужна для задачи, уберите её: каталоги помечают такие скиллы как подозрительные и снимают с выдачи. Если нужна, назовите адрес явно, объясните, что именно уходит, и дайте пользователю выключатель.
Как улучшить
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
✓ Критических и высоких находок нет
Средние и низкие: 1
-
средняя Утечка данных
net-redirectable-api-keyassets/template/src/mastra/index.ts:45Скрипт отправляет API-ключ на хост из переменной окружения — ключ можно перенаправить на другой серверAPI key + configurable base URL from environment
Просканировано файлов: 27. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 11148 токенов (рекомендуется < 5000); вынесите детали в references/ - предупреждение
missing-refссылка на отсутствующий файл: examples/agent - предупреждение
missing-refссылка на отсутствующий файл: references/<section>.md - предупреждение
missing-refссылка на отсутствующий файл: examples/agent-builder
Процессный рейтинг: все десять параметров 53/100
- 0Инструменты и файлы. Не хватает 3 файла(ов): examples/agent, references/<section>.md, examples/agent-builder
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 40Стоимость исполнения. Тело инструкции 11148 токенов: вытесняет саму задачу из окна
- 60Ошибки и развилки. Развилок: 2
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 85Шаги. Шагов: 81, расплывчатых формулировок: 2
- 100Когда включается. Сказано, когда применять и когда не применять
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Разделов верхнего уровня: 14. Похоже на несколько доменов в одном скилле
- low Ответ описан самодельной разметкой (5 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- -2Ссылки на localhost: у другого пользователя не заработает
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 600 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 30 заголовков
- +3Пошаговые инструкции: 81 пунктов
- +4Есть примеры (8 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (15 из 15)
- +3Все 4 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 67.