CD skill-safety-reviewer
Проверка файловой системы, команды, сети, секретов или деструктивных действий, запрошенных навыком, на соответствие явной политике песочницы без их выполнения.
машинный переводПоказать оригиналСкрыть оригинал«Review a skill-requested filesystem, command, network, secret, or dest…»
Review a skill-requested filesystem, command, network, secret, or destructive action against an explicit sandbox policy without executing it.
Проверка файловой системы, команды, сети, секретов или деструктивных действий, запрошенных навыком, на соответствие явной политике песочницы без их выполнения.
Как процесс D 43/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 5. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда")
Процессный рейтинг: все десять параметров 43/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 100Шаги. Шагов: 5
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 179 токенов
- high Скилл велит модели самой совершать необратимое действие, без подтверждения человеком
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +4Структура: 1 заголовков, инструкции сложно сканировать
- +3Формат ответа не описан: модель каждый раз решает сама
- +4Нет примеров входа/выхода
- +2Инструкции на одном языке
- +3Длина description 141 символов: достаточно сигнала, не съедает бюджет
- +3Пошаговые инструкции: 5 пунктов
- +4Справочные файлы упоминаются в инструкциях (1 из 1)
- +3Все 1 скриптов описаны в инструкциях
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 72.
В песочнице Скрипты не запустились
Скрипты скилла запущены в одноразовой машине: без сети, с подложными ключами в домашнем каталоге, под наблюдением. Мы записали, что они делали. Попытка выйти в сеть или прочитать чужие секреты ограничивает техническую оценку буквой C; тихий запуск баллов не добавляет.
Запущено 1 скрипт; каждому дали двадцать секунд, поддельный домашний каталог с ключами и сеть, в которой ничего нет.
Ни один не дошёл до работы — им не хватило зависимостей, аргументов или файлов. Это не отзыв о поведении: наблюдать было не за чем.
scripts/review_action.py | не запустился: review_action.py: error: the following arguments are required: --policy, --request |
4 окт. 2026 г.