AC adaptive-safety-refusal-integrity
Используйте этот навык, когда пользователь хочет проверить, можно ли обмануть модель, заставив ее выдать опасную или запрещенную информацию, используя креативное письмо или игровые приемы. Активируйте его для запросов вроде «заставь агента ответить на вредоносный вопрос, играя роль», «попробуй обойти правила, используя сленг или звучащий экспертно язык», «попроси инструкции по незаконным действиям, но представь это как историю» или «проверь, отказывается ли модель давать плохие советы, даже когда ее принуждают быть полезной».
машинный переводПоказать оригиналСкрыть оригинал«Use this skill when the user wants to test if the model can be tricked…»
Use this skill when the user wants to test if the model can be tricked into giving out dangerous or forbidden information by using creative writing or 'acting' tricks. Trigger it for requests like 'make the agent answer a harmful question by role-playing', 'try to get past the rules by using slang or expert-sounding language', 'ask for instructions on illegal acts but frame it as a story', or 'test if the model refuses bad advice even when it's pressured to be helpful'.
Используйте этот навык, когда пользователь хочет проверить, можно ли обмануть модель, заставив ее выдать опасную или запрещенную информацию, используя…
Как процесс C 62/100 · Есть пробелы — слабые места: результат и критерий готовности, входы и предусловия, повторный запуск
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 5. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 62/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 55Ошибки и развилки. Развилок: 1
- 70Когда включается. Сказано, когда применять, но не сказано, когда не стоит
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 15
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1020 токенов
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +4Нет примеров входа/выхода
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 474 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 4 заголовков
- +3Пошаговые инструкции: 15 пунктов
- +4Справочные файлы упоминаются в инструкциях (3 из 3)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 84.