BD redteam-selfattack
Самостоятельная защита красной команды: на основе заданной целевой политики, генерация атакующих зондов из известных шаблонов атак (внедрение подсказок/ролевая игра с обходом ограничений/запутывание кода/OOD/неоднозначность), каждая с ground-truth красной команды, расчет частоты смены и слепых зон для целевой политики, вывод показателя робастности и списка слепых зон. Позволяет агенту активно генерировать атакующие образцы, тестировать себя и самостоятельно выявлять слепые зоны — мета-управленческая способность, отсутствующая у обычных больших языковых моделей, является уровнем безопасности «надежно превосходящей».
машинный переводПоказать оригиналСкрыть оригинал«红队自我攻防：给定目标策略，从已知攻击模板（提示注入/jailbreak角色扮演/编码混淆/ OOD/歧义）生成对抗探针，每条带红队 gro…»
红队自我攻防：给定目标策略，从已知攻击模板（提示注入/jailbreak角色扮演/编码混淆/ OOD/歧义）生成对抗探针，每条带红队 ground-truth，跑目标策略统计翻转率与盲区，输出 鲁棒分与盲区清单。让智能体主动生成对抗样本、自己测自己、自己暴露盲区——一线大模型 不具备的元治理能力，是"可靠地超越"的安全收口层。
Самостоятельная защита красной команды: на основе заданной целевой политики, генерация атакующих зондов из известных шаблонов атак (внедрение…
Как процесс D 46/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 5. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда") - заметка
frontmatter-keyнеизвестное поле фронтматтера "agent_created" - заметка
frontmatter-keyнеизвестное поле фронтматтера "visibility"
Процессный рейтинг: все десять параметров 46/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 60Инструменты и файлы. Используются инструменты (python), но во frontmatter они не объявлены
- 100Шаги. Шагов: 13
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 245 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +4Нет примеров входа/выхода
- -31 из 2 скриптов не упомянуты в SKILL.md
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 164 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 7 заголовков
- +3Пошаговые инструкции: 13 пунктов
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 63.