AD security-auditor
Сканирование и аудит установленных навыков на предмет рисков безопасности, подозрительных шаблонов и чрезмерных разрешений. Используйте, когда: (1) перед установкой нового навыка; (2) периодически при обзоре установленных навыков; (3) перед предоставлением разрешений навыку; (4) когда явно запрашивается аудит навыков или проверка на уязвимости.
машинный переводПоказать оригиналСкрыть оригинал«Scan and audit installed skills for security risks, suspicious pattern…»
Scan and audit installed skills for security risks, suspicious patterns, and permission overreach. Use when: (1) before installing a new skill; (2) periodically reviewing installed skills; (3) before granting skill permissions; (4) when explicitly asked to audit skills or check for vulnerabilities.
Сканирование и аудит установленных навыков на предмет рисков безопасности, подозрительных шаблонов и чрезмерных разрешений.
Как процесс D 39/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Инструкции или скрипты отправляют данные наружу: переменные окружения, ключи, содержимое файлов, историю чата. Вы можете не заметить этого в диалоге, потому что агент выполнит отправку как «часть задачи».
Если отправка не нужна для задачи, уберите её: каталоги помечают такие скиллы как подозрительные и снимают с выдачи. Если нужна, назовите адрес явно, объясните, что именно уходит, и дайте пользователю выключатель.
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 7
✓ Критических и высоких находок нет
Средние и низкие: 7
-
средняя Утечка данных
exfil-read-secret-filesreferences/rules.md:73Чтение файлов с учётными данными / секретами (документация security-скилла)with open(os.path.expanduser("~/.ssh/id_rsa")) as f:security-скилл -
низкая Рискованное назначение
intent-offensive-securityreferences/permissions.md:73Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)- Attempts privilege escalation
-
низкая Рискованное назначение
intent-offensive-securityreferences/rules.md:35Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)- Credential harvesting patterns
-
низкая Рискованное назначение
intent-offensive-securityreferences/rules.md:36Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)- Privilege escalation attempts
-
низкая Рискованное назначение
intent-offensive-securityreferences/rules.md:72Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение) (определение детектора / чёрного списка)# CRITICAL - Credential harvesting
детектор -
низкая Рискованное назначение
intent-offensive-securityreferences/rules.md:119Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)- [ ] No privilege escalation attempts
-
низкая Рискованное назначение
intent-offensive-securitySKILL.md:102Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)- Credential harvesting patterns
Просканировано файлов: 6. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 39/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 40Согласованность. Имя во frontmatter (security-auditor) не совпадает с папкой (klemenska-security-auditor)
- 60Инструменты и файлы. Используются инструменты (bash), но во frontmatter они не объявлены
- 100Шаги. Шагов: 30
- 100Стоимость исполнения. Тело инструкции 620 токенов
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 299 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 15 заголовков
- +3Пошаговые инструкции: 30 пунктов
- +4Есть примеры (4 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (2 из 2)
- +3Все 2 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 91.