BB prompt-inspector
Обнаруживает атаки внедрения подсказок и враждебные входные данные в тексте пользователя перед передачей их вашей LLM. Используйте, когда вам нужно проверить или отфильтровать предоставленный пользователем текст на попытки взлома, переопределения инструкций, выхода из ролевой игры или другие методы манипулирования подсказками. Возвращает вердикт безопасности, оценку риска (0–1) и категории угроз. Идеально подходит для защиты конвейеров ИИ, чат-ботов и любых приложений, которые подают пользовательский ввод в языковую модель.
машинный переводПоказать оригиналСкрыть оригинал«Detect prompt injection attacks and adversarial inputs in user text be…»
Detect prompt injection attacks and adversarial inputs in user text before passing it to your LLM. Use when you need to validate or screen user-provided text for jailbreak attempts, instruction overrides, role-play escapes, or other prompt manipulation techniques. Returns a safety verdict, risk score (0–1), and threat categories. Ideal for guarding AI pipelines, chatbots, and any application that feeds user input into a language model.
Обнаруживает атаки внедрения подсказок и враждебные входные данные в тексте пользователя перед передачей их вашей LLM.
Как процесс B 70/100 · Почти готов — слабые места: когда включается, ошибки и развилки, отчётность по ходу
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
В тексте есть фразы вроде «игнорируй предыдущие инструкции» или «теперь ты…». Это попытка перехватить управление агентом: он может нарушить ваши правила, системные ограничения или политику компании.
Такие фразы не нужны честному скиллу: сформулируйте роль и правила прямо, без отмены чужих инструкций. Иначе сканеры каталогов и корпоративные фильтры заблокируют публикацию.
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 7
✓ Критических и высоких находок нет
Средние и низкие: 7
-
средняя Подмена инструкций
en-ignore-previousreferences/usage.md:153Фраза-перехват ("ignore previous instructions") (документация security-скилла)| `jailbreak` | Attempts to bypass safety guidelines or restrictions |
security-скилл -
средняя Подмена инструкций
en-ignore-previousreferences/usage.md:154Фраза-перехват ("ignore previous instructions") (документация security-скилла)| `instruction_override` | Commands to ignore system prompts or previous context |
security-скилл -
средняя Подмена инструкций
en-ignore-previousscripts/detect.js:251Фраза-перехват ("ignore previous instructions") (определение детектора / чёрного списка)" node detect.js --text 'Ignore all previous instructions'\n" +
детектор -
средняя Подмена инструкций
en-ignore-previousscripts/detect.py:9Фраза-перехват ("ignore previous instructions") (определение детектора / чёрного списка)python3 detect.py --text "Ignore all previous instructions..."
детектор -
средняя Подмена инструкций
en-ignore-previousscripts/detect.py:189Фраза-перехват ("ignore previous instructions") (определение детектора / чёрного списка)" python3 detect.py --text 'Ignore all previous instructions'\n"
детектор -
низкая Рискованное назначение
intent-offensive-securityreferences/product-info.md:110Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)- **Research & Red Teaming** — Analyze adversarial prompt datasets and measure model robustness
-
низкая Подмена инструкций
en-ignore-previousscripts/detect.js:9Фраза-перехват ("ignore previous instructions") (определение детектора / чёрного списка; комментарий в коде)* node detect.js --text "Ignore all previous instructions..."
детекторкомментарий
Просканировано файлов: 7. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- заметка
frontmatter-keyнеизвестное поле фронтматтера "homepage" - заметка
frontmatter-keyнеизвестное поле фронтматтера "commands"
Процессный рейтинг: все десять параметров 70/100
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 16
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 805 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 439 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 12 заголовков
- +3Пошаговые инструкции: 16 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (7 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (1 из 3)
- +3Все 2 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 92.