AB llm-guardrails-spec
Определите меры безопасности и надежности для функции LLM перед ее выпуском. Используйте, когда вас попросят определить меры безопасности для LLM, добавить средства контроля безопасности к функции ИИ, предотвратить инъекции промптов или джейлбрейки, или укрепить чат-бота/агента против злоупотреблений. Создает спецификацию мер безопасности — угрозы, средства контроля ввода/вывода, политика отказа и эскалации, логирование и набор тестов для красной команды — с привязкой к тому, где выполняется каждый контроль.
машинный переводПоказать оригиналСкрыть оригинал«Specify the safety and reliability guardrails for an LLM feature befor…»
Specify the safety and reliability guardrails for an LLM feature before it ships. Use when asked to define LLM guardrails, add safety controls to an AI feature, prevent prompt injection or jailbreaks, or harden a chatbot/agent against misuse. Produces a guardrails spec — threats, input/output controls, refusal and escalation policy, logging, and a red-team test set — mapped to where each control runs.
Определите меры безопасности и надежности для функции LLM перед ее выпуском.
Как процесс B 75/100 · Почти готов — слабые места: ошибки и развилки
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 75/100
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 50Когда включается. Не сказано, при каком запросе скилл включается
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 19
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1002 токенов
- 100Повторный запуск. Изменяющих операций нет
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +4Нет примеров входа/выхода
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 404 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 8 заголовков
- +3Пошаговые инструкции: 19 пунктов
- +3Формат ответа описан явно
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 83.