CF nemo-guardrails
Фреймворк NVIDIA для обеспечения безопасности LLM-приложений в реальном времени. Функции: обнаружение джейлбрейков, проверка ввода/вывода, проверка фактов, обнаружение галлюцинаций, фильтрация PII, обнаружение токсичности. Использует Colang 2.0 DSL для программируемых ограничений. Готов к продакшену, работает на T4 GPU.
машинный переводПоказать оригиналСкрыть оригинал«NVIDIA's runtime safety framework for LLM applications. Features jailb…»
NVIDIA's runtime safety framework for LLM applications. Features jailbreak detection, input/output validation, fact-checking, hallucination detection, PII filtering, toxicity detection. Uses Colang 2.0 DSL for programmable rails. Production-ready, runs on T4 GPU.
Фреймворк NVIDIA для обеспечения безопасности LLM-приложений в реальном времени.
Как процесс F 28/100 · Процесс не описан — Скилл ссылается на файлы, которых нет в архиве: references/colang-guide.md, references/integrations.md, references/performance.md
Такой же скилл встречается ещё в 2 местах: RA-Skills, AI-Research-SKILLs
Как улучшить
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 4
✓ Критических и высоких находок нет
Средние и низкие: 4
-
низкая Подмена инструкций
en-ignore-previousSKILL.md:65Фраза-перехват ("ignore previous instructions") (с отрицанием — текст это запрещает)"I cannot bypass my safety guidelines."
с отрицанием
Ещё 3 совпадений отнесены к цитатам в документации скилла по безопасности и не считаются находками.
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
missing-refссылка на отсутствующий файл: references/colang-guide.md - предупреждение
missing-refссылка на отсутствующий файл: references/integrations.md - предупреждение
missing-refссылка на отсутствующий файл: references/performance.md - заметка
frontmatter-keyнеизвестное поле фронтматтера "dependencies"
Процессный рейтинг: все десять параметров 28/100
- 0Инструменты и файлы. Не хватает 3 файла(ов): references/colang-guide.md, references/integrations.md, references/performance.md
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 40Согласованность. Имя во frontmatter (nemo-guardrails) не совпадает с папкой (safety-alignment-nemo-guardrails)
- 100Шаги. Шагов: 29
- 100Стоимость исполнения. Тело инструкции 1772 токенов
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +2Инструкции на одном языке
- +3Длина description 263 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 13 заголовков
- +3Пошаговые инструкции: 29 пунктов
- +4Есть примеры (10 блоков кода)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 72.