BC red-team-verifier-patrick-munro
Состязательная проверка юридического контента, сгенерированного ИИ, с систематической проверкой фактов, валидацией источников и контролем качества. Используйте, когда пользователь просит проверить, проверить факты, провести красное тестирование, проверить источники или проконтролировать качество юридического документа, брифинга, сводки по соответствию или регуляторного анализа перед его распространением клиентам, заинтересованным сторонам или публикацией. Триггерные фразы включают «проверить», «проверить факты», «красное тестирование», «красный флаг», «проверить точность», «проверить источники», «контроль качества», «это правильно» и «проверить на ошибки». Создает структурированный отчет о проверке с ошибками, категоризированными по степени серьезности, проверенными источниками, списком неподтвержденных утверждений, отсутствующими оговорками и явной оценкой готовности к распространению.
машинный переводПоказать оригиналСкрыть оригинал«Adversarial verification of AI-generated legal content with systematic…»
Adversarial verification of AI-generated legal content with systematic fact-checking, source validation, and quality control. Use when a user asks to verify, fact-check, red-team, validate sources, or quality-control a legal document, briefing, compliance summary, or regulatory analysis before it is distributed to clients, stakeholders, or published. Trigger phrases include "verify", "fact-check", "red team", "red-flag", "check accuracy", "validate sources", "quality control", "is this correct", and "review for errors". Produces a structured verification report with severity-categorized errors, verified sources, unsupported claim list, missing disclaimers, and an explicit distribution-readiness assessment.
Состязательная проверка юридического контента, сгенерированного ИИ, с систематической проверкой фактов, валидацией источников и контролем качества.
Как процесс C 50/100 · Есть пробелы — слабые места: когда включается, входы и предусловия, повторный запуск
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 5
✓ Критических и высоких находок нет
Средние и низкие: 5
-
низкая Рискованное назначение
intent-offensive-securityREADME.md:1Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)Adversarial verification for AI-generated legal content with systematic fact-checking, source validation, and quality control. Use when verifying legal documents, fact-checking regulatory content, per
-
низкая Рискованное назначение
intent-offensive-securitySKILL.md:3Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение) (в кавычках — упоминание, а не команда)description: Adversarial verification of AI-generated legal content with systematic fact-checking, source validation, and quality control. Use when a user asks to verify, fact-check, red-team, validat
в кавычках -
низкая Рискованное назначение
intent-offensive-securitySKILL.md:10Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)# Red Team Verifier
-
низкая Рискованное назначение
intent-offensive-securitySKILL.md:26Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)**Trigger phrases**: verify, fact-check, red team, red-flag, check accuracy, validate sources, quality control, is this correct, review for errors.
-
низкая Рискованное назначение
intent-offensive-securitySKILL.md:139Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)# LEGAL RED TEAM VERIFICATION REPORT
Просканировано файлов: 3. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 50/100
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 55Ошибки и развилки. Развилок: 1
- 60Инструменты и файлы. Используются инструменты (web), но во frontmatter они не объявлены
- 60Шаги. Шагов: 86, расплывчатых формулировок: 4
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 70Стоимость исполнения. Тело инструкции 4414 токенов
- 100Согласованность. Имя и обязательные поля на месте
- low Разделов верхнего уровня: 15. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +2Инструкции на одном языке
- +5В description 9 примера фраз-триггеров в кавычках
- +3Длина description 715 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 44 заголовков
- +3Пошаговые инструкции: 86 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (1 блоков кода)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 93.