BF prompt-fidelity
Проверяет, какая часть запроса может быть подтверждена, а какая является предположением, прежде чем ответить на него. Используйте при обработке запросов на поиск, фильтрацию, рекомендации или извлечение данных из любого набора данных (API, база данных, файлы, электронная таблица), которые сочетают объективные критерии (проверяемые с помощью запроса, подсчета или расчета) с субъективным суждением (настроение, стиль, качество, «ощущение», «лучшее»), или когда пользователь спрашивает, насколько уверенным, надежным или проверяемым является ответ. Разлагает запрос на ограничения, вычисляет показатель достоверности и сообщает, какие части ответа проверены, а какие выведены.
машинный переводПоказать оригиналСкрыть оригинал«Self-checks how much of a request is verifiable vs guesswork before an…»
Self-checks how much of a request is verifiable vs guesswork before answering it. Use when handling search, filtering, recommendation, or data-retrieval requests over any dataset (API, database, files, spreadsheet) that mix objective criteria (checkable via a query, count, or calculation) with subjective judgment (mood, style, quality, "feels like", "best"), or when the user asks how confident, reliable, or verifiable an answer is. Decomposes the request into constraints, computes a fidelity score, and reports which parts of the answer are verified vs inferred.
Проверяет, какая часть запроса может быть подтверждена, а какая является предположением, прежде чем ответить на него.
Как процесс F 46/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: scripts/compute_fidelity.py
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.
Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.
Как улучшить
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
✓ Критических и высоких находок нет
Средние и низкие: 1
-
средняя Опасные команды
cmd-autorun-instructionSKILL.md:221Инструкция автоматически запускать скрипт в каждой сессииAlways run the script — the score must be computed correctly either way —
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
missing-refссылка на отсутствующий файл: scripts/compute_fidelity.py
Процессный рейтинг: все десять параметров 46/100
- 0Инструменты и файлы. Не хватает 1 файла(ов): scripts/compute_fidelity.py
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 30Повторный запуск. Изменяющих операций: 2, без проверки текущего состояния
- 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
- 70Когда включается. Сказано, когда применять, но не сказано, когда не стоит
- 100Шаги. Шагов: 21
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 3717 токенов
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 567 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 10 заголовков
- +3Пошаговые инструкции: 21 пунктов
- +4Есть примеры (3 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 78.