AB prompt-benchmark
Оценивает один или несколько промптов с помощью основанного на доказательствах статического бенчмарка, охватывающего общее качество, структуру и формат, примеры few-shot, безопасность и надежность, совместимость с целевой моделью и переносимость между моделями. Используйте, когда Codex нужно оценить, проверить, проанализировать, сравнить или диагностировать промпты; оценить, готов ли промпт к производству; проверить примеры или схемы вывода; выявить предположения, специфичные для модели; или рекомендовать улучшения с высоким приоритетом без фактического запуска промпта на внешних моделях.
машинный переводПоказать оригиналСкрыть оригинал«Evaluate one or more prompts with an evidence-based static benchmark c…»
Evaluate one or more prompts with an evidence-based static benchmark covering general quality, structure and format, few-shot examples, safety and robustness, target-model compatibility, and cross-model portability. Use when Codex needs to score, audit, lint, compare, or diagnose prompts; assess whether a prompt is production-ready; check examples or output schemas; identify model-specific assumptions; or recommend high-priority improvements without actually running the prompt against external models.
Оценивает один или несколько промптов с помощью основанного на доказательствах статического бенчмарка, охватывающего общее качество, структуру и формат…
Как процесс B 70/100 · Почти готов — слабые места: результат и критерий готовности, когда включается, ошибки и развилки
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
✓ Критических и высоких находок нет
Средние и низкие: 1
-
низкая Рискованное назначение
intent-offensive-securityreferences/scoring-rubric.md:104Наступательная безопасность / двойное назначение (допустимо для авторизованного тестирования; проверьте назначение)- **Authority boundaries:** the prompt does not request privilege escalation or secret disclosure.
Просканировано файлов: 7. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 70/100
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 40Результат и критерий готовности. Не сказано, что считать результатом
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 40
- 100Входы и предусловия. Входные данные и предусловия перечислены
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1434 токенов
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 506 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 13 заголовков
- +3Пошаговые инструкции: 40 пунктов
- +4Есть примеры (1 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (3 из 3)
- +3Все 1 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 91.