BC harbor-f2p-p2p-deep-dive
Глубоко анализируйте результаты пробных запусков Harbor для задач, использующих эталонные тесты SWE-Bench-стиля F2P (FAIL_TO_PASS) и P2P (PASS_TO_PASS). Диагностирует, почему агент потерпел неудачу, и проверяет, является ли неудачная задача действительно сложной или несправедливой (несоответствие инструкции и верификатора). Используйте, когда пользователь просит проанализировать, отладить, исследовать или глубоко изучить запуск, пробный запуск или каталог заданий Harbor; когда пользователь говорит «harbor deep dive», «f2p deep dive» или «p2p deep dive»; когда пробный запуск показывает более низкие результаты, чем ожидалось; или когда пользователь хочет оценить справедливость задачи, качество инструкции, корректность верификатора или разумность теста F2P или P2P для данной инструкции. Работает с любой задачей Harbor, верификатор которой сообщает о результатах в стиле F2P/P2P, и с любым поддерживаемым агентом (claude-code, opencode, codex). Производит вердикт по корневой причине каждой неудачи (разрыв в возможностях / проблема верификатора / проблема инструкции), триангулируя выходные данные верификатора, реализацию агента, эталонные тесты и инструкцию.
машинный переводПоказать оригиналСкрыть оригинал«Deep dive on Harbor trial results for tasks that use SWE-Bench-style F…»
Deep dive on Harbor trial results for tasks that use SWE-Bench-style F2P (FAIL_TO_PASS) and P2P (PASS_TO_PASS) reference tests. Diagnoses why an agent failed and audits whether a failing task is genuinely hard or unfair (instruction-vs-verifier mismatch). Use when the user asks to analyze, debug, investigate, or deep dive on a Harbor run, trial, or job directory; when the user says "harbor deep dive", "f2p deep dive", or "p2p deep dive"; when a trial scores lower than expected; or when the user wants to assess task fairness, instruction quality, verifier correctness, or whether an F2P or P2P test is reasonable for the instruction given. Works with any Harbor task whose verifier reports F2P/P2P-style results, and with any supported agent (claude-code, opencode, codex). Produces a per-failure root-cause verdict (capability gap / verifier issue / instruction issue) by triangulating verifier output, the agent's implementation, the reference tests, and the instruction.
Глубоко анализируйте результаты пробных запусков Harbor для задач, использующих эталонные тесты SWE-Bench-стиля F2P (FAILTOPASS) и P2P (PASSTOPASS).
Как процесс C 57/100 · Есть пробелы — Скилл ссылается на файлы, которых нет в архиве: scripts/task_review.py
Как улучшить
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 2. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 5118 токенов (рекомендуется < 5000); вынесите детали в references/ - предупреждение
missing-refссылка на отсутствующий файл: scripts/task_review.py
Процессный рейтинг: все десять параметров 57/100
- 0Инструменты и файлы. Не хватает 1 файла(ов): scripts/task_review.py
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 70Когда включается. Сказано, когда применять, но не сказано, когда не стоит
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 70Стоимость исполнения. Тело инструкции 5118 токенов
- 85Шаги. Шагов: 64, расплывчатых формулировок: 2
- 100Ошибки и развилки. Развилок: 2, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Ответ описан самодельной разметкой (13 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Длина description 978: рекомендуется 120–800 символов
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 3 примера фраз-триггеров в кавычках
- +4Структура: 26 заголовков
- +3Пошаговые инструкции: 64 пунктов
- +4Есть примеры (9 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (1 из 1)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 74.