CD create-task
Создайте новую задачу Harbor для оценки агентов. Используйте, когда пользователь хочет создать основу, построить или разработать новую задачу, проблему для бенчмаркинга или оценку. Руководит написанием инструкций, настройкой среды, разработкой верификатора (pytest против Reward Kit против пользовательского) и написанием скриптов решений.
машинный переводПоказать оригиналСкрыть оригинал«Create a new Harbor task for evaluating agents. Use when the user want…»
Create a new Harbor task for evaluating agents. Use when the user wants to scaffold, build, or design a new task, benchmark problem, or eval. Guides through instruction writing, environment setup, verifier design (pytest vs Reward Kit vs custom), and solution scripting.
Создайте новую задачу Harbor для оценки агентов.
Как процесс D 49/100 · Процесс не доведён — Скилл ссылается на файлы, которых нет в архиве: examples/tasks/hello-multi-step-advanced/
Чем это грозит
Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.
Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.
Как улучшить
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
✓ Критических и высоких находок нет
Средние и низкие: 1
-
средняя Опасные команды
cmd-pipe-to-shell-known-hostSKILL.md:143Установщик через pipe в shell с известного хоста (всё равно выполняет удалённый код)curl -LsSf https://astral.sh/uv/0.9.7/install.sh | sh
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
missing-refссылка на отсутствующий файл: examples/tasks/hello-multi-step-advanced/
Процессный рейтинг: все десять параметров 49/100
- 0Инструменты и файлы. Не хватает 1 файла(ов): examples/tasks/hello-multi-step-advanced/
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 70Когда включается. Сказано, когда применять, но не сказано, когда не стоит
- 100Шаги. Шагов: 42
- 100Ошибки и развилки. Развилок: 1, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 3281 токенов
- low Разделов верхнего уровня: 12. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 270 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 22 заголовков
- +3Пошаговые инструкции: 42 пунктов
- +4Есть примеры (17 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 78.