DB weak-agent-test
Запускает тестовый набор для слабых агентов против docx-cli. Создает слабых агентов (по умолчанию Haiku, Sonnet для проверки или предварительно созданные запуски локального набора агентов) для выполнения реальных задач с документами в шести сценариях — пять редактирования (заполнение формы MNDA + точность шрифта, редактирование/реструктуризация таблицы счета + замена логотипа, стилизация резюме, красное чернила контракта + комментирование, финализация контракта путем принятия/отклонения + ответ на комментарий/разрешение) и одно создание (журнал стихов Т. С. Элиота: многоколоночный, стихи, сноски, ссылки, рисунок) — отображает каждый результат с помощью Word, оценивает их с помощью opus на основе эталонных критериев, измеряет экономичность инструментов, стоимость токенов, время выполнения и точность каждого упражнения (из стенограмм для Claude, журнала exercise.json для локального набора), и синтезирует приоритетный отчет по эргономике. Используйте, когда пользователь говорит «тестовый обзор», «проверить docx-cli слабыми агентами», «запустить набор haiku», «тест слабого агента» или хочет повторно запустить вчерашний тестовый процесс.
машинный переводПоказать оригиналСкрыть оригинал«Run the weak-agent adversarial test harness against docx-cli. Spawns w…»
Run the weak-agent adversarial test harness against docx-cli. Spawns weak exercise agents (Haiku by default, Sonnet to probe, or a local agent harness's pre-produced runs) to perform real document tasks over six scenarios — five editing (MNDA form-fill + font fidelity, invoice table-edit/restructure + logo replace, résumé styling, contract redlining + commenting, contract finalize via accept/reject + comment reply/resolve) and one authoring (T. S. Eliot poetry journal: multi-column, verse, footnotes, links, figure) — renders every result with Word, has opus judge them against ground-truth rubrics, measures each exercise's tool economy, token cost, wall-clock, and correctness (from transcripts for Claude, the exercise.json ledger for the local harness), and synthesizes a prioritized ergonomics report. Use when the user says 'adversarial review', 'test docx-cli with weak agents', 'run the haiku harness', 'weak agent test', or wants to re-run yesterday's adversarial process.
Запускает тестовый набор для слабых агентов против docx-cli.
Как процесс B 66/100 · Почти готов — слабые места: результат и критерий готовности, входы и предусловия
Чем это грозит
Скилл содержит фрагменты, которые в чужих руках стоят денег или данных. Ниже, что рискует потерять тот, кто установит, и что должен сделать автор.
Скилл просит агента что-то скрывать от вас: не показывать ошибки, не упоминать действия, отвечать иначе, чем было сделано. Вы теряете возможность контролировать, что агент реально сделал.
Прозрачность важнее гладкого ответа. Если хочется спрятать технический шум, попросите агента «кратко сообщить», а не «не сообщать».
Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.
Скилл просит больше прав, чем нужно для задачи: широкий доступ к инструментам, секретные переменные окружения, бинарные файлы. Каждое лишнее право расширяет ущерб при ошибке или взломе.
Сузьте allowed-tools и список переменных до минимума, замените бинарники на исходники или скрипты, которые можно прочитать.
Как улучшить
- Разберите находки высокой серьёзности: каждая стоит 18 баллов безопасности. Если это ложное срабатывание, добавьте код правила в guard.allow в spec.yaml.
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 2
-
высокая Сокрытие от пользователя
en-hide-from-userscenarios/contract-finalize/criteria.md:35Инструкция скрыть действия от пользователяnever anchored the reply, causing Word to silently delete it on next save.)
Средние и низкие: 1
-
средняя Широкие права
meta-broad-allowed-toolsSKILL.md:1Заранее разрешены широкие инструменты: Bashallowed-tools: Bash Read Write Glob Workflow
Просканировано файлов: 22. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 6397 токенов (рекомендуется < 5000); вынесите детали в references/
Процессный рейтинг: все десять параметров 66/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 65Ошибки и развилки. Развилок: 3
- 70Когда включается. Сказано, когда применять, но не сказано, когда не стоит
- 70Стоимость исполнения. Тело инструкции 6397 токенов
- 100Инструменты и файлы. Инструменты объявлены во frontmatter
- 100Шаги. Шагов: 28
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Ответ описан самодельной разметкой (16 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Длина description 986: рекомендуется 120–800 символов
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +4Структура: 9 заголовков
- +3Пошаговые инструкции: 28 пунктов
- +4Есть примеры (7 блоков кода)
- +3Все 6 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 74.