AD ai-harness-engineering
AI-управляемый сборник ошибок в инженерии: записывает все проверенные ошибки, галлюцинации, дефекты, промахи OpenClaw, формируя отслеживаемую базу ошибок, стимулируя самоанализ и эволюцию модели. Сценарии использования: (1) Пользователь исправляет ответ OpenClaw («неправильно»/«ошибочно»/«должно быть»/«Actually» и т. д.) (2) Ответ OpenClaw не соответствует действительности и указан пользователем (3) Ошибки в коде, логические ошибки проверены (4) Пропущенные шаги, недостающая информация, неполный ответ указаны (5) Ошибки в формате, путаница в структуре (6) Проблемы безопасности, превышение полномочий, вводящее в заблуждение поведение (7) Пользователь явно просит «записать эту ошибку»/«добавить в сборник ошибок»/«запомнить этот урок» (8) Пользователь хочет, но не имеет функции («может ли»/«надеюсь, вы сможете»/«Is there a way») (9) Пользователь просматривает статистику ошибок/сборник ошибок/отчеты о разборе ⚡ Механизм автоматической эволюции (основное): - Автоматическое повышение каждые 2 часа: каждые 2 часа проверяет обучение с recurrence_count>=3, автоматически записывает в workspace - Внедрение сводки ошибок: при запуске сеанса автоматически считывает сводку базы ошибок и внедряет ее в контекст - Самопроверка перед ответом: перед каждым ответом автоматически запрашивает базу ошибок, чтобы избежать записанных ошибок Ключевые слова: сборник ошибок, запись ошибок, самоанализ, эволюция, HarnessEngineering, база ошибок, разбор, запрос функции, Feature Request
машинный переводПоказать оригиналСкрыть оригинал«AI驾驭工程错题本：记录OpenClaw所有被验证的错误、幻觉、缺陷、失误，形成可追溯错误台账，驱动模型自省与进化。 触发场景： (1)…»
AI驾驭工程错题本：记录OpenClaw所有被验证的错误、幻觉、缺陷、失误，形成可追溯错误台账，驱动模型自省与进化。 触发场景： (1) 用户纠正OpenClaw的回答（"不对"/"错了"/"应该是"/"Actually"等） (2) OpenClaw回答与事实不符，被用户指出 (3) 代码错误、逻辑错误被验证 (4) 漏步骤、漏信息、回答不完整被指出 (5) 格式错误、结构混乱 (6) 安全问题、越权、误导行为 (7) 用户明确要求"记录这个错误"/"添加到错题本"/"记住这个教训" (8) 用户想要但没有的功能（"能不能"/"希望你能"/"Is there a way"） (9) 用户查看错误统计/错题本/复盘报告 ⚡ 自动进化机制（核心）： - 定时自动提升：每2小时检查recurrence_count>=3的学习，自动写入workspace - 错误摘要注入：session启动时自动读取错误台账摘要，注入到上下文 - 回答前自检：每次回答前自动查询错误台账，规避已记录的错误 关键词：错题本、错误记录、自省、进化、HarnessEngineering、错误台账、复盘、功能请求、Feature Request
AI-управляемый сборник ошибок в инженерии: записывает все проверенные ошибки, галлюцинации, дефекты, промахи OpenClaw, формируя отслеживаемую базу ошибок…
Как процесс D 44/100 · Процесс не доведён — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 19. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда")
Процессный рейтинг: все десять параметров 44/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 60Инструменты и файлы. Используются инструменты (bash, python), но во frontmatter они не объявлены
- 70Стоимость исполнения. Тело инструкции 4034 токенов
- 100Шаги. Шагов: 63
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющих операций нет
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +5В description 5 примера фраз-триггеров в кавычках
- +3Длина description 517 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 60 заголовков
- +3Пошаговые инструкции: 63 пунктов
- +4Есть примеры (37 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (1 из 1)
- +3Все 12 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 84.