BF eeat-openclaw-skill-audit
Аудит качества OpenClaw Skill на основе фреймворка CORE-EEAT, адаптированного для навыков ИИ-агентов. Оценивает полезность навыка (эффективность выполнения задач) и безопасность (безопасное выполнение). Содержит 80 стандартизированных критериев, 8-мерную оценку, обнаружение элементов вето для уязвимостей безопасности и рекомендации по приоритетным улучшениям. Применимо для выбора навыков, проверки безопасности и оценки качества навыков.
машинный переводПоказать оригиналСкрыть оригинал«OpenClaw Skill quality audit based on CORE-EEAT framework adapted for…»
OpenClaw Skill quality audit based on CORE-EEAT framework adapted for AI agent skills. Evaluates skill's utility (task completion efficiency) and security (safe execution). Features 80 standardized criteria, 8-dimension scoring, veto item detection for security vulnerabilities, and priority improvement recommendations. Applicable for skill selection, security vetting, and skill quality assessment.
Аудит качества OpenClaw Skill на основе фреймворка CORE-EEAT, адаптированного для навыков ИИ-агентов.
Как процесс F 34/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: references/utility-testing-guide.md
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 2
✓ Критических и высоких находок нет
Средние и низкие: 2
-
низкая Опасные команды
cmd-eval-dynamicreferences/skill-security-checklist.md:47Динамическое выполнение кода из декодированного/недоверенного ввода (документация security-скилла)os.system(f"curl {user_url}") # Command injection!security-скилл -
низкая Секреты в коде
secret-password-literalreferences/skill-security-checklist.md:79Захардкоженный пароль / ключ (возможно, пример) (значение-заглушка)api_key: "sk-p…..."
заглушка
Просканировано файлов: 4. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда") - предупреждение
missing-refссылка на отсутствующий файл: references/utility-testing-guide.md
Процессный рейтинг: все десять параметров 34/100
- 0Инструменты и файлы. Не хватает 1 файла(ов): references/utility-testing-guide.md
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 4, без проверки текущего состояния
- 40Согласованность. Имя во frontmatter (eeat-openclaw-skill-audit) не совпадает с папкой (openclaw-skill-eeta-audit)
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 70Стоимость исполнения. Тело инструкции 4140 токенов
- 100Шаги. Шагов: 120
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
- low Разделов верхнего уровня: 12. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 400 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 45 заголовков
- +3Пошаговые инструкции: 120 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (9 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (2 из 2)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 73.