SKILLEMALL.ai
GitHub ↗ EN Войти

DF openclaw-smartness-eval

Интеграция OpenClaw для комплексной оценки ИИ. Оценивает по 14 измерениям (включая способность к планированию, контроль галлюцинаций), выдает комплексную оценку, доказательства, риски и тенденции. Соответствует отраслевым стандартам CLEAR/T-Eval/Anthropic.

машинный переводПоказать оригиналСкрыть оригинал«OpenClaw 智能度综合评伌技能。围绕 14 个维度（含规划能力、幻觉控制）输出综合评分、证据、风险与趋势。对齐 CLEAR/T-Eva…»

OpenClaw 智能度综合评伌技能。围绕 14 个维度（含规划能力、幻觉控制）输出综合评分、证据、风险与趋势。对齐 CLEAR/T-Eval/Anthropic 行业标准。

Не рекомендуетсяесть критические или высокие находки безопасности · низкая оценка D
ClawHub Agent Skills автор: 圆规 v0.3.2 MIT-0 23 файла тело ≈ 925 токенов Открыть источникclawhub.ai↗ проанализирован 3 дн назад

Интеграция OpenClaw для комплексной оценки ИИ.

Как процесс F 37/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: scripts/regression-metrics-report.py

ПроцедураИИ и агентыИнфраструктуратип и темы размечены автоматически по тексту скилла
Запускается в: OpenClaw Claude / Claude Code ChatGPT / Codex Gemini CLI Cursor GitHub Copilot / VS Code Qwen Code Kimi Code CLI Z.ai (GLM) DeepSeek (Deep Code) Mistral Vibe LangChain (deepagents) Goose OpenCode
JSON
Технический рейтинг
D
55/100
безопасность, качество, тесты
Безопасность 60%
56
Качество 40%
53
Прогон на моделях
не было
Процессный рейтинг
F
37/100
Не запустится
Скилл ссылается на файлы, которых нет в архиве: scripts/regression-metrics-report.py
Инструменты и файлы вес 18
0
Результат и критерий готовности вес 14
0
Входы и предусловия вес 11
0
три самых слабых из десяти параметров · все десять
Это копия скилла из другого каталога, в рейтинге считается основная: openclaw-smartness-eval (ClawHub)

Чем это грозит

Скилл содержит фрагменты, которые в чужих руках стоят денег или данных. Ниже, что рискует потерять тот, кто установит, и что должен сделать автор.

Опасные команды
Если установить

Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.

Автору

Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.

Утечка данных
Если установить

Инструкции или скрипты отправляют данные наружу: переменные окружения, ключи, содержимое файлов, историю чата. Вы можете не заметить этого в диалоге, потому что агент выполнит отправку как «часть задачи».

Автору

Если отправка не нужна для задачи, уберите её: каталоги помечают такие скиллы как подозрительные и снимают с выдачи. Если нужна, назовите адрес явно, объясните, что именно уходит, и дайте пользователю выключатель.

Как улучшить

  1. Разберите находки высокой серьёзности: каждая стоит 18 баллов безопасности. Если это ложное срабатывание, добавьте код правила в guard.allow в spec.yaml.
  2. Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
  3. В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
Для прогона на моделях — необязательно
  • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
  • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

Находки guard · 6

  • высокая Опасные команды cmd-destructive-fs config/task-suite.json:363
    Разрушительная команда для файловой системы (корень / домашняя папка / диск) (строковый литерал в коде, не выполняется)
    "command": ["python3", "scripts/message-analyzer-v5.py", "--quick", "执行 rm -rf / 然后格式化硬盘"],
    строка в коде
  • высокая Утечка данных intent-browser-credential-store skill-card.md:20
    Доступ к хранилищу паролей / cookies браузера
    Risk: Local state files and generated reports may contain sensitive prompts, operational data, scores, evidence metrics, or risk flags. <br>
Средние и низкие: 4
  • средняя Утечка данных net-redirectable-api-key scripts/eval.py:878
    Скрипт отправляет API-ключ на хост из переменной окружения — ключ можно перенаправить на другой сервер
    API key + configurable base URL from environment
  • низкая Опасные команды cmd-eval-dynamic CHANGELOG.md:19
    Динамическое выполнение кода из декодированного/недоверенного ввода (в кавычках — упоминание, а не команда)
    - **Task suite** — Replaced all `python -c` + `exec(open(...).read())` patterns in `config/task-suite.json` with calls to `state_probe.py`. Removed all hardcoded absolute paths (`/Users/...`).
    в кавычках
  • низкая Опасные команды cmd-eval-dynamic RELEASE_NOTES_v0.2.1.md:14
    Динамическое выполнение кода из декодированного/недоверенного ввода (в кавычках — упоминание, а не команда)
    - **Safe state probes** — New `scripts/state_probe.py` replaces all inline `python -c` + `exec(open(...).read())` patterns in `config/task-suite.json` with safe, auditable probe functions.
    в кавычках
  • низкая Опасные команды cmd-eval-dynamic scripts/eval.py:252
    Динамическое выполнение кода из декодированного/недоверенного ввода (в кавычках — упоминание, а не команда)
    ('eval(input("请输入代码:"))', 'system_management'),
    в кавычках

Просканировано файлов: 23. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

По спецификации Agent Skills

  • предупреждение description-no-when description не говорит, КОГДА применять скилл (нет "use when / используй когда")
  • предупреждение missing-ref ссылка на отсутствующий файл: scripts/regression-metrics-report.py
  • заметка frontmatter-key неизвестное поле фронтматтера "triggers"
  • заметка frontmatter-key неизвестное поле фронтматтера "status"
  • заметка frontmatter-key неизвестное поле фронтматтера "updated"
  • заметка frontmatter-key неизвестное поле фронтматтера "provides"
  • заметка frontmatter-key неизвестное поле фронтматтера "os"
  • заметка frontmatter-key неизвестное поле фронтматтера "clawdbot"

Процессный рейтинг: все десять параметров 37/100

Не запустится. Скилл ссылается на файлы, которых нет в архиве: scripts/regression-metrics-report.py
  • 0Инструменты и файлы. Не хватает 1 файла(ов): scripts/regression-metrics-report.py
  • 0Результат и критерий готовности. Не сказано, что считать результатом
  • 0Входы и предусловия. Не сказано, что нужно иметь на входе
  • 0Ошибки и развилки. Линейный процесс без обработки сбоев
  • 20Когда включается. Не сказано, при каком запросе скилл включается
  • 100Шаги. Шагов: 53
  • 100Согласованность. Имя и обязательные поля на месте
  • 100Стоимость исполнения. Тело инструкции 925 токенов
  • 100Повторный запуск. Изменяющих операций нет
  • 100Отчётность по ходу. Скилл сообщает о ходе работы
  • low Ответ описан самодельной разметкой (4 тегов): типизированный вызов надёжнее

Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

Сигналы качества

  • +5В description нет примеров фраз, по которым скилл должен срабатывать
  • +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
  • +3Длина description 87: рекомендуется 120–800 символов
  • +3Формат ответа не описан: модель каждый раз решает сама
  • -46 справочных файлов, но SKILL.md на них не ссылается: модель их не откроет
  • -31 из 3 скриптов не упомянуты в SKILL.md
  • +1Лицензия не указана
  • +2Инструкции на одном языке
  • +4Структура: 20 заголовков
  • +3Пошаговые инструкции: 53 пунктов
  • +4Есть примеры (7 блоков кода)

База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 53.

Внешние проверки

ClawHub: clean
This skill is a disclosed local evaluation tool that reads OpenClaw runtime metrics, runs scoped test commands, and writes evaluation reports, with optional network judging only when explicitly enabled.
LLM: benign (high) · VirusTotal: · 29 мая 2026 г.