SKILLEMALL.ai
GitHub ↗ EN Войти

CC audit-evolution

Мы использовали этот воспроизводимый цикл самоэволюции агента, чтобы вывести Longju на 93.0, а Jobs — на 88.8: каждый запуск становится доказательством, снимком, картой эволюции, журналом памяти, предложением минимального патча и загрузкой для следующего запуска перед любым одобренным человеком изменением.

машинный переводПоказать оригиналСкрыть оригинал«We used this reproducible Agent self-evolution loop to push Longju to…»

We used this reproducible Agent self-evolution loop to push Longju to 93.0 and Jobs to 88.8: every run becomes evidence, a snapshot, an evolution card, a memory ledger, a minimal patch proposal, and a next-run bootstrap before any human-approved change.

ClawHub Hermes автор: aDragon0707 v0.3.3 MIT-0 20 файлов · 2 скрипта тело ≈ 2 070 токенов Открыть источникclawhub.ai↗ проанализирован 3 дн назад

Мы использовали этот воспроизводимый цикл самоэволюции агента, чтобы вывести Longju на 93.0, а Jobs — на 88.8: каждый запуск становится доказательством…

Как процесс C 51/100 · Есть пробелы — слабые места: результат и критерий готовности, когда включается, входы и предусловия

АнализаторИИ и агентыИнфраструктуратип и темы размечены автоматически по тексту скилла
Запускается в: OpenClaw Hermes Agent
JSON
Технический рейтинг
C
72/100
безопасность, качество, тесты
Безопасность 60%
87
Качество 40%
50
Прогон на моделях
не было
Процессный рейтинг
C
51/100
Есть пробелы
Результат и критерий готовности вес 14
0
Входы и предусловия вес 11
0
Ошибки и развилки вес 10
0
три самых слабых из десяти параметров · все десять

Чем это грозит

Находки средней серьёзности: скорее всего скилл честный, но прочитайте, что именно насторожило сканер.

Опасные команды средняя серьёзность

Ниже описан худший случай для этой категории. Здесь находка средней серьёзности: guard увидел признак, но не доказательство.

Если установить

Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.

Автору

Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.

Как улучшить

  1. Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
  2. Для Hermes description должен быть одним предложением до 60 символов; условия применения вынесите в раздел «When to Use».
Для прогона на моделях — необязательно
  • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
  • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

Находки guard · 9

✓ Критических и высоких находок нет

Средние и низкие: 9
  • средняя Опасные команды cmd-execpolicy-bypass index.html:731
    Запуск PowerShell с обходом execution policy
    <pre>powershell -ExecutionPolicy Bypass `
  • низкая Опасные команды cmd-execpolicy-bypass ADAPTERS_ZH.md:25
    Запуск PowerShell с обходом execution policy (документация security-скилла)
    powershell -ExecutionPolicy Bypass -File .\scripts\inst…ps1 -TargetWorkspace "D:\YourCodexWorkspace" -Agent codex -Force
    security-скилл
  • низкая Опасные команды cmd-execpolicy-bypass ADAPTERS_ZH.md:47
    Запуск PowerShell с обходом execution policy (документация security-скилла)
    powershell -ExecutionPolicy Bypass -File .\.audit-evolution\hooks\invo…ps1 -EventType benchmark_completed -Summary "刚完成一次评测"
    security-скилл
  • низкая Опасные команды cmd-execpolicy-bypass README.md:72
    Запуск PowerShell с обходом execution policy (документация security-скилла)
    powershell -ExecutionPolicy Bypass -File .\scripts\inst…ps1 -TargetWorkspace "D:\YourAgentWorkspace" -Agent codex -Force
    security-скилл
  • низкая Опасные команды cmd-execpolicy-bypass README.md:99
    Запуск PowerShell с обходом execution policy (документация security-скилла)
    powershell -ExecutionPolicy Bypass -File .\.audit-evolution\hooks\invo…ps1 -EventType benchmark_completed -Summary "刚完成一次评测，需要审计并准备下一轮进化"
    security-скилл
  • низкая Опасные команды cmd-execpolicy-bypass SKILLHUNT_COPY_ZH.md:117
    Запуск PowerShell с обходом execution policy (документация security-скилла)
    powershell -ExecutionPolicy Bypass -File .\scripts\inst…ps1 -TargetWorkspace "D:\YourAgentWorkspace" -Agent codex -Force
    security-скилл

Ещё 3 совпадений отнесены к цитатам в документации скилла по безопасности и не считаются находками.

Просканировано файлов: 20. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

По спецификации Agent Skills

  • предупреждение frontmatter-yaml SKILL.md: фронтматтер не разбирается как YAML (YAML parse error: Nested mappings are not allowed in compact mappings at line 3, column 14: description: We used this reproducible Agent self-evolution loop to push Longju… ^ ); поля прочитаны построчно. Обычная причина — двоеточие в незакавыченном значении
  • предупреждение description-long-hermes description 253 символов, а стандарт Hermes требует ≤ 60 (одно предложение, с точкой)
  • предупреждение description-no-when ни description, ни раздел "## When to Use" не говорят, когда применять скилл
  • заметка frontmatter-key неизвестное поле фронтматтера "displayName"
  • заметка frontmatter-key неизвестное поле фронтматтера "skillType"
  • заметка frontmatter-key неизвестное поле фронтматтера "dimensions"
  • заметка frontmatter-key неизвестное поле фронтматтера "capabilityClasses"
  • заметка frontmatter-key неизвестное поле фронтматтера "evidenceFiles"
  • заметка frontmatter-key неизвестное поле фронтматтера "smokeTests"
  • заметка frontmatter-key неизвестное поле фронтматтера "coreSkill"

Процессный рейтинг: все десять параметров 51/100

  • 0Результат и критерий готовности. Не сказано, что считать результатом
  • 0Входы и предусловия. Не сказано, что нужно иметь на входе
  • 0Ошибки и развилки. Линейный процесс без обработки сбоев
  • 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
  • 20Когда включается. Не сказано, при каком запросе скилл включается
  • 30Повторный запуск. Изменяющих операций: 3, без проверки текущего состояния
  • 100Инструменты и файлы. Внешние инструменты не нужны
  • 100Шаги. Шагов: 22
  • 100Согласованность. Имя и обязательные поля на месте
  • 100Стоимость исполнения. Тело инструкции 2070 токенов
  • low Разделов верхнего уровня: 20. Похоже на несколько доменов в одном скилле

Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

Сигналы качества

  • +5В description нет примеров фраз, по которым скилл должен срабатывать
  • +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
  • +3Формат ответа не описан: модель каждый раз решает сама
  • -32 из 2 скриптов не упомянуты в SKILL.md
  • +1Лицензия не указана
  • +2Инструкции на одном языке
  • +3Длина description 253 символов: достаточно сигнала, не съедает бюджет
  • +4Структура: 24 заголовков
  • +3Пошаговые инструкции: 22 пунктов
  • +4Есть примеры (30 блоков кода)

База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 50.

Внешние проверки

ClawHub: suspicious
This is a disclosed agent self-audit tool, but it needs Review because it can persist automatic agent-routing behavior and let a very short command lead to local patching.
LLM: suspicious (high) · VirusTotal: · 29 мая 2026 г.