BB huawei-cloud-skill-tester
Комплексная система функционального тестирования для навыков Huawei Cloud — трехэтапный конвейер, охватывающий модульное тестирование отдельных навыков, оркестрацию нескольких навыков и сквозное тестирование полного потока. Каждый этап выдает структурированный вывод JSON с проверкой цепочки. Поддерживает проверку установки навыков, функциональный анализ, исследование выполнимости CLI→SDK→API, генерацию тестовых случаев, выполнение в реальной среде с управлением жизненным циклом ресурсов, очистку ресурсов, оркестрацию сценариев с несколькими навыками, обнаружение конфликтов триггеров и консолидированную отчетность. Триггеры включают: 测试技能, 执行技能测试, 跑测试流程, 技能回归测试, skill test, run skill tests, test huawei cloud skill, verify skill, 测试华为云skill, 全流程测试, 编排测试, 技能完整性检查, skill-tester, 跑测试, 回归测试, 组合测试, 多skill编排, verification, e2e.
машинный переводПоказать оригиналСкрыть оригинал«End-to-end functional testing framework for Huawei Cloud skills — thre…»
End-to-end functional testing framework for Huawei Cloud skills — three-tier pipeline covering single-skill unit testing, multi-skill orchestration, and end-to-end full flow testing. Each phase produces structured JSON output with chain verification. Supports skill installation validation, functional analysis, CLI→SDK→API feasibility research, test case generation, real-environment execution with resource lifecycle, resource cleanup, multi-skill scenario orchestration, trigger-conflict detection, and consolidated reporting. Triggers include: 测试技能, 执行技能测试, 跑测试流程, 技能回归测试, skill test, run skill tests, test huawei cloud skill, verify skill, 测试华为云skill, 全流程测试, 编排测试, 技能完整性检查, skill-tester, 跑测试, 回归测试, 组合测试, 多skill编排, verification, e2e.
Комплексная система функционального тестирования для навыков Huawei Cloud — трехэтапный конвейер, охватывающий модульное тестирование отдельных навыков…
Как процесс B 70/100 · Почти готов — слабые места: когда включается
Такой же скилл встречается ещё в 1 месте: ClawHub
Чем это грозит
Скилл содержит фрагменты, которые в чужих руках стоят денег или данных. Ниже, что рискует потерять тот, кто установит, и что должен сделать автор.
Скилл содержит команды, которые удаляют файлы, переписывают диски или исполняют код, скачанный из сети. Агент может выполнить их без вопроса, если считает, что так требует инструкция.
Замените разрушительные команды на безопасные аналоги с подтверждением, ограничьте область действия конкретной папкой и не тяните код через curl | bash: укажите версию и контрольную сумму.
Как улучшить
- Разберите находки высокой серьёзности: каждая стоит 18 баллов безопасности. Если это ложное срабатывание, добавьте код правила в guard.allow в spec.yaml.
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
-
высокая Опасные команды
cmd-pipe-to-shellreferences/cli-installation-guide.md:7Скачивание и запуск удалённого кода с неизвестного хоста (pipe в shell)curl -sSL https://apiexplorer.developer.huaweicloud.com/install/hcloud/install.sh | bash
Просканировано файлов: 24. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
body-longтело SKILL.md ≈ 6625 токенов (рекомендуется < 5000); вынесите детали в references/
Процессный рейтинг: все десять параметров 70/100
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 60Инструменты и файлы. Используются инструменты (bash, web, python), но во frontmatter они не объявлены
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 70Стоимость исполнения. Тело инструкции 6625 токенов
- 85Шаги. Шагов: 50, расплывчатых формулировок: 1
- 100Ошибки и развилки. Развилок: 3, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- low Разделов верхнего уровня: 12. Похоже на несколько доменов в одном скилле
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 738 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 26 заголовков
- +3Пошаговые инструкции: 50 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (24 блоков кода)
- +4Справочные файлы упоминаются в инструкциях (4 из 7)
- +3Все 1 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 84.