AB modelpilot
Используйте этот навык, когда пользователь хочет протестировать, сравнить, продвинуть, заменить или очистить локальные модели Ollama с помощью повторяемого двухэтапного тестирования на реальных задачах, проверки без размышлений и локальных границ безопасности. Он применяется для оценки локальных LLM, принятия решений о замене моделей, отчетов о тестировании, аудита установленных моделей и гигиены рабочих процессов Ollama. Не используйте его для облачных API моделей, загрузки моделей, установки зависимостей или отправки локальных данных за пределы машины.
машинный переводПоказать оригиналСкрыть оригинал«Use this skill when the user wants to test, compare, promote, replace,…»
Use this skill when the user wants to test, compare, promote, replace, or clean up local Ollama models with a repeatable two-round real-task benchmark, no-think verification, and local-only safety boundaries. It applies to local LLM evaluation, model replacement decisions, benchmark reports, installed-model audits, and Ollama workflow hygiene. Do not use it for cloud model APIs, downloading models, installing dependencies, or sending local data outside the machine.
Используйте этот навык, когда пользователь хочет протестировать, сравнить, продвинуть, заменить или очистить локальные модели Ollama с помощью повторяемого…
Как процесс B 74/100 · Почти готов — слабые места: входы и предусловия, повторный запуск, отчётность по ходу
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 8. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 74/100
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
- 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
- 60Результат и критерий готовности. Формат результата описан, критерия завершения нет
- 100Инструменты и файлы. Внешние инструменты не нужны
- 100Шаги. Шагов: 41
- 100Когда включается. Сказано, когда применять и когда не применять
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1111 токенов
- medium Правила безопасности и запреты внутри скилла: их место в системном промпте, здесь они не защищают
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +1Лицензия не указана
- +2Инструкции на одном языке
- +4Описание говорит, когда скилл НЕ применять
- +3Длина description 469 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 10 заголовков
- +3Пошаговые инструкции: 41 пунктов
- +3Формат ответа описан явно
- +4Есть примеры (1 блоков кода)
- +3Все 2 скриптов описаны в инструкциях
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 94.