BF nemo-automodel-model-onboarding
Руководство по добавлению новых архитектур моделей в NeMo AutoModel, включая обнаружение архитектур, шаблоны реализации, регистрацию и проверку.
машинный переводПоказать оригиналСкрыть оригинал«Guide for onboarding new model architectures into NeMo AutoModel, incl…»
Guide for onboarding new model architectures into NeMo AutoModel, including architecture discovery, implementation patterns, registration, and validation.
Руководство по добавлению новых архитектур моделей в NeMo AutoModel, включая обнаружение архитектур, шаблоны реализации, регистрацию и проверку.
Как процесс F 36/100 · Не запустится — Скилл ссылается на файлы, которых нет в архиве: llm-patterns.md, moe-patterns.md, vlm-patterns.md
Как улучшить
- Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
- Тело SKILL.md длиннее 5 000 токенов: вынесите справочные детали в references/ и подключайте по необходимости.
- В тексте есть ссылки на отсутствующие файлы: добавьте файлы или уберите ссылки.
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 1
✓ Критических и высоких находок нет
Средние и низкие: 1
-
низкая Секреты в коде
secret-high-entropy-tokenSKILL.md:91Строка, похожая на токен (может быть id, хеш или секрет) (в кавычках — упоминание, а не команда)- `architectures` -- determines the class name and registration key (e.g., `"LlamaForCausalLM"`, `"Qwen…lLM"`, `"Mist…ion"`)
в кавычках
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- предупреждение
description-no-whendescription не говорит, КОГДА применять скилл (нет "use when / используй когда") - предупреждение
body-longтело SKILL.md ≈ 5491 токенов (рекомендуется < 5000); вынесите детали в references/ - предупреждение
missing-refссылка на отсутствующий файл: llm-patterns.md - предупреждение
missing-refссылка на отсутствующий файл: moe-patterns.md - предупреждение
missing-refссылка на отсутствующий файл: vlm-patterns.md - предупреждение
missing-refссылка на отсутствующий файл: capabilities-and-precision.md - предупреждение
missing-refссылка на отсутствующий файл: ../nemo-automodel-recipe-development/SKILL.md - предупреждение
missing-refссылка на отсутствующий файл: examples/llm_finetune/<name>/ - предупреждение
missing-refссылка на отсутствующий файл: examples/vlm_finetune/<name>/
Процессный рейтинг: все десять параметров 36/100
- 0Инструменты и файлы. Не хватает 7 файла(ов): llm-patterns.md, moe-patterns.md, vlm-patterns.md
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 50Когда включается. Не сказано, при каком запросе скилл включается
- 50Ошибки и развилки. Развилок: 0, есть раздел про ошибки
- 60Шаги. Шагов: 94, расплывчатых формулировок: 6
- 70Стоимость исполнения. Тело инструкции 5491 токенов
- 100Согласованность. Имя и обязательные поля на месте
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- low Разделов верхнего уровня: 12. Похоже на несколько доменов в одном скилле
- low Ответ описан самодельной разметкой (7 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +2Инструкции на одном языке
- +3Длина description 154 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 30 заголовков
- +3Пошаговые инструкции: 94 пунктов
- +4Есть примеры (7 блоков кода)
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 51.