BB reseed-ssim-references
Перезаполнить эталонные видео HF для одного существующего теста SSIM на Modal L40S. Всегда сначала создает локальную резервную копию текущих эталонов, регенерирует на Modal, приостанавливается, чтобы пользователь мог сравнить качество до и после, а затем перезаписывает целевой подкаталог модели в `FastVideo/ssim-reference-videos` с помощью `--force`. Используйте, когда намеренное изменение кода (исправление порта модели, замена бэкенда внимания, обновление ядра, изменение гиперпараметров) сделало существующие эталоны недействительными и их необходимо регенерировать. Работает в паре с `seed-ssim-references`, который предназначен только для первоначального заполнения.
машинный переводПоказать оригиналСкрыть оригинал«Re-seed HF reference videos for a single existing SSIM test on Modal L…»
Re-seed HF reference videos for a single existing SSIM test on Modal L40S. Always backs up current refs locally first, regenerates on Modal, pauses for the user to eyeball before-vs-after quality, then overwrites the targeted model subtree on `FastVideo/ssim-reference-videos` with `--force`. Use when an intentional code change (model port fix, attention backend swap, kernel upgrade, hyperparameter change) has invalidated existing refs and they need to be regenerated. Pairs with `seed-ssim-references`, which is for first-time seeding only.
Перезаполнить эталонные видео HF для одного существующего теста SSIM на Modal L40S.
Как процесс B 66/100 · Почти готов — слабые места: результат и критерий готовности, когда включается
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
- заметка
edit-residueв тексте есть пометки об устаревшем (строки 12): проверьте, не остались ли старые правила рядом с новыми — полная проверка читает текст на противоречия
Процессный рейтинг: все десять параметров 66/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 60Инструменты и файлы. Используются инструменты (web), но во frontmatter они не объявлены
- 70Входы и предусловия. Входные данные и предусловия перечислены
- 100Шаги. Шагов: 48
- 100Ошибки и развилки. Развилок: 1, есть раздел про ошибки
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 3527 токенов
- 100Повторный запуск. Изменяющие операции проверяют текущее состояние
- 100Отчётность по ходу. Скилл сообщает о ходе работы
- low Разделов верхнего уровня: 10. Похоже на несколько доменов в одном скилле
- low Ответ описан самодельной разметкой (10 тегов): типизированный вызов надёжнее
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 544 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 19 заголовков
- +3Пошаговые инструкции: 48 пунктов
- +4Есть примеры (8 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 84.