BC live-mastracode-instrumentation
Воспроизводит и измеряет ошибку времени выполнения кода Mastra, взаимодействуя с реальной моделью путем управления TUI без интерфейса в tmux, при этом каждый слой (сеть, поток провайдера, движок выполнения, TUI) добавляет временные метки JSONL. Используйте, когда ошибка зависит от реального времени провайдера, порядка потоковой передачи или потока событий, которые могут не воспроизводиться в смоделированных тестах и фикстурах — например, неправильные скорости токенов, мерцание, зависание статуса, гонки порядка или «иногда случается только с реальной моделью».
машинный переводПоказать оригиналСкрыть оригинал«Reproduce and measure a Mastra Code runtime bug against a real model b…»
Reproduce and measure a Mastra Code runtime bug against a real model by driving the built TUI headlessly in tmux while every layer (network, provider stream, run engine, TUI) appends timestamped JSONL. Use when a bug depends on real provider timing, streaming order, or event flow that mocked tests and fixtures may not reproduce — e.g. wrong token rates, flicker, stuck status, ordering races, or "only happens sometimes with a real model".
Воспроизводит и измеряет ошибку времени выполнения кода Mastra, взаимодействуя с реальной моделью путем управления TUI без интерфейса в tmux, при этом каждый…
Как процесс C 51/100 · Есть пробелы — слабые места: результат и критерий готовности, когда включается, входы и предусловия
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 0
✓ Критических и высоких находок нет
Просканировано файлов: 1. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 51/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 20Когда включается. Не сказано, при каком запросе скилл включается
- 30Повторный запуск. Изменяющих операций: 8, без проверки текущего состояния
- 55Ошибки и развилки. Развилок: 1
- 60Инструменты и файлы. Используются инструменты (web), но во frontmatter они не объявлены
- 100Шаги. Шагов: 11
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 1841 токенов
- 100Отчётность по ходу. Скилл сообщает о ходе работы
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +1Лицензия не указана
- +2Инструкции на одном языке
- +3Длина description 441 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 7 заголовков
- +3Пошаговые инструкции: 11 пунктов
- +4Есть примеры (4 блоков кода)
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 84.