BD trtllm-visualgen-bench
Тестирование модели TensorRT-LLM VisualGen от начала до конца, включая сервер — выберите рабочую нагрузку, запустите необходимый сервер `trtllm-serve` (найдите контрольную точку, напишите конфигурацию, запустите, проверьте, что он запустился согласно конфигурации) или используйте уже запущенный, затем выполните и прочитайте результат. Используйте, когда пользователь просит протестировать или обслужить модель VisualGen, или запрашивает YAML-запрос модели или ее параметры генерации по умолчанию.
машинный переводПоказать оригиналСкрыть оригинал«Benchmark a TensorRT-LLM VisualGen model end to end, server included —…»
Benchmark a TensorRT-LLM VisualGen model end to end, server included — pick the workload, bring up the `trtllm-serve` server it needs (resolve the checkpoint, write the config, launch, verify it came up as configured) or use one already running, then run and read the result. Use when the user asks to benchmark or serve a VisualGen model, or asks for a model's request YAML or its default generation params.
Тестирование модели TensorRT-LLM VisualGen от начала до конца, включая сервер — выберите рабочую нагрузку, запустите необходимый сервер trtllm-serve (найдите…
Как процесс D 49/100 · Процесс не доведён — слабые места: результат и критерий готовности, входы и предусловия, ошибки и развилки
Как улучшить
- Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
- spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.
Находки guard · 3
✓ Критических и высоких находок нет
Средние и низкие: 3
-
низкая Опасные команды
cmd-background-processserve/README.md:149Запуск фонового / автозапускаемого процессаsetsid trtllm-serve <checkpoint> --host 0.0.0.0 --port $PORT --visual_gen_args $CFG \
-
низкая Опасные команды
cmd-background-processserve/README.md:156Запуск фонового / автозапускаемого процесса (в кавычках — упоминание, а не команда)`setsid` is what step D needs: it makes the server lead its own process group, so
в кавычках -
низкая Опасные команды
cmd-background-processserve/README.md:190Запуск фонового / автозапускаемого процесса (определение детектора / чёрного списка)`kill $SERVER_PID` leaves the `spawn` workers holding GPUs and the port, and `pgrep -f trtllm-serve` does not match them. Signal the group the `setsid` in step C created, which is the server and its w
детектор
Просканировано файлов: 25. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.
По спецификации Agent Skills
✓ По спецификации Agent Skills замечаний нет
Процессный рейтинг: все десять параметров 49/100
- 0Результат и критерий готовности. Не сказано, что считать результатом
- 0Входы и предусловия. Не сказано, что нужно иметь на входе
- 0Ошибки и развилки. Линейный процесс без обработки сбоев
- 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
- 30Повторный запуск. Изменяющих операций: 6, без проверки текущего состояния
- 60Инструменты и файлы. Используются инструменты (bash, web, python, node), но во frontmatter они не объявлены
- 70Когда включается. Сказано, когда применять, но не сказано, когда не стоит
- 100Шаги. Шагов: 5
- 100Согласованность. Имя и обязательные поля на месте
- 100Стоимость исполнения. Тело инструкции 2186 токенов
Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.
Сигналы качества
- +5В description нет примеров фраз, по которым скилл должен срабатывать
- +4Описание не говорит, когда скилл НЕ применять (ложные срабатывания)
- +3Формат ответа не описан: модель каждый раз решает сама
- +2Инструкции на одном языке
- +3Длина description 408 символов: достаточно сигнала, не съедает бюджет
- +4Структура: 8 заголовков
- +3Пошаговые инструкции: 5 пунктов
- +4Есть примеры (6 блоков кода)
- +3Все 2 скриптов описаны в инструкциях
- +1Лицензия указана
База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 88.