SKILLEMALL.ai

BC perf-workload-profiling

Инструментация кода для измерения рабочих нагрузок. Два сценария: (1) Цикл обучения — вставка ручного измерения для отчетности о задержке каждой итерации, пропускной способности (образцы/сек) и времени загрузки данных. (2) Автономное ядро/операция — написание кода измерения времени CUDA с прогревом, статистикой по итерациям и избеганием антишаблонов. Также охватывает аннотацию NVTX для маркировки временных шкал профилировщика. НЕ для: запуска или анализа инструментов профилирования (nsys, ncu, Nsight Systems, Nsight Compute), написания ядер (Triton, CuTe, CUDA), применения оптимизаций (CUDA Graphs, gradient checkpointing, fusion) или интерпретации метрик roofline/SOL%. Триггеры: "measure throughput", "benchmark this function", "time my training loop", "samples per second", "NVTX annotate", "instrument my dataloader", "data load time", "kernel timing", "how do I time".

машинный переводПоказать оригиналСкрыть оригинал«Code instrumentation for timing workloads. Two scenarios: (1) Training…»

Code instrumentation for timing workloads. Two scenarios: (1) Training loop — inject manual timing to report per-iteration latency, throughput (samples/sec), and data load time. (2) Standalone kernel/op — write CUDA event timing code with warmup, per-iteration statistics, and anti-pattern avoidance. Also covers NVTX annotation for labeling profiler timelines. NOT for: running or analyzing profiler tools (nsys, ncu, Nsight Systems, Nsight Compute), writing kernels (Triton, CuTe, CUDA), applying optimizations (CUDA Graphs, gradient checkpointing, fusion), or interpreting roofline/SOL% metrics. Triggers: "measure throughput", "benchmark this function", "time my training loop", "samples per second", "NVTX annotate", "instrument my dataloader", "data load time", "kernel timing", "how do I time".

Разбор skillemall

Скилл учит инструментировать код для замеров: вручную засекать время в training loop (латентность за итерацию, throughput в samples/sec, время загрузки данных) или писать CUDA-таймеры для отдельных операций с warmup и статистикой. Добавляет NVTX-аннотации для временных линий в профайлере. Не трогает сами профайлеры (nsys, ncu), не пишет ядра и не применяет оптимизации.

Оценка B: качество 83%, но процесс 54% — в файлах есть полезные примеры, однако структура документации могла быть плотнее. На моделях не прогонялся. Четыре файла, никаких критических ошибок. Подойдёт, если нужно быстро добавить базовые замеры в свой код, но не заменит нормальный профайлер.

NVIDIA/TensorRT-LLM Agent Skills автор: NVIDIA NOASSERTION 4 файла тело ≈ 1 722 токенов Открыть источникgithub.com↗ проанализирован 5 дн назад

Инструментация кода для измерения рабочих нагрузок.

Как процесс C 54/100 · Есть пробелы — слабые места: результат и критерий готовности, входы и предусловия, ошибки и развилки

АнализаторРазработкаДанные и аналитикатип и темы размечены автоматически по тексту скилла
JSON
Технический рейтинг
B
93/100
безопасность, качество, тесты
Безопасность 60%
100
Качество 40%
83
Прогон на моделях
не было
Процессный рейтинг
C
54/100
Есть пробелы
Результат и критерий готовности вес 14
0
Входы и предусловия вес 11
0
Ошибки и развилки вес 10
0
три самых слабых из десяти параметров · все десять

Как улучшить

  1. Скажите в description, КОГДА применять скилл («используй, когда…», примеры запросов): это главный сигнал для агента.
Для прогона на моделях — необязательно
  • Свои кейсы (evals/evals.json, 4–6 реальных запросов с ожидаемыми ответами): тогда полная проверка прогонит именно их, а не черновик от модели.
  • spec.yaml с триггерными фразами и утверждениями — контракт поведения для CI; `skilltest init` создаст шаблон.

Находки guard · 0

✓ Критических и высоких находок нет

Просканировано файлов: 4. Улики замаскированы. Пометки в серых чипах объясняют, почему серьёзность понижена.

По спецификации Agent Skills

  • предупреждение description-no-when description не говорит, КОГДА применять скилл (нет "use when / используй когда")
  • заметка edit-residue в тексте есть пометки об устаревшем (строки 173, 178, 179): проверьте, не остались ли старые правила рядом с новыми — полная проверка читает текст на противоречия

Процессный рейтинг: все десять параметров 54/100

  • 0Результат и критерий готовности. Не сказано, что считать результатом
  • 0Входы и предусловия. Не сказано, что нужно иметь на входе
  • 0Ошибки и развилки. Линейный процесс без обработки сбоев
  • 0Отчётность по ходу. Скилл ничего не сообщает по ходу работы
  • 30Повторный запуск. Изменяющих операций: 1, без проверки текущего состояния
  • 50Когда включается. Не сказано, при каком запросе скилл включается
  • 100Инструменты и файлы. Внешние инструменты не нужны
  • 100Шаги. Шагов: 17
  • 100Согласованность. Имя и обязательные поля на месте
  • 100Стоимость исполнения. Тело инструкции 1722 токенов

Всё перечисленное измерено по тексту скилла, а не оценено моделью: цифры проверяемы. Вес параметра тем больше, чем чаще из-за него процесс встаёт.

Сигналы качества

  • +3Длина description 801: рекомендуется 120–800 символов
  • +3Формат ответа не описан: модель каждый раз решает сама
  • +2Инструкции на одном языке
  • +5В description 9 примера фраз-триггеров в кавычках
  • +4Описание говорит, когда скилл НЕ применять
  • +4Структура: 13 заголовков
  • +3Пошаговые инструкции: 17 пунктов
  • +4Есть примеры (4 блоков кода)
  • +4Справочные файлы упоминаются в инструкциях (3 из 3)
  • +1Лицензия указана

База качества 70; замечания lint вычитаются, сигналы прибавляют до 100. Итог: 83.