CC research-observability

Добавьте наблюдаемость на основе файлов, трассировку и анализ запусков для экспериментов с LLM/агентами — стенограммы по каждому ходу, вызовы инструментов и результаты, трассировки рассуждений, учет токенов/затрат, артефакты по каждому эпизоду, а также терминальные просмотрщики и отчет о сравнении запусков. Независимо от платформы: один небольшой адаптер охватывает OpenAI, Gemini/Vertex, Anthropic, LiteLLM, Tinker, vLLM или любой пользовательский стек инференса, и те же инструменты затем работают без изменений. Используйте этот навык, когда пользователь хочет наблюдаемость, трассировку, логирование или отслеживание запусков для экспериментов с моделями; спрашивает, почему агент не справился с задачей, или хочет воспроизвести/отладить/сравнить эпизод; хочет сравнить модели, ветки или абляции; хочет инструментировать новую папку, репозиторий или платформу ("добавить наблюдаемость сюда", "сделать то же самое для Tinker/Gemini/OpenAI"); хочет импортировать или связать существующие результаты экспериментов, чтобы старые запуски отображались вместе с новыми; или хочет скрипты для запуска оценки, где многие модели используют один протокол. Обращайтесь к нему, даже когда они просто говорят "залогируй, что делает модель", "я не могу понять, что произошло в этом запуске" или "настрой трассировку для этого эксперимента".

машинный переводПоказать оригиналСкрыть оригинал«Add file-based observability, tracing, and run analysis to LLM/agent e…»

Add file-based observability, tracing, and run analysis to LLM/agent experiments — per-turn transcripts, tool calls and results, reasoning traces, token/cost accounting, per-episode artifacts, plus terminal viewers and a run-comparison report. Platform-agnostic: one small adapter covers OpenAI, Gemini/Vertex, Anthropic, LiteLLM, Tinker, vLLM, or any custom inference stack, and the same tooling then works unchanged. Use this skill whenever the user wants observability, tracing, logging, or run tracking for model experiments; asks why an agent failed a task or wants to replay/debug/diff an episode; wants to compare models, arms, or ablations; wants to instrument a new folder, repo, or platform ("add observability here", "do the same for Tinker/Gemini/OpenAI"); wants to import or tie in existing experiment results so old runs show up alongside new ones; or wants eval runner scripts where many models share one protocol. Reach for this even when they only say "log what the model is doing", "I can't tell what happened in this run", or "set up traces for this experiment".

Добавьте наблюдаемость на основе файлов, трассировку и анализ запусков для экспериментов с LLM/агентами — стенограммы по каждому ходу, вызовы инструментов и…

Как процесс C 51/100 · Есть пробелы — слабые места: шаги, результат и критерий готовности, входы и предусловия