AB llm-cost-optimizer

Используйте проактивно всякий раз, когда возникают или должны возникать вопросы о затратах на API LLM. Триггеры включают: «мои расходы на ИИ слишком высоки», «оптимизировать использование токенов», «какую модель мне использовать», «расходы на LLM вышли из-под контроля», «реализовать кэширование запросов», «мы собираемся запустить функцию ИИ», «создайте мне конечную точку ИИ». Не ждите явной жалобы на стоимость — если кто-то создает функцию ИИ, проектирует конечную точку LLM или выбирает между моделями, архитектура затрат должна быть частью разговора. Применяйте немедленно, когда верно любое из следующих условий: появляется системный запрос, превышающий несколько сотен токенов, все запросы попадают в одну и ту же модель, `max_tokens` не установлен или отсутствует логирование затрат по функциям. НЕ для проектирования конвейера RAG (используйте rag-architect). НЕ для улучшения качества или эффективности запросов (используйте senior-prompt-engineer).

Используйте проактивно всякий раз, когда возникают или должны возникать вопросы о затратах на API LLM.

Как процесс B 76/100 · Почти готов — слабые места: входы и предусловия, повторный запуск