Индустрия ушла от оплаты за рабочее место к оплате за потребление, и счета поползли вверх. Gartner отдельно критикует поставщиков за слабую прозрачность, а команды рассказывают о скачках с двадцати или ста долларов до тысяч в месяц на разработчика.
Ниже: откуда берутся эти деньги и что помогает.
Почему счёт растёт незаметно
Всё упирается в устройство агентов. Запрос в чате это один вызов. Агент на задаче делает десятки вызовов, и каждый следующий тянет в контекст всё, что было до него.
Из этого получаются три тихих источника расхода:
- Контекст копится. Двадцатый шаг агента дороже первого: он несёт историю всех предыдущих.
- Повторные попытки. Агент ошибся, прочитал ошибку, переделал. Каждый круг оплачивается.
- Фоновые запуски. Агент в CI срабатывает на каждый коммит, поэтому расход следует за активностью команды, а не за вашими решениями.
Самая досадная статья расхода
По оценке, которая широко разошлась в индустрии, значительная доля токенов уходит на исправление багов, написанных самой моделью.
Над этим стоит задуматься: платить приходится дважды, сначала за появление проблемы, потом за её поиск и устранение. Практический вывод экономит больше любых микрооптимизаций. Чем точнее поставлена задача на входе, тем меньше вы заплатите на выходе.
Что снижает счёт
Разведите модели по задачам. Флагман нужен там, где надо связать много контекста. Разбор логов, переписывание текста и однотипный код спокойно делает младшая модель.
Ограничьте длину ответа. Выход дороже входа в несколько раз. Просьба «ответь кодом, без пояснений» заметно режет счёт и ничего не ломает.
Не кладите в контекст целый файл, если нужен один метод. Вход дешевле выхода, но не бесплатен, а в агентных прогонах он накапливается.
Поставьте потолок заранее. Месячный лимит с уведомлением на семидесяти процентах снимает проблему раньше, чем она станет неприятной. В кабинете codexkey лимит и пороги настраиваются отдельно на пользователя и на команду.
Как понять, куда уходят деньги
Общая сумма ничего не говорит, пока нет разбивки. Нужно видеть, какой ключ, какой проект и какая модель дали расход.
У нас статистика ведётся отдельно по каждому ключу, а суб-организации позволяют развести команды и проекты по своим бюджетам. Сводить цифры вручную в конце месяца не приходится.
Главное
Расход на агентов не фиксированная статья: он зависит от того, как вы ставите задачи и какие модели выбираете. Потолок, разбивка по ключам и разумный выбор модели убирают большую часть проблемы.