Мои ИИ-системы — среди них память Vera и агент продаж Stepan — обращаются ко многим провайдерам моделей. AIbroker — единый шлюз перед всеми ними: ключи провайдеров хранятся в одном месте, а вызовы идут через шлюз или с временным доступом, каждый вызов записывается с оценкой стоимости, а мёртвые ключи и ключи, упёршиеся в лимит, автоматически убираются из ротации.
27 июня 2026 года обновление библиотеки незаметно изменило расчёт стоимости вызовов, и все записанные расходы стали $0. Позже обнаружилось расхождение в $122 между записанными расходами и счётом провайдера. С тех пор записанные расходы считаются оценкой и сверяются с собственным счётом провайдера.
Режим прокси: брокер сам вызывает модель и возвращает ответ, так что проект никогда не видит ключ. Режим аренды: для API, которые не укладываются в стандартный интерфейс, брокер выдаёт ключ на короткий срок и записывает расход, когда ключ возвращается.
Мониторинг запускается каждые десять минут: сбойные ключи проверяет каждый раз, исправные — примерно раз в час. Ключ, упёршийся в лимит запросов, откладывается на несколько минут; ключ, исчерпавший месячную квоту, — до её обновления. Лимиты расходов задаются для каждого проекта.
Ссылки