Мої ШІ-системи — серед них пам’ять Vera і агент з продажів Stepan — звертаються до багатьох провайдерів моделей. AIbroker — єдиний шлюз перед усіма ними: ключі провайдерів зберігаються в одному місці, а виклики йдуть через шлюз або з тимчасовим доступом, кожен виклик записується з оцінкою вартості, а непрацюючі ключі та ключі, що вперлися в ліміт запитів, автоматично виводяться з ротації.
27 червня 2026 року оновлення бібліотеки непомітно змінило спосіб розрахунку вартості викликів, і всі записані витрати стали $0. Пізніше між записаними витратами й рахунком провайдера виникла розбіжність у $122. Відтоді записані витрати вважаються оцінкою і звіряються з рахунком самого провайдера.
Режим проксі: брокер сам звертається до моделі й повертає відповідь, тож проєкт ніколи не бачить ключа. Режим оренди: для API, які не вкладаються в стандартний інтерфейс, брокер видає короткоживучий ключ і записує використання, коли дані про нього повертаються.
Монітор запускається кожні десять хвилин: збійні ключі перевіряє щоразу, справні — приблизно раз на годину. Ключ, що вперся в ліміт запитів, відкладається на кілька хвилин; ключ, що вичерпав місячну квоту, — до її оновлення. Ліміти витрат задаються для кожного проєкту окремо.
Посилання