Sistem AI saya — termasuk memori Vera dan sales agent Stepan — memanggil banyak penyedia model. AIbroker adalah satu gateway di depan semuanya: key penyedia disimpan di satu tempat, dengan panggilan lewat gateway atau akses sewa berbatas waktu, setiap panggilan dicatat dengan estimasi biaya, dan key yang mati atau terkena rate limit dikeluarkan dari rotasi secara otomatis.
Pada 27 Juni 2026, sebuah update library diam-diam mengubah cara biaya panggilan dihitung, dan semua biaya yang tercatat menjadi $0. Kemudian muncul selisih $122 antara pengeluaran yang tercatat dan invoice dari penyedia. Sejak itu, biaya yang tercatat diperlakukan sebagai estimasi dan dicocokkan dengan invoice dari penyedia itu sendiri.
Mode proxy: broker memanggil model dan mengembalikan jawabannya, sehingga proyek tidak pernah melihat key. Mode lease: untuk API yang tidak cocok dengan interface standar, broker memberikan key berumur pendek dan mencatat pemakaiannya saat key itu dikembalikan.
Sebuah monitor berjalan setiap sepuluh menit: key yang bermasalah dicek di setiap putaran, key yang sehat kira-kira sekali per jam. Key yang terkena rate limit diparkir beberapa menit; key yang kuota bulanannya habis diparkir sampai kuotanya direset. Batas pengeluaran diatur per proyek.
Tautan