Menjalankan dua produk bertenaga AI dari satu server — Vera (asisten pribadi) dan Stepan (agen penjualan Instagram) — masalah berulangnya adalah proliferasi kunci API dan biaya yang tidak terlihat. AIbroker adalah control plane tunggal: setiap panggilan LLM di semua proyek melewatinya, dengan batas biaya per proyek, cooldown otomatis pada 429, dan peringatan Telegram saat kunci mati.
Pada Juni 2026, cost multiplier yang usang di LiteLLM menyebabkan panggilan provider dicatat dengan 1/20 harga sebenarnya. Cost guard mengira masih ada anggaran; ternyata tidak. Tagihan $25 datang. AIbroker sudah dalam pengembangan; insiden itu mendorongnya dari "eksperimen berguna" menjadi "persyaratan produksi". Broker membaca USD nyata dari log penggunaan, bukan estimasi dari tier model.
Mode proxy: broker memanggil provider via LiteLLM SDK, mengembalikan respons, mencatat biaya. Proyek klien tidak pernah melihat kunci API. Mode vending: broker menerbitkan lease kunci jangka pendek; klien memanggil provider langsung, melaporkan penggunaan saat rilis. Vending menangani provider yang tidak sesuai antarmuka OpenAI-compatible.
Pemilihan kunci LRU-aware menghindari rotasi panas satu kunci sementara yang lain menganggur. Batas biaya harian dan bulanan per proyek menegakkan disiplin anggaran di semua klien yang terhubung. Monitor kesehatan berjalan setiap 10 menit — panggilan valid termurah per provider — dan langsung menandai kunci mati dengan peringatan Telegram. Dashboard langsung menampilkan biaya, kesehatan kunci, dan penggunaan per proyek.
Tautan