Açık kaynaklı model geçidi: OpenRouter benzeri altyapı kullanım verileriyle modelleri optimize ediyor
Geliştiriciler, tüm açık kaynaklı, yerel ve harici yapay zeka modellerini tek bir noktadan yönetmeye imkan tanıyan Rust tabanlı açık kaynaklı bir model geçidi geliştirdi. Sistem, istekleri yönlendirirken 1 ila 2 milisaniyenin altında gecikme süresi sunuyor ve güncel tutulan 1000'den fazla modeli destekliyor. Ayrıca kullanıcıların izniyle işlem trafiğini analiz ederek maliyet ve kalite açısından en uygun modeli belirleyen bir sınıflandırıcı eğitilmesini sağlıyor.
Hacker News