Açık kaynaklı model geçidi: OpenRouter benzeri altyapı kullanım verileriyle modelleri optimize ediyor
Geliştiriciler, tüm açık kaynaklı, yerel ve harici yapay zeka modellerini tek bir noktadan yönetmeye imkan tanıyan Rust tabanlı açık kaynaklı bir model geçidi geliştirdi. Sistem, istekleri yönlendirirken 1 ila 2 milisaniyenin altında gecikme süresi sunuyor ve güncel tutulan 1000'den fazla modeli destekliyor. Ayrıca kullanıcıların izniyle işlem trafiğini analiz ederek maliyet ve kalite açısından en uygun modeli belirleyen bir sınıflandırıcı eğitilmesini sağlıyor.
HNHacker News
Bu özet makine üretimidir; haberin aslı ve tüm ayrıntılar kaynağın kendi sayfasındadır.
Haberin tamamını oku