Respan, LiteLLM üzerine iki yılın çalışmasından sonra Rust tabanlı AI ağ geçidi yayınladı

Respan: Rust Tabanlı Yeni AI Ağ Geçidi

Respan, açık kaynaklı bir AI ağ geçidi projesini Salı günü resmi olarak yayınladı. Rust programlama dilinde yazılan bu çözüm, 100.000’den fazla satır koddan oluşmaktadır.

LiteLLM Temelinden Radikal Karar

Respan ekibi, iki yıl boyunca LiteLLM platformu üzerine kapsamlı geliştirmeler gerçekleştirdi. Ancak, belirli bir yazılım güncellemesinin yapılan çalışmaları etkilemesi nedeniyle, proje tamamen yeniden başlama kararı alınmıştır. Bu stratejik karar, mühendislik ekibinin uzun vadeli mimari gereksinimlerine ve teknik bağımlılıklarına yönelik bir yanıt olarak değerlendirilmektedir.

Teknik Özellikleri

Yeni ağ geçidi, kurumsal ortamlarda API isteklerini yönetmek, birden fazla AI modelini entegre etmek ve ölçeklenebilir mikro hizmet mimarileri içinde çalışmak için tasarlanmıştır. Rust seçimi, performans ve bellek güvenliği açısından kritik altyapı bileşenleri için tercih edilen bir dildir.

Kaynak: The New Stack