LLMHub nedir?
LLMHub, uygulamalarınızın ve ekiplerinizin farklı dil modellerine erişimini kendi altyapınızda yönettiğiniz ortak bir katmanda toplar. OpenAI ve Anthropic uyumlu istemcileri model sağlayıcılarına bağlarken API anahtarlarını, model izinlerini ve grup bazlı token kotalarını merkezi olarak yönetmenizi sağlar.
Platform ve operasyon ekipleri istenen ve kullanılan modeli, token tüketimini, gecikmeyi ve hesaplanan maliyeti izleyebilir. Model yönlendirme ve cache seçeneklerinin bu maliyete etkisi iş yüküne, model havuzuna ve yapılandırmaya bağlıdır. Yazılım ekipleri ise proje çalışma alanlarında kod okuma, düzenleme, test ve kod inceleme gibi işleri ajanlarla yürütebilir.
LLMHub şu anda erken erişim aşamasındadır. Kendi altyapınızda çalışması, dış model sağlayıcılarına veri gönderilmediği anlamına gelmez; veri akışı seçtiğiniz sağlayıcılara ve erişim ayarlarına bağlıdır.
Ne yapar?
- 01
Ortak model erişimi
OpenAI ve Anthropic uyumlu istemcileri ortak bir geçide bağlar. Birden fazla model sağlayıcısına ve kendi ortamınızda çalışan modellere erişimi de bu tek noktadan yönetebilirsiniz.
- 02
Model yönlendirme ve cache
İzin verilen model havuzunda istek karmaşıklığı ve fiyat bilgisine göre yönlendirme yapar. Semantic cache ve sağlayıcı prompt cache seçenekleri kullanım maliyetini yönetmeye yardımcı olur, ancak sonuçlar iş yüküne göre değişir.
- 03
Token kotaları ve anahtar yönetimi
API anahtarlarının erişebildiği modelleri sınırlandırabilir, anahtarları yenileyebilir veya iptal edebilirsiniz. Grup ve proje kullanımını da token bütçeleriyle takip edebilirsiniz; bu kotalar parasal harcama limiti değildir.
- 04
Kullanım ve maliyet görünürlüğü
İstenen ve kullanılan modeli, token tüketimini, cache kullanımını ve gecikmeyi kaydeder. Maliyetler tanımlı model fiyatlarıyla hesaplanır. Bu verileri panolardan ve Prometheus/Grafana entegrasyonu üzerinden inceleyebilirsiniz.
- 05
Proje bazlı ajan çalışmaları
Ajanlar proje çalışma alanında, izinleri dahilinde depo dosyalarını okuyup düzenleyebilir, komut ve test çalıştırabilir, pull request hazırlayabilir. Komut çalıştırma, silme ve değişiklik yayınlama gibi işlemlerde kullanıcı onayı alınır. Otomasyonlar zamanlama veya webhook ile başlatılabilir.
- 06
Kendi altyapınızda veri kontrolleri
Sağlayıcıya giden prompt'larda hassas veri taraması, maskeleme veya engelleme uygulanabilir. Bu kuralları ve dış sağlayıcı seçimini kurumunuzun veri gereksinimlerine göre yapılandırırsınız. LLMHub tek sunucuya veya Kubernetes'e kurulabilir. Tek sunucu, iş yüküne ve eşzamanlı kullanıcı sayısına bağlı olarak bir ekip için yeterli olabilir. Kubernetes hub kurulumunda merkezi sunucu her kullanıcı için ayrı bir oturum açar; kapasite kurumun kullanım ihtiyacına göre planlanır.
Mimari
- 01İstemcilerUygulamalar, IDE ve ajanlar
- 02GeçitAPI anahtarı, yetki ve kota
- 03YönlendirmeModel seçimi ve önbellek
- 04SağlayıcılarModeller ve kullanım kayıtları
Kimler için?
Platform ve FinOps ekipleri
Model kullanımını grup veya proje bazında izlemek; erişimi, token kotalarını ve maliyet görünürlüğünü yönetmek.
Yazılım ekipleri
Uygulama ve IDE araçlarını modellere bağlamak; depo, test ve kod inceleme işlerinde ajanlarla çalışmak.
Yapay zekâ ve güvenlik ekipleri
Model seçeneklerini değerlendirmek, veri erişimini belirlemek ve dışarı giden istemlerin kontrollerini yapılandırmak.