Kurumsal bilgiyle çalışan bir uygulamada hangi verinin kullanılacağı, yanıtın nasıl değerlendirileceği ve maliyetin nasıl izleneceği birlikte tasarlanmalı. Bunun için model erişimini ve ilgili veriyi yanıta taşıyan RAG altyapısını kuruyor, ekibinizin yanıtları karşılaştırabileceği değerlendirmeleri hazırlıyoruz. Modelin kurum içinde mi bulutta mı çalışacağına da veri gizliliği, kapasite ve maliyet gereksinimlerine bakarak karar veriyoruz.
Hizmet kapsamı
- Model erişim katmanı: yönlendirme, yedek modele geçiş, ekip başına kota ve maliyet sınırı
- Kurumsal veriye dayalı yanıt üretimi (RAG): indeksleme, retrieval ve reranking
- Çok adımlı ajan akışları ve araç entegrasyonları
- Değerlendirme altyapısı: regresyon, sapma ve halüsinasyon ölçümü
- Gözlemlenebilirlik: istek izleme, gecikme, token ve maliyet takibi
- Erişim ve gizlilik: departman bazlı yetkilendirme, loglarda maskeleme, veri sınırları
Nasıl çalışıyoruz
Değerlendirme seti
Kurumunuzdan gerçek soruları ve beklenen yanıtları toplayarak model ve mimari seçimlerini doğrulayacağımız değerlendirme setini kuruyoruz.
RAG ve arama doğrulaması
Doküman hazırlığını, indeks güncelliğini, erişim yetkilerini ve retrieval ile reranking kalitesini ayrı ayrı test ediyoruz.
Erişim ve maliyet kontrolü
API gateway üzerinde ekip bazlı token doğrulama, model erişim yetkisi, rate limit ve önbellek politikalarını devreye alıyoruz.
Çalışma ortamı ve izleme
Bulut sağlayıcı API'leriyle çalışıldığında veri işleme bölgesini ve saklama koşullarını yapılandırıyoruz. Model kurum içinde çalışacaksa Kubernetes üzerinde vLLM veya Ray Serve ile OpenAI uyumlu bir endpoint kuruyor; modelin bellek ihtiyacına ve istek yüküne bağlı olarak desteklenen NVIDIA kartlarını MIG dilimleriyle paylaştırıyoruz. İlk token süresini, token üretim hızını, KV cache doluluğunu ve ekip bazlı maliyeti servis telemetrisiyle aynı panoda izliyoruz.
Kullandığımız araçlar
- Model erişimi
- LiteLLMPortkeyAzure OpenAIAnthropicAçık kaynak modeller
- Arama ve vektör
- Postgres pgvectorQdrantOpenSearch
- Ajan akışları
- LangGraphOpenAI Agents SDKClaude Agent SDK
- Değerlendirme ve izleme
- LangfuseOpenTelemetry GenAIPrometheusGrafana
- Kendi ortamınızda model serving
- KubernetesvLLMRay ServeNVIDIA device pluginMIG dilimleri
- API gateway
- Apache APISIX (token doğrulama, erişim kontrolü ve rate limit)