MLOps platformu

Bir modeli deney aşamasından üretime taşımak için deney takibini, model kayıtlarını, servis katmanını ve izlemeyi bir araya getiriyoruz. GPU kapasitesi de gerçek iş yüküne göre planlanıyor.

Platform katmanları

• Deney takibi ve metadata: MLflow ve Weights & Biases ile parametre, metrik ve artifact takibi
• Model registry ve feature store: MLflow Registry ve Feast ile training-serving tutarlılığı
• Pipeline orkestrasyonu: Kubeflow Pipelines, Airflow, Dagster, ZenML (Kubernetes üzerinde çalışır)
• Veri etiketleme ve veri seti yönetimi: Label Studio; etiketli veri nesne depolamada tutulur
• Model serving: KServe ve BentoML üzerinde REST/gRPC; GPU iş yükleri için Triton Inference Server; büyük dil modelleri için vLLM
• Donanım katmanı: NVIDIA sürücüsü, containerd yapılandırması, device plugin ve MIG dilimleri

Nasıl çalışıyoruz

• Veri, kod ve model sürümlerinin model registry üzerinde kayıt altına alınması
• Staging ve üretim geçişlerinde insan onayı, denetim kaydı ve geri alınabilir dağıtım
• Her tahminin üretildiği veri ve kod sürümüne kadar izlenebilmesi
• Deney ortamlarının üretim modelinden yalıtılması ve KVKK uyumlu veri maskeleme

İzleme ve değerlendirme

• Üretim sapması: Evidently ve WhyLabs ile veri ve tahmin sapması tespiti
• Veri kalitesi kontrolleri: Great Expectations ve Soda ile eğitim ve çıkarım verisi doğrulaması
• Canlı metrikler: gecikme, işlem hacmi ve hata oranı; OpenTelemetry ile servis telemetrisiyle aynı panoda
• Değerlendirme altyapısı: regresyon testleri, A/B karşılaştırması ve shadow deployment ile düşük riskli doğrulama