Teknik yazılar

Moving Open WebUI from SQLite to PostgreSQL can be done with no data loss and only a few minutes of downtime. This post walks through the process on a Kubernetes deployment, the problems you’re…

Ray'in panosu küme sağlığını gösteriyor, ancak servis edilen modelin gecikmesini göstermiyor. Yazı; ilk token süresi, token üretim hızı, KV cache doluluğu ve Ray Serve replica sayısını tek Grafana panosunda topluyor. Prometheus etiketleri eşleşmediğinde panellerin neden boş kaldığını da açıklıyor.

Kubernetes varsayılan olarak bir pod'a GPU'nun tamamını verir. Yazı, kartı MIG ile yalıtılmış dilimlere bölüp device plugin'i mixed modda çalıştırarak vLLM iş yüklerini bu dilimlere yerleştiriyor. Kapasite hesabı kart başına değil, belleği paylaşmayan her MIG dilimi için ayrı yapılıyor.

Yazı, ekiplerin yalnızca yetkili oldukları modellere erişmesi için Nginx arkasına Apache APISIX ekliyor. `key-auth` token'ı doğruluyor, `consumer-restriction` ise kullanıcının ilgili route'a erişimini kontrol ediyor. Streaming'i bozan buffering ayarı, zincirdeki timeout'lar ve Helm değerlerine eklenmeyen plugin gibi kurulum ayrıntıları da anlatılıyor.

H200 NVL düğümünde MIG açılamıyor, GPU reset işlemi "In use by another client" hatası veriyor ve `nvidia-smi` süreç göstermiyor. Sorunun kaynağı, kartı önyükleme sırasında kullanan kernel framebuffer istemcisi. Yazı, monitörsüz GPU düğümlerinde `nomodeset` kullanımını ve çözümden önce denenen adımları anlatıyor.

Label Studio dosya yollarını her görevin JSON kaydında tuttuğu için depolama değişikliği mevcut görevleri bozuyor. Yazı, Label Studio API'sini kullanan iki script ile yolları toplu olarak güncelliyor ve görevleri S3'e taşıyor. S3 key ile göreli dosya yolunun eşleşmesi, internal S3 kurulumunda presign ayarı, proxy değişkenleri ve ReadWriteOnce disk kısıtı da ele alınıyor.

Kubeflow pod'ları Running görünmesine rağmen arayüz 504 hatası veriyor. RKE2, Nginx Ingress'i `kube-system` namespace'inde çalıştırıyor; mevcut NetworkPolicy kuralları buradan `istio-system` namespace'ine trafiğe izin vermiyor. Yazı, eksik kuralı ve sorunu çözen NetworkPolicy'yi gösteriyor.

Airflow ayrı bir sunucuda çalışırken notebook işleri KubernetesPodOperator ile Kubernetes'te çalıştırılabilir. Yazı; tek namespace ile sınırlı ServiceAccount, bu hesaptan üretilen kubeconfig, Python taban imajları ve işi bitince pod'u silen DAG yapısını kuruyor. Süresiz ServiceAccount token'larının düzenli yenilenmesi gerektiğini de belirtiyor.

Yazı, H200 NVL sunucusunu fiziksel bir RKE2 kümesine GPU düğümü olarak ekliyor. Nouveau'nun kapatılması, NVIDIA veri merkezi sürücüsü, RKE2'ye özgü containerd şablonu ve MIG profillerinin çok kiracılı kullanımı adım adım gösteriliyor. Genel Kubernetes belgelerinde yer almayan RKE2 yapılandırma ayrıntıları da açıklanıyor.

Yazı, Azure DevOps kuyruğunu izleyen KEDA ile self-hosted agent pod'larını iş geldiğinde açıp boşta kaldıklarında sıfıra indiriyor. Helm chart içinde her runtime havuzu ayrı ölçekleniyor ve işler capability etiketleriyle doğru havuza gidiyor. ScaledObject ile ScaledJob arasındaki davranış farkı da örneklerle açıklanıyor.

A step-by-step guide to wiring Prometheus, Grafana, PodMonitor, and ServiceMonitor into your KubeRay cluster — so you finally see what’s…

What happens when your head node crashes mid-job — and how to make sure your workers keep running. A practical guide to GCS fault tolerance…

In the first part of this series, we built a production-grade Ray Cluster using KubeRay. The cluster was healthy, scalable, and ready — but…

Helm-based installation, custom GPU images, NFS model storage, and Prometheus/Grafana observability on a real production cluster.