SRE ve güvenilirlik

Her alarm aynı önemde değil, önceliği kullanıcı üzerindeki etki belirlemeli. Bu yüzden gecikme ve kullanılabilirliği hizmet seviyesi hedeflerine (SLO) göre izliyor, alarm ve müdahale akışını da aynı hedeflere göre düzenliyoruz. Hata bütçesi, yeni özelliklerle güvenilirlik çalışmalarının önceliğini konuşmak için ortak bir ölçü sağlıyor.

Hizmet kapsamı

• Kritik kullanıcı yolculuklarına göre SLI ve SLO tanımlama
• Yayın ve dondurma kararlarını veriye bağlayan hata bütçesi politikası
• Gürültüyü azaltan ve önemli sinyalleri öne çıkaran alarm düzenlemesi
• Kapasite planlaması ve maliyeti gözeten ölçekleme
• Kontrollü hata enjeksiyonu (chaos engineering) ve GameDay tatbikatları
• Blameless postmortem ve aksiyonların takibi
• Model servisi ölçütleri: ilk token süresi, token üretim hızı ve KV cache doluluğu

SLO'yu nasıl belirliyoruz

1. 1

   Kullanıcı yolculuğu

   Ürün ekibiyle birlikte kritik kullanıcı akışlarını ve bu akışları etkileyen gecikme ve hata göstergelerini belirliyoruz.

2. 2

   Ölçüm noktası ve hedef

   Ölçümün alınacağı katmanı (istemci, ağ geçidi veya servis) seçiyor, sistemin mevcut performansına ve iş ihtiyacına göre SLO hedeflerini tanımlıyoruz.

3. 3

   Hata bütçesi ve alarm düzeni

   Panoları ve alarmları hata bütçesi tüketimine bağlıyor; bütçe aşıldığında uygulanacak yayın ve iyileştirme önceliklerini birlikte işletiyoruz.

Kullandığımız araçlar

Metrik ve alarm

PrometheusAlertmanagerGrafana

Log

LokiOpenSearch

Tracing

OpenTelemetryJaeger

Kontrollü hata enjeksiyonu

Chaos MeshLitmusChaos

Model servisi gözlemlenebilirliği

PrometheusGrafana panoları

Sentetik ve çok bölgeli kullanılabilirlik izleme

UptimeWarden

Nöbet

PagerDuty