L = λ × W
Kapasite Planlamasındaki En Faydalı Denklem
İç yapısı ne olursa olsun, herhangi bir kararlı kuyruk için: L = λ × W, burada:
- L = sistemdeki ortalama öğe sayısı (işlemde olan veya bekleyen)
- λ (lambda) = ortalama varış hızı (birim zaman başına öğe)
- W = her bir öğenin sistemde geçirdiği ortalama süre
Geometrik yorum: λ değerini bir eksen üzerinde, W değerini diğer eksen üzerinde çizin. L çarpımı, oluşturdukları dörtgenin alanıdır. Kapasite planlaması bu dörtgenin içinde yaşar.
Neden önemli: üç nicelikten herhangi ikisi üçüncüsünü belirler. Geçirilen veriyi (throughput) ve gecikmeyi (latency) ölçerseniz, doluluk oranını (occupancy) bilirsiniz. Doluluk oranını ve geçirilen veriyi ölçerseniz, gecikmeyi bilirsiniz. Yasal sağlamdır: web istekleri, restoran masaları, süpermarket kuyrukları ve CPU işleme hatları için herhangi bir değişiklik yapılmadan geçerlidir.
Üç somut örnek:
- Bir web servisi saniyede 200 istek işliyor ve ortalama gecikme 50 ms (0,05 sn). L = 200 × 0,05 = 10 istek havada (in flight).
- Bir kahve dükkanı saatte 60 müşteriye hizmet veriyor ve ortalama kalış süresi 15 dakika (0,25 saat). L = 60 × 0,25 = 15 müşteri içeride.
- Bir arka uç havuzu (backend pool) saniyede 1500 istek işliyor ve ortalama gecikme 200 ms (0,2 sn). L = 1500 × 0,2 = 300 istek havada (in flight).
Boyutlandırma sonucu: bir katmanın (tier) işçi sayısı / iş parçacığı sayısı / bağlantı sayısı, yetişebilmek için en az L kadar olmalıdır. Bundan az olması, kuyruk büyümesine neden olur.
Neden Gecikme %80 Kullanımın Üzerinde Patlar
İşletmedeki En Önemli Eğri
X eksenine kullanım oranını (%0'dan %100'e), y eksenine ise ortalama bekleme süresini yerleştirin. Bu eğrinin şekli, kapasite planlamasındaki en sonuçları olan eğrilerden biridir.
M/M/1 kuyruk modeli: Poisson varışlara (rastgele) ve üstel hizmet sürelerine (rastgele) sahip bir sistem için ortalama bekleme süresi:
W_q = ρ / (μ × (1 - ρ))
burada ρ kullanım oranıdır (0'dan 1'e) ve μ hizmet hızıdır.
Eğrinin şekli:
- ρ = 0.5 (%50 kullanım) olduğunda, bekleme süresi küçüktür (1 hizmet süresi).
- ρ = 0,7 (yüzde 70 kullanım) durumunda, bekleme süresi yaklaşık 2,3 hizmet süresidir.
- ρ = 0,8 (yüzde 80 kullanım) durumunda, bekleme süresi yaklaşık 4 hizmet süresidir.
- ρ = 0,9 (yüzde 90 kullanım) durumunda, bekleme süresi yaklaşık 9 hizmet süresidir.
- ρ = 0,95 (yüzde 95 kullanım) durumunda, bekleme süresi yaklaşık 19 hizmet süresidir.
- ρ = 1,0 (yüzde 100 kullanım) durumunda, bekleme süresi sonsuzdur.
Dizdirme noktası (knee): Yaklaşık yüzde 80 kullanım oranında eğri keskin bir şekilde bükülür. Dizdirme noktasının altında kapasite rahat bir seviyededir; üstünde ise gecikme, kullanım oranından daha hızlı artar.
Pratik yorum: Sabit durum için yüzde 70 kullanım oranını hedefleyin, asla yüzde 100'ü hedeflemeyin. Yüzde 30'luk 'pay' israf değildir; sınırlı gecikmenin bedelidir.
Diz Çizelgesi Üzerinde Boyutlandırma
İki senaryo:
Senaryo A: %60 CPU ile çalışan 10 replika. Gecikme p99 = 100 ms.
Senaryo B: Trafik büyümesi nedeniyle %90 CPU ile çalışan aynı filo. p99 = 600 ms.
Aynı filo, aynı kod, yalnızca kullanım oranı değişti.
Boyutlandırma ve Tetiklemeyi Bir Araya Getirmek
Sentez
Artık Little'ın Yasası'nı bir dikdörtgen olarak uygulayabilir, kuyruk eğrisini ve dizini okuyabilir ve her ikisini de kapasite kararlarına bağlayabilirsiniz.
Her ikisini de uygulayın.
Arka uç katmanı, 2.000 istek/sn işliyor; ortalama gecikme 50 ms, replika başına kapasite %70 CPU'da 80 istek/sn. Ani artış faktörü 2x; 3 eşzamanlı replika arızasına dayanmak istiyorsunuz.
Eşlikçi Notlar
Eşlikçi Notlar
Bu geometri-öğretimi, Durumsuz Yatay Ölçeklendirme ana dersini nicel geometri olarak yeniden formüle eder.
Bir sonraki eşlikçi olan geometry_of_ingress_egress_separation, ağ sınırındaki ayrımı, ayrımın kaldırdığı bir kesme tepeye sahip bir iki parçalı graf olarak yeniden formüle eder.
İyi iş çıkardınız.