Cloudflare, tutarlı dağıtım halkasında 100 TB RAM kazandığını söylüyor
Cloudflare, Pingora servisindeki tutarlı dağıtım halkasını değiştirerek ağ genelinde 100 TB’den fazla RAM kazandığını bildiriyor. Mühendislik yazısı, algoritmanın kendisi kadar geçiş sırasında eski düzeni çalışır tutma ve geri dönüş planını da anlatıyor.
Cloudflare'ın 18 Eylül mühendislik yazısı, Pingora Backend Router içindeki `pingora-ketama` tutarlı dağıtım halkasında yapılan değişikliklerin ağ genelinde 100 TB'den fazla RAM'i geri kazandırdığını bildiriyor. Bu şirketin kendi üretim ölçümü; tek bir makinenin 100 TB az bellek kullanması gibi anlaşılmamalı.
Tutarlı dağıtım, bir isteğin hangi önbellek sunucusuna gideceğini belirlemek için kullanılıyor. Sunucular eklenip çıkarıldığında veri yerleşimini mümkün olduğunca sabit tutması faydalı, ancak halkanın çok sayıda düğüm ve sanal konum için tutulması bellek maliyeti yaratmış. Ekip, veri yapısını sıkıştırıp sıralamayı ve düğüm başına hash sayısını yeniden ele almış.
Yazının güçlü kısmı dağıtım planı: eski `v1` halka aynı davranışı korurken `v2` ile isteğe göre seçim yapılabiliyor. Böylece yeni yöntem üretimde ölçülürken geri dönüş imkânı elde tutulmuş. Algoritmanın teorik kazanımı ile ağ trafiğinin gerçek yönlendirme davranışı aynı anda izlenmiş.
Küçük sistemlerde bu büyüklükte tasarruf beklenmez. Yine de yöntem taşınabilir: önce bellek profilini çıkar, veri yerleşimi ve önbellek isabetini ölç, geçiş sırasında eski davranışı geri çağırabilecek bir yol bırak.