المتحكم بالحالة مقابل العارض

لا يختفي الحالة أبدًا، بل ينتقل فقط

ال компонنت المحتوي للحالة: يحمل معلومات لا خسارة لها ستغير السلوك. قاعدة بيانات تحتوي على حسابات المستخدمين. مخزن يحمل تokens الجلسة. عامل يثبت توصيل تدفق استمراري طويل الأجل إلى مستخدم محدد.

ال компонنت العارض: لا يحمل معلومات لا يهم خسارتها. طبقة ويب تقرأ طلبًا، وتستدعي قاعدة بيانات، وتكتب استجابة. كل طلب يعتمد على نفسه؛ لا تذاكر شيئًا بين الطلبات.

فكرة رئيسية: لا يختفي الحالة من النظام أبدًا. انتقل إلى طبقة مصممة لتحملها (قاعدة بيانات، مجموعة Redis، مستودع объектي). الطبقات التي تواجه المرور يمكن أن تصبح عارضة، وطبقات عارضة يمكن أن تتوسع افقيًا لأن أي وسيطة يمكن أن ترد على أي طلب.

اختبار عملي: إذا قتلك عشوائيًا عملية في هذا الطبقة واستعادتها، هل ستعاني أي مستخدم من الإجابة الخاطئة أو فقدان الجلسة؟ إذا كان نعم، فهي تحمل حالة. إذا كان لا، فلا تحمل حالة.

أمثلة

- عملية ويب باللغة Python التي تقرأ الطلبات، وتستدعي Postgres، وتعيد JSON: عارض. الحالة تعيش في Postgres.

- عملية ويب باللغة Python التي تحمل عربات التسوق للمستخدمين في ذاكرة الحاسوب المحلي: متحكم بالحالة. فقدان العملية يفقد العربات.

- خادم WebSocket يحمل توصيلات مفتوحة إلى مستخدمي دردشة: متحكم بالحالة في معنى التوصيل. فقدان العملية يفقد توصيلات؛ يجب على العملاء إعادة الاتصال. في كثير من الأحيان يمكن أن تتوسع هذه بشكل افقي مع الحذر (الاستجابة المثبتة، التطابقات المتسلسلة).

- Redis cache fronting Postgres: stateful for the cache contents, but acceptable if cache misses are tolerable. A replica failure means cache miss, not data loss.

Designing for horizontal scaling = pushing state out of the layer that needs to scale.

Audit a Suspect Tier

A team runs a recommendation API on 6 backend VMs behind a reverse proxy. The application: reads a user ID from the request, fetches the user's recent activity from Postgres, runs a scoring algorithm, returns a list of recommended items. Two non-standard behaviors:

- The application keeps a 'recent user activity' cache in process memory, populated on first request for a user, reused on subsequent requests.

- The application uses sticky sessions: once a user hits VM #3, all their subsequent requests go to VM #3 (the proxy is configured for sticky routing on a cookie).

The Replica Formula

The Simplest Capacity Formula

Once a tier goes stateless, sizing it becomes arithmetic. You need enough replicas so the steady-state load arrives & departs at the same rate, with headroom for surge.

The formula:

replicas = ⌈ (peak_load × surge_factor) / per_replica_capacity ⌉ + headroom

Where:

- peak_load: maximum sustained requests/second you expect in normal operation

- surge_factor: a multiplier covering brief bursts above peak (commonly 1.5x to 2x for predictable traffic, 3x or more for viral / unpredictable)

- per_replica_capacity: requests/second one replica handles at acceptable latency & utilization (commonly measured at 70% CPU, not at saturation)

- headroom: extra replicas so a few replica failures do not collapse the tier (commonly 1-2 replicas for small fleets, 10-20% for larger ones)

مثال عملي: يتعامل backend مع 100 طلب/ثانية بنسبة 70% من وحدة المعالجة النظرية لكل كopia. الحمل الأقصى هو 600 طلب/ثانية. تتوقع حدوث موجات قصيرة 2x بشكل دوري. ترغب في تحمل 2 حالات فشل لكopia.

الكوبيات = ⌈ (600 × 2) / 100 ⌉ + 2 = 12 + 2 = 14 كopia

القاعدة 80%

قدرة الكopia ليست نقطة التشبع. قياس القدرة عند 70-80% من وحدة المعالجة النظرية وليس 100%.

بعد حوالي 80% من الاستخدام، تزداد منحنيات صفوف الانتظار بسرعة: صف يأخذ 10 ميلي ثانية عند 60% من وحدة المعالجة النظرية يأخذ 80 ميلي ثانية عند 90% من وحدة المعالجة النظرية. يتفاعل الوقت، وليس التوصيل، أولاً. (درس الحرفي 'geometry_of_stateless_horizontal_scaling' يطور هذا المنحني رياضياً.)

التوسيع الأفقي التلقائي مقابل التوفير الإحصائي

الإحصائي: التوفير لاستيعاب الحمل الأقصى × رأس المال للنسبة المئوية المنخفضة من الاستخدام خارج فترات الذروة.

التوسيع الأفقي التلقائي: يضيف ويرمى بالكوبيات بناءً على الاستخدام الملاحظ، والهدف من وقت الاستجابة، أو عمق صفوف الانتظار.

ملاحظة على التوسيع الأفقي التلقائي: وقت الانزلاق البارد مهم. إذا استغرق كopia الجديدة 2 دقائق للبدء، فلا يمكن للنمو التلقائي استجابة لزحف دقيقي. التوسيع الأفقي التلقائي البالغ يظل لديه بئر حار من الكوبيات المسبق التوفير تحت الحدود العليا لزيادة الكمية.

حجم الأسطول لخدمة جديدة

تخطط فريقتك لإطلاق خدمة بيانات تعريف الفيديو. أظهرت الاختبارات أن كopia واحدة تتعامل مع 250 طلب/ثانية بنسبة 70% من وحدة المعالجة النظرية و50 ميلي ثانية لحد p99 من وقت الاستجابة. يتوقع تسويقًا الحمل الأقصى عند 4,000 طلب/ثانية خلال ساعات الذروة. يمكن أن يرتفع الحمل المؤقت إلى 3x الحمل الأقصى لفترة قصيرة. ترغب في تحمل الخدمة 3 حالات فشل لكopia متزامنة دون تجاوز 80% من وحدة المعالجة النظرية على الباقين.

وقت الانزلاق البارد، وتبطئ الصرف، والأحزمة الحقيقية الأخرى

الأسطول الفعلي لديه أحزمة حقيقية

تعتبر المعادلة أن الكوبيات تظهر بسرعة، وتقبل الطلب بسرعة، وترفض الطلب بسرعة. لا يطبق أي من ذلك في الإنتاج.

بدء بارد: يحتاج تكرار جديد إلى تشغيل نظام التشغيل وبدء العملية وتحميل التنسيق وحرق المخ ومراقبة الصحة. قد يستغرق من 5 ثواني (إعادة تشغيل الصندوق) إلى 5 دقائق (تشغيل VM الكامل + استيراد الصورة). لا يمكن الاستجابة لزخم أقصر من هذه المدة.

التصريف البطيء: يحتاج تكرار يتم إزالته من المجموعة إلى وقت لإنهاء الطلبات الموجودة في الرحلة قبل الانهيار. في غير ذلك يرى المستخدمون استجابات مقطوعة. يدعم خادمات الربيع التصريف (停止 قبول طلبات جديدة ، إنهاء تلك النشطة) لكنها تأخذ ثواني إلى دقائق.

المجموعة الدافئة: تتيح مجتمعات الإنتاج مجموعة من التكرارات المسبق التجهيز ولكنها مكتومة جاهزة لاستقبال الطلبات على الإشارة. تُبادل تكلفة ثابتة صغيرة مع استجابة سريعة للزخم.

التصريف الخالي من الصداع مقابل القتل الفوري: يهم الشUTDOWN الحسن. سيجعل SIGTERM التصريف يتخذ وقتًا أطول من SIGKILL لكنه لا يُقسم طلبات المستخدمين.

نافذة فحص الصحة: قد ينجح تكرار بدأ حديثًا في مراقبة أول فحص صحة قبل أن يكون منبوعات قاعدة البيانات دافئة؛ يرسل خادم الربيع طلبات حقيقية وتصبح الـ 12 طلبًا الأولى بطيئة. قم بتعديل فحص الصحة لاختبار المسار الحقيقي وليس فقط حيوية العملية.

الانزلاق في الالتزام: حتى الطبقات المعروفة بالدولة تكتسب الانزلاق عبر الوقت (مكثفات CDN ، مخازن DNS للبحث) . كن متشككًا في "تكرارات متطايرة" التي تتخذ على الرغم من ذلك سلوكًا مختلفًا.

مجموعة دافئة أو التوسع التفاعلي؟

API بيانات فيديوك (أو نفسها من السؤال السابق ، مقاس 51 تكرارًا للpeak الدائم + الزخم) يتعرض لزخم 30 ثانية إلى 5x المعدل العادي عند إضافة فيديو فيروسي جديد. يتخذ التوسع التفاعلي الحالي 90 ثانية لإضافة تكرار جديد من البارد (استيراد الصورة + إعداد دافئ). خلال الفجوة 90 ثانية ، يرتفع معدل التأخير بشكل حاد وتصادر بعض الطلبات.

تصميم طبقة بلا دولة تحت القيود

التجميع

لقد تعلمت لماذا يفوز التوسع الأطلسي بعد حافة صغيرة، ماذا يعني الحالة في الواقع، وكيفية قياس أسطول تحت الحمل المتوقع والزيادة المفاجئة، وماذا يحدث عند التوصل إلى الحدود في التوسع الأطلسي.

تطبيقه أربعة.

صمم طبقة الخادم للـ feed.example.com، خدمة API للشريحة الاجتماعية. القيود: قدرة الوحدة الفردية 200 طلب/ثانية عند 70% من استخدام المعالج؛ الحمل المتوقع 1500 طلب/ثانية؛ عامل الزيادة المفاجئة 2.5x ( قصيرة الأخبار المتجولة من وقت إلى آخر)؛ الصمود أمام 2 حالات فشل الوسائط المتعددة في وقت واحد؛ وقت الانطلاق البارد 60 ثانية؛ يمكن أن تستمر الزيادات 45 ثانية؛ الميزانية تسمح ببعض القدرة الفائتة ولكن ليس 2.5x التوفير الدائم.

أين يذهب هذا الدورة التالية

أين يذهب هذا الدورة التالية

لديك الآن نموذج ذهني يعمل لطبقة بدون حالة: لماذا يمكن أن يتوسع، وكيفية مقاسها، وما يحدث عند التوصل إلى حافة الطبقة، وأين يجب أن يتحرر الحالة عندما يتم دفعها خارج الطبقة التي تحتاج إلى النمو.

درس الدورة التالية في هذا الدورة (cs_distsys_ingress_egress_separation) مشكلة أكثر حكمة: حتى الطبقة بدون حالة المقاس بشكل مثالي يمكن أن تفشل في طرق مفاجئة عندما يتم تقسيم حركة الإدخال والخروج على نفس مسار الشبكة. مثال كلاسيكي يتضمن بروكسي يحاول الاتصال بنفسه؛ الحل يتطلب تقسيم طبقة واحدة إلى اثنتين مع مسؤوليات مختلفة.

درس المرافق: geometry_of_stateless_horizontal_scaling يطور المنحني للانتظار، قانون ليتل تطبيقه على أسطول الوسائط، والمنطق الجيومتري لجذع الاستخدام 80%.

جيد جدًا. سيرفقه.