un

guest
1 / ?
back to lessons

ماذا دعا شانون بالمعلومات

حدد شانون المعلومات عن طريق قياس الاستغراب. رسالة تحتوي على احتمال p تحمل:

I = −log₂(p) بت

حدث معين (p = 1) يحمل 0 بت - لا استغراب، لا معلومات. حدث نادر (p = 1/1024) يحمل 10 بت.

يقدم حامينغ الفكرة الفورية: هذا صيغة لقياس كمية وليس تعريفًا للمفردة. هذا يقيس استغراب الآلة وليس المعنى البشري. طالب يتعلم الجواب على السؤال يحمل 0 بت من الإجابة - بغض النظر عن أهمية الإجابة للآخرين.

تطبق الصيغة جيدًا في أنظمة الهواتف، والراديو، والأجهزة. لا تطبق بشكل جيد في التواصل البشري، والبيولوجيا، أو المعنى. يفضل حامينغ اسم: "نظرية الاتصالات" وليس "نظرية المعلومات".

الانتروبي

لأبجدية من q رموز مع الاحتمالات p₁، p₂، ...، p_q، فإن المعلومات المتوسطة لكل رمز هي الانتروبي:

H = −Σᵢ pᵢ log₂(pᵢ)

تصل الانتروبي إلى أقصى حد عندما تكون كل الاحتمالات متساوية: H_max = log₂(q) بت. أي توزيع غير متساوي لديه انتروبي أقل.

حساب الانتروبي

الانتروبي الثنائي: مصدر يحتوي على رموزين، P(0) = p، P(1) = 1−p.

H(p) = −p log₂(p) − (1−p) log₂(1−p)

H(p) = 0 عند p = 0 أو p = 1 (مستقر تمامًا). H(p) = 1 بت عند p = 0.5 (غير قابل للتنبؤ تمامًا).

الانتروبي الثنائي والحساسية القناة

حسب الانتروبي H(p) لـ p = 0.25. أظهر الصيغة بعد استبدال الأعداد، قم بتقدير المسمى والنتيجة النهائية بالبتات. ثم تفسير: ماذا يtell H(0.25) < H(0.5) عن محتوى المعلومات في إسقاط عملة متساوية مقابل عملة متماثلة؟

عدم المساواة جيبس & الترميز بدون ضجيج

عدم المساواة جيبس: بالنسبة لمستوى احتمالين p = {pᵢ} و q = {qᵢ}:

−Σ pᵢ log₂(pᵢ) ≤ −Σ pᵢ log₂(qᵢ)

مع المساواة فقط عندما p = q. هذا يعتمد على الحقيقة الأساسية أن ln(x) ≤ x − 1 بالنسبة لجميع x > 0، مع المساواة عند x = 1.

النتيجة: تصل الاحتمالية H(p) إلى أقصى حد عندما تكون جميع الرموز متساوية الاحتمال. بالنسبة لـ q الرموز: H_max = log₂(q).

نظرية الترميز بدون ضجيج: بالنسبة للترميز الفريد التمييز، يجب أن تفي المعادلة الكرافت: Σ 2^(−lᵢ) ≤ 1 حيث lᵢ هو طول الرمز الخاص بالرمز i. بواسطة عدم المساواة جيبس، يجب أن تفي متوسط طول الرمز L = Σ pᵢ lᵢ مع:

L ≥ H(p) = −Σ pᵢ log₂(pᵢ)

لا يمكنك تحسين الاحتمالية بشكل أفضل من المتوسط. يتم تحقيق الترميز الهوفري لـ L < H + 1.

يقول عدم المساواة جيبس H(p) ≤ −Σ pᵢ log₂(qᵢ) لأي توزيع احتمالي q. عندما يكون q التوزيع المنتظم qᵢ = 1/q لجميع i، يبسطح الجانب الأيمن إلى log₂(q). أظهر هذا البسط الجبريًا، ثم قل ما يقترح ذلك حول أقصى احتمالية من حروف q-رمز الأبجدية.

السعة

قناة ثنائية متساوية (BSC) تقلب كل بت بشكل مستقل مع احتمال الخطأ Q = 1 − P. السعة لقناة BSC - أكبر معدل معلومات موثوق به - هي:

C = 1 + P log₂(P) + Q log₂(Q) = 1 − H(Q)

حيث H(Q) = −Q log₂(Q) − (1−Q) log₂(1−Q) هو اللوغاريتم الثنائي لدرجة الخطأ.

في Q = 0 (لا أخطاء): C = 1 بت/إرسال (قناة مثالية). في Q = 0.5 (الانزلاق العشوائي): C = 0 (لا يحمل معلومات). في Q = 1 (كل البتات تقلب): C = 1 (знаه تماما ما أرسله المرسل، فقط انقل كل شيء عكسيًا).

C تقييم أقصى معدل R الذي يمكن من خلاله إرسال البيانات بفائدة صغيرة جدًا من خطأ الاحتمالية. إذا كان R < C، فإن هذه الكودات موجودة. إذا كان R > C، فلا توجد هذه الكودات - لا يمكن أن يفعل أي كود ذلك.

الانفجار & قدرة القناة

حساب قدرة القناة

بـ P = 0.9 (10% نسبة خطأ، Q = 0.1):

C = 1 + 0.9 log₂(0.9) + 0.1 log₂(0.1)

log₂(0.9) ≈ −0.152، log₂(0.1) ≈ −3.322

C ≈ 1 + 0.9×(−0.152) + 0.1×(−3.322) = 1 − 0.137 − 0.332 ≈ 0.531 بت/إرسال

القناة الثنائية المتساوية لها نسبة خطأ Q = 0.2 (P = 0.8). حاس القدرة C = 1 + P log₂(P) + Q log₂(Q). استخدم log₂(0.8) ≈ −0.322 و log₂(0.2) ≈ −2.322. أظهر استبدالك والجبري، ثم تفسير: في هذه القدرة، ما نسبة الجزء الفعلي من معدل البتات الخام التي يمكن نقلها معلوماتًا؟

ما يثبت النظرية

نظرية شانون الأساسية: لكل معدل R < C، هناك كودات من طول الحزمة n (مع n → ∞) تحقق نسبة الخطأ P_E → 0.

تحليل النظرية يستخدم حجة مفاجئة: الكودات العشوائية. بدلاً من بناء كود محدد، اختار شانون جميع الكتب الرموز العشوائية (رمي العملات المعدنية الترميز). أظهر أنه متوسط الخطأ على جميع الكتب الرموز العشوائية صغير.

تحليل الكرات المحيطة: يختار البعث المرسل الرسالة aᵢ → كرة محيطة ذات نصف قطر n(Q + ε₂) حول aᵢ في مساحة ثنائية الأبعاد. إذا كان n كبيرًا، فإن الكلمة الواردة bⱼ تقع داخل هذه الكرة بفرصة عالية. يُترجم البت المرسل إلى الكود الذي يحتوي على الكرة bⱼ.

أربعة حالات تحدد احتمالية الخطأ P_E:

`` aᵢ داخل الكرة أخرى aⱼ داخل الكرة نتيجة نعم لا تصحيح (لا خطأ) نعم نعم مشكلة غير واضحة → خطأ لا نعم تلوث الترميز → خطأ لا لا خارج جميع الكرات → خطأ ``

الميكانيكية المعلوماتية وتنظيم الكرات

تبدو الحد على P_E كالتالي: P_E ≤ d + M × 2^(n × (H(Q+ε₂) − C)) باستخدام دالة اختر d و ε₂ المناسبة. اختيار ε₂ بحيث H(Q+ε₂) < C يجعل المعامل سالبًا. عند كبر n، يقل المصطلح الثاني إلى الصفر.

الطبيعة الوجودية للثورة

كان حامين دقيقًا فيما يثبت theorem و ما لا يثبته.

ما يثبت: الإتصال الموثوق به بسرعة R < C ممكن، في النظرية، عند كبر enough n.

ما لا يقدّم: بناء كود واضح. كود عشوائي من طول n كبير بما يكفي لتقترب من القدرة يحتوي دفتر الأكواد بحجم M × n بت، حيث كلا M و n ضخما جدا. لا يمكن تخزينها أو الحساب معها.

الكود تصحيح الخطأ مقابل شانون: الكود تصحيح الخطأ (حامين، Reed-Solomon، turbo، LDPC) يقدّم بناء واضح يمكن الحساب معه. يفقد بعض المسافة عن القدرة مقابل توفير محولات ومتحولين عملية. عند كبر n وتصحيح أكثر أخطاء في كل حزمة، يمكن للكودات العملية تقترب من القدرة بسهولة.

مثال الفضاء لل卫يات: استخدمت Voyager و Pioneer الكود تصحيح الخطأ القوي للاتصال عبر مليارات الميل على 5-20 واط من الطاقة. الطول الطولي الطويل سمح بتصحيح أخطاء أكثر في كل حزمة، مما أدى إلى تقترب من القدرة رغم الضوضاء الهائلة بسبب المسافة.

تقييم مهم

أغلق حامين الفصل 13 بتحليل أوسع في التعريفات في العلوم. صيغة المعلومات لـ Shannon تعكس الاستغراب الآلي، وليس المعنى البشري. اسم 'نظرية المعلومات' يفرض أكثر مما يجب. مقارنة بالشبكة الصيد: الصياد الذي يلتقط فقط الأسماك أكبر من شبكة الصيد يخلص إلى أن هناك أسماك أصغر لا توجد. يقتصر أدوات القياس على قيود العالم.

ثبت theorem شانون أن الكودات التي تحقق أخطاء صغيرة بحد ذاتها توجد عند R < C، لكن البرهان غير بنائي: يظهر وجودها من خلال المتوسط على الكتب الأكواد العشوائية، وليس من خلال بناء كود. توضح في كلماتك الخاصة لماذا هذا مهم عملياً، ووصف ما يتطلب المهندسون لحل الفجوة بين برهان شانون على وجود الكود والكود التصحيح الخطأ الفعلي.

مشكلة التعريفات

استخدم نظرية المعلومات لجعل نقطة منهجية أكبر: تعريفاتنا تحدد ما نجد، أكثر من ما يعتقده معظم الناس.

اختار شانون تعريف 'المعلومات' كالاستغراب. هذا التعريف كان مفيدًا في الهندسة للاتصالات. لكنه أهدر نطاقًا محددًا - أنظمة الآلات - في كلمة ('المعلومات') التي تشير إلى التطبيقات العالمية.

مثال شبكة الصيد: شبكة بحجم 6 بوصات المصفاة تبتلع فقط الأسماك الكبيرة. يخلص الصياد إلى أن أصغر الأسماك هي 6 بوصات. الاستنتاج يعتمد على الأداة وليس العالم.

IQ كتوازي: اختبار مصمم لقياس 'الذكاء'، محسوب لينتج توزيعًا عاديًا، ثم يستخدم لتعريف الذكاء. الأداة تحدد المفهوم.

توصية هامنج: في كل مرة تواجه فيها تعريفًا، اسأل (1) كم يوافق على استطرادك المسبق؟ (2) كم يخدش؟ (3) في ظروف ما تم صياغته؟ (4) هل يتم تطبيقه الآن في ظروف مختلفة؟

تطبيع تحليل هامنج للنقاط الأربعة على تعريف شانون للمعلومات. لكل من النقاط الأربعة، قم بتقديم إجابة محددة تظهر أنك قد تعاملت مع التعريف والتحدّيات.