رسائل - مجموعة من العلامات التي تعرض هذه المعلومات أو تلك.

الإشارة - عملية مادية تعرض (تحمل) الرسالة المرسلة.

معلومات - مجموعة كاملة من المعلومات حول البيئة. نحن في العالم، حول جميع أنواع العمليات التي تحدث فيه، القط. يتم إدراك MB بواسطة الكائنات الحية والآلات الكهربائية وأنظمة المعلومات الأخرى.

ملكيات :

1) الموضوعية: موجودة بشكل موضوعي خارج البشر ومستقلة عنهم. الوعي. وتكون المعلومات موضوعية إذا لم تعتمد على طرق تسجيلها أو رأي أحد.

2) مصداقية: يعكس تصريحات حقيقيةعمل

3) جدوى: يتم تقييم العنصر MB فيما يتعلق بالأشخاص واحتياجات المستهلكين المحددين. يعتمد على الوقت والكائن.

4)ملاءمة: مهم في الوقت الحاضر. فقط المعلومات التي يتم تلقيها في الوقت المناسب مفيدة.

5) دقة: تحددها درجة قربها من الحالة الحقيقية للكائن أو العملية.

6) الاكتمال: كافية للفهم واتخاذ القرار.

7) القابلية للفهم: يتم التعبير عنها بلغة مفهومة للمتلقي.

علوم الكمبيوتر - العلم الذي يدرس بنية المعلومات وخصائصها العامة والبحث فيها وتخزينها ونقلها ومعالجتها باستخدام الكمبيوتر.

السؤال 2. نماذج قواعد البيانات. النموذج العلائقي.

قاعدة البيانات - هذا نموذج المعلومات، والذي يسمح لك بتخزين البيانات بشكل منظم حول مجموعة من الكائنات التي لها نفس مجموعة الخصائص. جوهر أي قاعدة بيانات هو نموذج البيانات. نموذج البيانات هي مجموعة من هياكل البيانات وعمليات معالجتها. موجود ثلاثة أنواع رئيسية من نماذج البيانات: الهرمية والشبكة والعلائقية.

النموذج الهرمي بالبيانات عبارة عن مجموعة من عناصر البيانات مرتبة حسب ترتيب تبعيتها وتشكل شجرة مقلوبة في البنية .

نموذج الشبكة بياناتيشبه النموذج الهرمي، ولكن في نموذج الشبكة، يرتبط كل عنصر ميغابايت بكل عنصر آخر.

الأكثر شعبية منذ أوائل الثمانينات. كان ولا يزال النموذج العلائقيبيانات. نموذج البيانات العلائقية يستخدم تنظيم البيانات في شكل جداول ثنائية الأبعاد. كل جدول من هذا القبيل، يسمى جدول علائقي أو علاقة، هو عبارة عن مصفوفة ثنائية الأبعاد ولها الخصائص التالية:

1.جميع الأعمدة في الجدول متجانسة أي جميع العناصر في عمود واحد لها

نفس النوع والحد الأقصى للحجم المسموح به؛

2. كل عمود له اسم فريد؛

3.لا توجد صفوف متطابقة في الجدول؛

4. لا يهم ترتيب الصفوف والأعمدة في الجدول.

العناصر الهيكلية الرئيسية للجدول العلائقي هي الحقل والسجل . مجال(عمود الجدول العلائقي) هي وحدة أولية لتنظيم البيانات المنطقية تتوافق مع سمة محددة لكائن المعلومات. سِجِلّ(صف الجدول العلائقي) - مجموعة من الحقول المرتبطة منطقيًا والتي تتوافق مع مثيل محدد لكائن المعلومات.

السؤال 3. مقاييس ووحدات كمية وحجم المعلومات. ترميز البيانات في الكمبيوتر.

تدابير المعلومات :

-نحوي- مقياس لكمية المعلومات، يعمل مع معلومات غير شخصية لا تعبر عن علاقة دلالية بالموضوع، تؤخذ في الاعتبار على المستوى النحوي نوع الوسائطو طريقة تقديم المعلومات, سرعة النقل والمعالجة, أحجام الكودعرض المعلومات.

-متعلق بدلالات الألفاظ- يستخدم لقياس المحتوى الدلالي للمعلومات. لقياس كمية المحتوى الدلالي للمعلومات، حصل مقياس المرادفات على أكبر قدر من الاعتراف، والذي يربط الخصائص الدلالية للمعلومات بقدرة المستخدم على قبول الرسالة الواردة. ولهذا الغرض مفهوم " قاموس المستخدم". القاموس الموسوعي للمفرداتعبارة عن مجموعة من المعلومات المتاحة للمستخدم أو النظام.

-عملي -يحدد مدى فائدة المعلومات (القيمة) للمستخدم لتحقيق هدفه. يعد هذا المقياس أيضًا قيمة نسبية (نظرًا لخصائص استخدام هذه المعلومات في نظام معين)

الوحدة الأساسيةمعلومات القياس - بت. البت هو الحد الأدنى لوحدة قياس كمية المعلومات، المقابلة لرقم ثنائي واحد ("0" أو "1").

الوحدات : -1 بايت = 8 بت؛ -1 كيلو بايت=2^10=1024 بايت; -1 ميجابايت=2^20 بايت; -1 جيجا بايت = 2 ^ 30 بايت؛ -1 تيرابايت = 2 ^ 40 بايت؛ -1 بيتابايت = 2 ^ 50 بايت.

حاسوب - جهاز إلكتروني يستخدم لأتمتة عمليات استقبال المعلومات وتخزينها ومعالجتها ونقلها، والتي تتم وفق خوارزميات طورها الإنسان.

يستخدم الكمبيوتر نظام الأرقام الثنائية، أي. يتم تمثيل جميع الأرقام الموجودة في جهاز الكمبيوتر باستخدام 0 و1 (أرقام ثنائية)، لذلك يمكن للكمبيوتر معالجة المعلومات الممثلة في شكل رقمي فقط. لتحويل الأرقام والنصوص والرسومات، معلومات صوتيةفي الرقمية فمن الضروري تطبيق الترميز. الترميز - هذا هو تحويل بيانات من نوع واحد إلى بيانات من نوع آخر (تحويل المعلومات إلى نموذج مناسب للإرسال عبر قناة اتصال محددة). يتم تشفير الأعداد الصحيحة في كود ثنائي بكل بساطة (عن طريق قسمة الرقم على اثنين). لتشفير المعلومات غير الرقمية يتم استخدام الخوارزمية التالية: يتم ترقيم جميع القيم الممكنة للمعلومات المشفرة ويتم تشفير هذه الأرقام باستخدام الكود الثنائي.

المحاضرة 3

§ 10. الأحكام النظرية الأساسية لعلم المعلومات.

المعلومات وعمليات المعلومات كمفاهيم أساسية لنظرية المعلومات

أنت بالفعل على دراية بالتعريف العلمي العام للمعلومات، والذي تم تقديمه في المحاضرة الأولى. في المراحل الأولى من دراسة علوم الكمبيوتر، كنت تميل إلى العمل بتعريفات مختلفة قليلاً يسهل فهمها. على سبيل المثال، والمعلومات هي معلومات حول العالم من حولنا، حول العمليات التي تحدث فيه، والتي تنظر إليها الكائنات الحية وآلات التحكم والأنظمة الأخرى.

يتم تحديد بعض التناقض من خلال الحكم التالي.

لحياة طويلة معنى كلمة لاتينيةلقد مرت "المعلومات" بالتطور، وتتوسع الآن، وتضيق حدودها بشكل كبير. في البداية، كانت كلمة "المعلومات" تعني "التمثيل"، "المفهوم"، ثم "المعلومات"، "نقل الرسائل". اليوم، أصبح مفهوم المعلومات على قدم المساواة مع المفاهيم الأساسية مثل المادة والطاقة وما إلى ذلك، والتي يصعب تحديدها بدقة.

ترتبط المعلومات دائمًا بـ الناقل المادي، وانتقالها يحتاج إلى طاقة. ومع ذلك، يمكن تخزين نفس المعلومات في مختلف شكل مادي(على ورقة، الوسائط المغناطيسية، فيلم فوتوغرافي، وما إلى ذلك) ونقلها بتكاليف طاقة مختلفة (عن طريق البريد، عن طريق الهاتف، عن طريق البريد السريع، وما إلى ذلك)، والعواقب (بما في ذلك المواد) للمعلومات المرسلة مستقلة تمامًا عن التكاليف المادية لنقلها. على سبيل المثال، يؤدي الضغط الخفيف على الزر إلى خفض ستارة مسرح ثقيلة أو تفجير مبنى كبير، وتوقف إشارة المرور الحمراء القطار، ويمكن أن تتسبب الأخبار غير السارة غير المتوقعة في حدوث نوبة قلبية. لهذا عمليات المعلوماتلا يمكن اختزالها في الماديات، والمعلومات، إلى جانب المادة والطاقة، هي أحد الكيانات الأساسية للعالم من حولنا.

في أي مجتمع، يقوم الأشخاص بنقل المعلومات وتخزينها ومعالجتها. رسالة على الراديو، دعوة إلى الفصل، إشارة مرور حمراء - كل هذا هو نقل المعلومات. مداخل اليوميات، البرديات القديمة، المكتبات، المحفوظات، أنظمة المساعدة- هذه هي مستودعات المعلومات. عند إجراء العمليات الحسابية والبحث عن المساعدة اللازمة والكتابة المادة العلميةتتم معالجة المعلومات. يتم استدعاء الإجراءات المختلفة بالمعلومات ومجموعاتها عمليات المعلومات .

لقد استخدمت الإنسانية المعلومات دائما، ولكن فقط في منتصف القرن العشرين. أصبحت عمليات المعلومات الموضوع بحث علمي، لأنه كان في هذا الوقت ظهرت أجهزة الاتصالات والأتمتة والكمبيوتر. اتضح أن فعالية عملهم باستخدام المفاهيم الفيزيائيةلا يمكن وصفها، وأن الخصائص الأساسية لهذه الأجهزة يجب وصفها بطرق مختلفة تمامًا. ونتيجة لذلك تم توضيح مفهوم المعلومات لأول مرة، ورياضيانظرية المعلومات – علم قياس ونقل المعلومات. اليوم، نظرية المعلومات هي الأساس النظري لجميع علوم الكمبيوتر.

لقد قرر العلماء المشاركون في الأبحاث في نظرية المعلومات أن المعنى المعتاد (المقبول عالميًا) للكلمة "معلومة"" غامضة جدًا، وأعطتها المعنى التالي: " مقياس اليقين في الرسالة" محتوى هذا التعريفسيتم مناقشتها بالتفصيل في الفقرات التالية.

وهكذا، تم إحياء نظرية المعلومات من خلال احتياجات الممارسة، لأنأي جهاز تلقائييعالج المعلومات: القطار، والضغط على قسم معين من السكك الحديدية، ينقل إشارة تعمل على تشغيل إشارة المرور الحمراء؛ الأجهزة التلقائية تبادل الهاتف(PBX) يحول رقم الهاتف الذي نطلبه إلى اتصال به المشترك المطلوب. قمة الإنجازات التقنية في مجال العمل مع المعلومات هو الكمبيوتر.

في نظرية المعلومات، يتم تطوير العديد من الأنظمة والأساليب والمناهج والأفكار في الوقت الحاضر. ومع ذلك، يعتقد العلماء أن الاتجاهات الجديدة في نظرية المعلومات ستضاف إلى الاتجاهات الحديثة وستظهر أفكار جديدة.

واحد من أهم المهامنظرية المعلومات هي دراسة طبيعة وخصائص المعلومات، وإنشاء طرق لمعالجتها.

يمكن تمثيل أي عملية لنقل المعلومات مخطط بسيطكما في الشكل 6.

الشكل 6. مخطط عملية نقل المعلومات

كل جزء من الأجزاء الثلاثة في الرسم البياني أعلاه له خصائص معينة (كما يقولون - المعلمات). تعتمد جودة النقل على هذه الخصائص.

يتم شرح ماهية هذه الخصائص من خلال مثال أصبح كلاسيكيًا. عندما تكتب ملاحظة وتعطيها للمستلم، فإنك تلعب دور المرسل وقناة الاتصال. نوع المعلومات عند نقلها إلى في هذه الحالةلم يتغير؛ يتم إرسال النص المكتوب بنفس النموذج واستقباله الوقت المناسبودون تحريف. إذا قمت بإرسال ملاحظة من خلال صديق، تصبح قناة الاتصال جزءًا مستقلاً من المخطط، ويمكن أن تحدث فيه أحداث خارجة عن إرادتك. على سبيل المثال، سوف تضيع المذكرة أو تعلق تحت المطر. وفي مثل هذه الظروف يقولون: هناك تداخل في قناة الاتصال. أو سيتم تأخير النقل إذا لم يعثر الصديق على المستلم على الفور. وهذا يعني أن وقت النقل سيزيد. أو سيقرأ أحد الأصدقاء المذكرة ويخبر المرسل إليه بمحتوياتها بالكلمات. نتيجة لذلك، سيتغير نوع المعلومات (التحويل) - من الكتابة سوف يتحول إلى شفهي. في الوقت نفسه، من الممكن أن يتم تشويه محتوى المعلومات - ستقول "قناة الاتصال" إما ليس كل شيء، أو ليس كل شيء. وأخيرا، من المحتمل أن تكون منزعجا من حقيقة أن المذكرة لم تتم قراءتها فقط من قبل المرسل إليه، أي كان هناك وصول غير مصرح به (غير مصرح به من قبل المرسل) إلى المعلومات.

يوضح هذا المثال المعلمات التي قد تتضمنها عملية نقل المعلومات والمشكلات المرتبطة بها التي يجب حلها. نحن مهتمون بموثوقية ووقت نقل المعلومات وتحويلها وحمايتها. يمكن أن تكون أجزاء دائرة النقل نفسها معقدة للغاية. على سبيل المثال، قناة الاتصالات الهاتفية- هذه ليست مجرد أسلاك، ولكن أيضًا أجهزة على PBX تربط المشتركين؛ الأجهزة التي تعمل على تضخيم الإشارة أثناء الإرسال لمسافات طويلة، وما إلى ذلك.

متنوع الوسائل التقنيةتوفير جودة الإرسال المطلوبة في كل حالة محددة. يتم تطويرها من قبل متخصصين في تكنولوجيا الاتصالات. ومع ذلك، لعبت أيضا دورا رئيسيا في نظرية المعلومات الأساليب الرياضية. وهي مبنية على مبادئ قياس المعلومات، والتي بدأت باكتشافها نظرية المعلومات.

ويعتقد أن ر نظرية المعلومات كنظام علمي مستقل يتعلق بإدراك المعلومات ونقلها ومعالجتها وتخزينها واستخدامها، أسسها العالم الأمريكي ك. شانون في أواخر الأربعينياتالقرن العشرين.

بنيت نظرية شانون على المفهوم الأساسي المقياس الكمي لعدم اليقين - إنتروبيا- والمفهوم المتعلق بكمية المعلومات. هناك عامل آخر في تطور نظرية المعلومات وهو إدراك ذلك ذاكرة متوسطة - الإشارة- له طبيعة عشوائية.

§ 11. قياس كمية المعلومات.

الطريقة الحجمية

من الواضح أنه يمكن أن يكون هناك الكثير أو القليل من المعلومات. ولكن لتصميم نظام نقل المعلومات، من الضروري معرفة كمية المعلومات التي يمكن نقلها بشكل أكثر دقة وفي أي وقت.

في التكنولوجيا، غالبا ما يستخدمون طريقة بسيطة إلى حد ما، ولكنها خام لقياس المعلومات، والتي يمكن أن تسمى الحجمي. هذه هي الطريقة التي واجهتها حتى الآن. وهي تقوم على حساب عدد الأحرف في الرسالة، أي أنها مرتبطة بطولها ولا تأخذ في الاعتبار المحتوى. صحيح أن طول الرسالة يعتمد علىقوة الأبجدية - عدد الأحرف المختلفة المستخدمة لكتابة الرسالة.على سبيل المثال، نفس الرقم "تسعة عشر" في الأبجدية العشرية يُكتب برمزين - 19 ، وفي الأبجدية الثنائية - خمسة أحرف - 10111.

في النظام العشريقوة الأبجدية هي 10 (عشرة أرقام)، وفي الثنائي هي 2. كلما زادت قوة الأبجدية، كلما كان الإدخال أقصر. أفقر الأبجدية هي ثنائية: فهي تتكون من حرفين، بغض النظر عن أي منهما. كل من الأبجدية الكبيرة والصغيرة لها إيجابياتها وسلبياتها. تتميز الأبجدية الكبيرة بميزة الإدخالات القصيرة، ولكنها تتطلب أجهزة تشفير أكثر تعقيدًا. الاكثر شخصيات مختلفةكلما زادت صعوبة التمييز بينها، وبالتالي زادت صعوبة النقل دون تحريف.

ليس من قبيل الصدفة أن أحد رموز التلغراف الأولى - كود مورس - استخدم ثلاثة أحرف فقط (نقطة، شرطة، توقف مؤقت)، وفي الكل تكنولوجيا الكمبيوتراعتمد النظام الثنائي. يتم تحديد الأبجدية التي يجب اختيارها من قبل مصممي نظام نقل معين. ولكن لقياس المعلومات، فمن المستحسن أن تكون هناك وحدات لا تعتمد على الأبجدية.

في تكنولوجيا الكمبيوترهناك وحدتان قياسيتان للقياس: البتات والبايتات.قليل - هو حرف واحد من الأبجدية الثنائية. (كلمة "بت" تأتي من اختصار للتعبير الإنجليزي رقم ثنائي- "رقم ثنائي").بايت - وهو حرف واحد يمكن تمثيله برمز ثنائي مكون من ثمانية بتات.قوة الأبجدية لهذا التمثيل تساوي عدد الرموز الثنائية المختلفة المكونة من ثمانية بتات، أي. 2 8 = 256 ، ويمكن أن تتضمن، على سبيل المثال، جميع الأحرف الموجودة على لوحة مفاتيح الآلة الكاتبة أو محطة الكمبيوتر.

حتى أن المتخصصين في مجال تكنولوجيا الكمبيوتر لديهم مقولة فكاهية حول هذا الأمر: "ثمانية بتات تعطي بايتًا واحدًا".

للرسالة المسجلة في النظام الثنائيفإن كمية المعلومات الموجودة فيه هي ببساطة عدد الأحرف الثنائية. رقم 25 ، معبراً عنها بالثنائي 11001 ، يتضمن 5 الشخصيات وبالتالي 5 أجزاء من المعلومات. صحيح، في نفس النظام يمكن كتابته بطريقة مختلفة؛ 0011001 . سوف تحتوي هذه الرسالة 7 أجزاء من المعلومات.

يمكن للبت الواحد أن ينقل رسالة واحدة فقط من رسالتين - 0 أو 1 . هؤلاء رسائل قصيرةفي بعض الأحيان أنها تحمل حمولة دلالية كبيرة: يمكن أن تعني الإجابة "نعم" أو "لا"، إشارة لتشغيل أو إيقاف تشغيل الكهرباء. لكن بالنسبة للإرسال فهي بسيطة للغاية. بتتان تكفيان لنقل أربعة رسائل مختلفة: 00, 01, 10, 11 . وفقا لقواعد التوافقيات، الكتابة مننالأحرف الثنائية التي يمكنك إرسال واحدة منها 2 نرسائل.

إجمالي عدد الأحرف المستخدمة في النصوص العادية أكثر من 2 7 = 128 ، ولكن أقل من 2 8 = 256 . (على لوحة مفاتيح الكمبيوتر يمكنك الاعتماد عليها 150 الأحرف.) لذلك، بايت واحد يكفي لترميز أي حرف في نص عادي في النظام الثنائي. للمعقدة الرموز الرياضية (الجذر التربيعي، متكامل، وما إلى ذلك)، أحرف الخطوط والحروف الهجائية المختلفة (على سبيل المثال، اليونانية)، بايت واحد لا يكفي.

كيفية قياس كمية المعلومات في الرسالة إذا لم تكن مكتوبة في النظام الثنائي؟ ولماذا قياس مثل هذه الرسالة بالبت والبايت؟ يعد ذلك ضروريًا لمعرفة عدد الأحرف التي ستحتوي عليها الرسالة إذا تم ترميزها باستخدام الأبجدية الثنائية. وبطبيعة الحال، في النظام الثنائي، كما رأينا، يمكن تشفير نفس الرقم بطرق مختلفة. ومع ذلك، لكل رسالة هناك الحد الأدنى من المبلغأجزاء كيفية تحديد ذلك؟

دعونا نفكر في كتابة الأرقام العشرية في النظام الثنائي. أولاً 2 نأرقام - من 0 قبل 2 ن - 1 - يمكن كتابتهانأجزاء. على سبيل المثال، لكتابة الأرقام من 0 قبل 7 ثلاث بتات تكفي ( 2 2 < 7 < 2 3 )، من 0 قبل 31 - خمسة، الخ. إذا ن- درجة 2 (ن = 2 ن)، ثم لتسجيل ذلك الذي تحتاجهن + 1 قليل. لذا، 32 = 2 ن يتوافق 100 000 في النظام الثنائي ( 6 أجزاء). بالنسبة للأرقام الأخرى، فإن عدد البتات يساوي أس القوة العظمى لاثنين ولا يتجاوز هذا العدد، بالإضافة إلى 1 . على سبيل المثال، لعدد 57 هذه الدرجة متساوية 5 : 57 أكثر 32 ، ولكن أقل 64 . لذلك للسجل 57 ليس هناك حاجة إلى أقل من ذلك 5 + 1 = 6 أجزاء للعثور على الحد الأقصى لقوة الرقم 2 لأي احد ن، فمن الضروري حسابسجل 2 نويأخذ منه جزءا كاملا؛ تم تعيينه أقواس مربعة: . لذلك، الحد الأدنى لعدد البتات لتسجيل أي عدد عشري نيساوي + 1.

عند التسجيل النصوص العاديةعادةً ما يتم ترميز كل حرف كبايت واحد. ولذلك، فإن عدد البايتات يساوي تقريبًا عدد الأحرف؛ ولكن قد يكون هناك المزيد من البايتات بسبب وجود مسافات في النص.

يسمى قياس المعلومات على أساس حساب عدد الأحرف في الرسالة حجم المعلومات . وهذا القياس ضروري لتقييم الاحتمالات الأجهزة التقنيةالعمل معها. لأجهزة التخزين – ذاكرة الوصول العشوائيالكمبيوتر والأقراص والأقراص المرنة وما إلى ذلك. – يتم قياس كمية المعلومات التي يمكن تخزينها فيها (سعة الذاكرة) بالكيلوبايت والميجابايت والجيجابايت. كلما كانت ذاكرة الكمبيوتر أكبر، كلما اتسعت إمكانياته. لا يعتمد وقت إرسال الرسالة عبر قناة اتصال على طول النص فحسب، بل يعتمد أيضًا على مقدار المعلومات التي يمكن إرسالها لكل وحدة زمنية عبر القناة، أو على عرض النطاق. هذه القيمةتقاس عادة بالكيلو بايت في الثانية. يجب أن نتذكر أن "الكيلو" في الحوسبة أكبر قليلاً من المعتاد. والسبب في ذلك هو نظام الأرقام الثنائية. بعد كل شيء، الأعداد المستديرة الموجودة فيه ليست قوى العشرة، ولكنها قوى اثنين. لذلك اخترنا هذه الأرقام 2 ، والتي تتوافق بشكل أفضل مع المعنى المقبول لهذه البادئات. لذلك، فيما يتعلق بأجهزة الكمبيوتر، تعني وحدات التحكم الخاصة بنا:

كيلو-2 10 = 1024،

القياس- 2 20 = 1024 2 = 1 048 576،

جيجا- 2 30 = 1024 3 = 1,073,741,824.

إن طريقة قياس كمية المعلومات التي تمت مناقشتها في هذه الفقرة بسيطة للغاية، ولكنها تتجاهل تمامًا التقييم البشري للمعلومات. على سبيل المثال، سلسلة متسلسلة من 100 يتم تخصيص قدر معين من المعلومات للحروف. وفي الوقت نفسه، لا يتم الاهتمام بمسألة ما إذا كانت هذه المعلومات منطقية، وما إذا كان تطبيقها العملي منطقيًا.

وفقا للطريقة الحجمية، المجموع 100 الحروف - عبارة من 100 رسائل من إحدى الصحف، أو مسرحية شكسبير، أو نظرية أينشتاين - تحتوي بالضبط على نفس القدر من المعلومات. هذا النهج لقياس كمية المعلومات يتوافق مع المهام الفنيةحيث يجب أن تقوم قناة الاتصال بنقل جميع المعلومات، بغض النظر عن قيمة هذه المعلومات بالنسبة للمرسل إليه. هناك شيء واحد مهم لنظام النقل: نقل الكمية المطلوبة من المعلومات كمية معينة منوقت.

ومع ذلك، كما ستتعلم في الفقرة التالية، يمكن قياس المعلومات بطرق أخرى.

§ 12. كمية المعلومات.

نهج الانتروبيا

في الحياة اليوميةنحن، كقاعدة عامة، نقوم بتقييم المعلومات الواردة من الجانب الدلالي: نحن ندرك المعلومات الجديدة ليس كمبلغ معين من المعلومات، ولكن كمحتوى جديد. هل توجد معلومات في رسالة "يوجد نبات على الأرض"؟ بالطبع لا. بعد كل شيء، لا يوجد محتوى جديد هنا. لكن عبارة "يوجد نبات على المريخ" تحتوي على معلومات لأنها تعكس احتمال المعرفة، واحتمال حدوث ظاهرة، ولا تؤكد ما هو معروف لدى الجميع.

وهنا مثال آخر. الركاب يسافرون على متن الحافلة. يعلن السائق التوقف. يخرج شخص ما، والباقي لا ينتبهون إلى كلمات السائق - المعلومات المنقولة إليه. لماذا؟ النقطة المهمة هي أن المعلومات هنا لها قيمة مختلفة بالنسبة للمستلمين، الذين هم في هذا المثال ركاب. خرج الشخص الذي كانت المعلومات قيمة بالنسبة له. هكذا،قيمة المعلومات هي خاصية المعلومات التي تؤثر على سلوك متلقيها.

كيف يتم حساب كمية المعلومات في رسالة معينة مع الأخذ بعين الاعتبار قيمتها؟ يعتمد هذا التقييم لكمية المعلومات على قوانين نظرية الاحتمالات. هذا أمر مفهوم. إن الرسالة لها قيمة ولا تحمل معلومات إلا عندما نتعلم منها نتيجة حدث عشوائي بطبيعته، عندما يكون غير متوقع إلى حد ما. بعد كل شيء، الرسالة حول ما هو معروف بالفعل لا تحتوي على أي معلومات.

في نظرية المعلومات ما يسمىنهج الانتروبيا - نهج يأخذ في الاعتبار قيمة المعلومات الواردة في الرسالة إلى متلقيها.نهج الانتروبيا يأتي من النموذج القادم. لدى متلقي الرسالة أفكار معينة حول احتمال حدوث أحداث معينة. هذه التمثيلات في الحالة العامةلا يمكن الاعتماد عليها ويتم التعبير عنها من خلال الاحتمالات التي يتوقع بها هذا الحدث أو ذاك. المقياس العام لعدم اليقين – إنتروبيا- تتميز ببعض الاعتماد الرياضي على مجمل هذه الاحتمالات. يتم تحديد كمية المعلومات الموجودة في الرسالة من خلال مقدار تقليل هذا الإجراء بعد استلام الرسالة.

على سبيل المثال، رسالة تافهة، أي رسالة يعرفها المتلقي بالفعل، لا تغير الاحتمالات المتوقعة ولا تحمل له أي معلومات.

تحمل الرسالة معلومات كاملةيا مجموعة معينةالأحداث إذا أزالت تماما كل عدم اليقين. في هذه الحالة، كمية المعلومات الموجودة فيه تساوي الإنتروبيا الأولية.

على سبيل المثال، إذا اتصل بك شخص ما عبر الهاتف وقال: "الجو خفيف في النهار ومظلم في الليل"، فإن مثل هذه الرسالة لن تفاجئك إلا بسخافة ذكر ما هو واضح ومعروف للجميع، وليس مع الأخبار التي تحتويها.

شيء آخر، على سبيل المثال، نتيجة المباراة النهائية في بطولة الشطرنج. من سيفوز: كاربوف أم كاسباروف؟ أم ستنتهي المباراة بالتعادل؟ ومن الصعب التنبؤ بالنتيجة هنا.

وكلما كانت النتائج العشوائية للحدث الذي نهتم به، كلما زادت قيمة الرسالة حول نتائجه، كلما زادت قيمتها معلومات اكثر.

تحتوي الرسالة المتعلقة بحدث له نتيجتان محتملتان متساويتان على وحدة واحدة من المعلومات تسمى البت. اختيار وحدة المعلومات ليس من قبيل الصدفة. هذا الاختيار، وكذلك في الطريقة الحجميةقياس كمية المعلومات المرتبطة الأكثر شيوعا الطريقة الثنائيةالترميز أثناء نقل ومعالجة المعلومات.

دعونا نحاول أن نقدم، على الأقل في شكل مبسط، منهج الإنتروبيا لقياس كمية المعلومات، وهو حجر الزاوية في كل نظريات المعلومات.

نحن نعلم بالفعل أن كمية المعلومات تعتمد على احتمالات نتائج معينة لحدث ما. إذا كان لحدث ما نتيجتان محتملتان متساويتان في الاحتمال، فهذا يعني أن احتمال كل نتيجة يساوي 1/2 . هذا هو احتمال الحصول على صورة أو كتابة عند رمي قطعة نقود. إذا كان لحدث ما ثلاث نتائج محتملة متساوية، كما في مثالنا مع بطولة الشطرنج، فإن احتمال كل منها يساوي 1/3 . إن مجموع احتمالات جميع النتائج يساوي دائمًا واحدًا: ففي نهاية المطاف، ستحدث إحدى جميع النتائج المحتملة بالتأكيد. يمكن أن يكون للحدث نتائج محتملة غير متساوية. لذا، في مباراة كرة قدم بين فريق قوي وفريق ضعيف، يكون احتمال فوز الفريق القوي مرتفعًا - على سبيل المثال، 4/5 . على سبيل المثال، احتمال التعادل أقل بكثير 3/20 . احتمال الهزيمة صغير جدا.

خذ بعين الاعتبار المثال الكلاسيكي لمجموعة البطاقات التي تحتوي على 32 بطاقات مختلفة. لاختيار واحدة من البطاقات، هناك 32 الاحتمالات التي تميز عدم اليقين الأولي للوضع. إذا، مع احتمال متساو، تم بالفعل اختيار أحدهم (على سبيل المثال، ملك القلوب)، فلا يوجد شك. لذلك الرقم 32 في المثال قيد النظر يمكن اعتبار كمية المعلومات الواردة في اختيار واحد من 32 فرص. اقترح ر. هارتلي لوغاريتم عدد الاحتمالات كمقياس لعدم اليقين:

ح = ك سجل أ م. (1)

هنا ح- كمية المعلومات،ك- معامل التناسب،م- عدد الاختيارات الممكنة، أ- قاعدة اللوغاريتم. في أغلب الأحيان تؤخذك=1 و أ=2 . ستكون الوحدة القياسية لكمية المعلومات بمثابة الاختيار بين احتمالين. مثل هذه الوحدة، كما تعلمون، تسمى قليلا ويمثلها رمز واحد من الأبجدية الثنائية.

تم اختيار البت كوحدة لكمية المعلومات لأنه من المقبول عمومًا أن اثنين الكلمات الثنائيةالطول الأصليمأو طول الكلمة 2 ميمكنك نقل ضعف المعلومات التي تنقلها كلمة أصلية واحدة. ويزداد عدد الانتخابات بنسبة 2 ممرات، في حين أن القيمةح وفي العلاقة (١) فهو يتضاعف ببساطة. ومن المثير للاهتمام أنه فيما يتعلق (1) نيصف عدد الأسئلة (الثنائية)، التي تتيح لك الإجابات اختيار أحد البدائل. لذلك، في المثال مع مجموعة من البطاقات من 32 البطاقات، من الضروري والكافي الحصول على إجابات "نعم" و"لا" على خمسة أسئلة ( 2 5 = 32 ). الإجابة على كل سؤال تقسم مساحة الاختيار الإضافية إلى النصف. دعونا، على سبيل المثال، تحتاج إلى اختيار ملكة البستوني. هذه الأسئلة ستكون:

1. البطاقة الحمراء؟ الجواب هو لا.

2. الأندية؟ الجواب هو لا.

3. أحد الأربعة الكبار؟ الجواب نعم.

4. أحد الأكبرين؟ الجواب هو لا.

5. سيدة؟ الجواب نعم.

وهكذا يتم اختيار ملكة البستوني. يمكن وصف هذا الاختيار بسلسلة من خمسة أحرف ثنائية 00101 ، حيث 0 يتوافق مع "لا"، و 1 يتوافق مع "نعم".

في في هذا المثالوكان من المفترض أن تكون الانتخابات محتملة بنفس القدر وأن عددها محدود. K. شانون لديه تعميمحفي حالحلا يعتمد فقط علىمولكن أيضًا على احتمالات اختيار الرموز واحتمالات الارتباط بينها.

تبدو هذه العلاقة كما يلي:

أين ر أنا- احتمال الاختيارأناالحرف العاشر من الأبجدية. من الملائم أكثر استخدام القيمة غير القيمة كمقياس لكمية المعلوماتأهلاًومتوسط ​​قيمة كمية المعلومات لكل حرف من الحروف الأبجدية:

معنى ح يصل إلى الحد الأقصى عندما يكون الجميع متساوين ر أنا، أي متى ر أنا=1/ م. في هذه الحالة النسبة الأخيرةيتحول إلى صيغة R. Hartley (1):

H ماكس = - سجل P = سجل م.

الإنتروبيا دائما سلبية، لأن الكميات تحت علامات اللوغاريتمات أقل من واحد. وهي في المعنى عكس المعلومة، لأن المعلومة تزيل الشك. وبالتالي فإن متوسط ​​كمية المعلوماتأنابوفرة ج، أي مقدار المعلومات في المتوسط ​​لكل رسالة واحدة حول حدث ماج، يتم حسابه بواسطة الصيغة

أنا( ج) = – ح( ج). (4)

لذا، كمية المعلومات هنالك خاصية عدديةالإشارة التي لا تعتمد على شكلها ومحتواها وتصف درجة عدم اليقين التي تختفي بعد اختيار (استقبال) رسالة على شكل إشارة معينة.

لخص. يمكن قياس المعلومات من خلال طول الرسالة بالبت. هذه الطريقة لا تقول أي شيء عن محتوى المعلومات للرسالة، ولكنها تميز مقدار عمل نظام الاتصال أثناء الإرسال. إذا كان من الضروري أن نأخذ في الاعتبار محتوى المعلومات في مشكلة ما، فيجب على المرء استخدام نهج الإنتروبيا لقياس المعلومات. في هذه الحالة، من الضروري توضيح عدد الأحداث التي سيتم الإبلاغ عنها، وما هي احتمالاتها، ومن ثم حسابهاأنا( ج).

تصنيف التدابير

لقياس المعلومات، يتم تقديم معلمتين: كمية المعلومات I وحجم البيانات V D .

ولهذه المعلمات تعبيرات وتفسيرات مختلفة اعتمادًا على شكل الملاءمة التي يتم النظر فيها. يتوافق كل شكل من أشكال الكفاية مع مقياسه الخاص لكمية المعلومات وحجم البيانات (الشكل 2.1).

أرز. 2.1.تدابير المعلومات

القياس النحوي للمعلومات

يعمل هذا المقياس لكمية المعلومات مع معلومات غير شخصية لا تعبر عن علاقة دلالية بالكائن.

حجم البياناتيتم قياس V D في الرسالة بعدد الأحرف (الأرقام) الموجودة في هذه الرسالة. في أنظمة مختلفةفي التدوين، يكون للرقم الواحد وزن مختلف وتتغير وحدة قياس البيانات وفقًا لذلك:

في نظام الأرقام الثنائية، وحدة القياس هي البت. (قليل— الثنائيةرقم- رقم ثنائي)؛

ملحوظة. في أجهزة الكمبيوتر الحديثةجنبا إلى جنب مع وحدة الحد الأدنىعند قياس البيانات "البت"، يتم استخدام وحدة قياس كبيرة "البايت"، تساوي 8 بتات، على نطاق واسع.

في نظام الأرقام العشرية، وحدة القياس هي التاريخ (المنزلة العشرية).

مثال 2.3. تحتوي الرسالة في النظام الثنائي على شكل رمز ثنائي مكون من ثمانية بتات 10111011 على حجم بيانات V D = 8 بتات.

تحتوي الرسالة في النظام العشري على شكل رقم مكون من ستة أرقام 275903 على حجم بيانات V D = 6 dit.

كمية المعلوماتأنامن المستحيل تحديده على المستوى النحوي دون النظر في مفهوم عدم اليقين في حالة النظام (أنتروبيا النظام). في الواقع، يرتبط الحصول على معلومات حول نظام ما دائمًا بتغير درجة جهل المتلقي بحالة هذا النظام. دعونا نفكر في هذا المفهوم.

اسمح للمستهلك بالحصول على بعض المعلومات الأولية (المسبقة) حول النظام α قبل تلقي المعلومات. مقياس جهله بالنظام هو الدالة H(α)، والتي تعمل في نفس الوقت كمقياس لعدم اليقين في حالة النظام.

بعد تلقي بعض الرسائل β، حصل المستلم على بعض المعلومات الإضافية Iβ(α)، مما قلل من جهله المسبق بحيث أصبح عدم اليقين اللاحق (بعد تلقي الرسالة β) لحالة النظام هو Hβ(α).

ثم سيتم تحديد مقدار المعلومات Iβ(α) حول النظام المستلمة في الرسالة β على أنها

Iβ(α) = H(α) - Hβ(α)،

أولئك. يتم قياس كمية المعلومات من خلال التغيير (التخفيض) في حالة عدم اليقين في حالة النظام.

إذا أصبح عدم اليقين النهائي Hβ(α) صفرًا، فسيتم استبدال المعرفة الأولية غير الكاملة المعرفة الكاملةوكمية المعلومات Iβ(α) = H(α). بعبارة أخرى، الانتروبيا للنظاميمكن اعتبار H(α) مقياسًا للمعلومات المفقودة.

إنتروبيا النظام H(α)، وجود نالحالات الممكنة، حسب صيغة شانون، تساوي:

أين بايهو احتمال أن يكون النظام في الحالة i.

يوم الحالة الذي تكون فيه جميع حالات النظام محتملة على قدم المساواة، أي. احتمالاتهم متساوية باي =،يتم تحديد الانتروبيا من خلال العلاقة

في كثير من الأحيان يتم تشفير المعلومات برموز رقمية في نظام أرقام واحد أو آخر، وهذا صحيح بشكل خاص عند تقديم المعلومات على جهاز كمبيوتر. وبطبيعة الحال، نفس العدد من الأرقام أنظمة مختلفةيمكن نقل الحسابات رقم مختلفحالات الكائن المعروض، والتي يمكن تمثيلها كعلاقة

ن =مينيسوتا،

أين ن- عدد جميع الحالات المعروضة الممكنة؛

ت— أساس نظام الأرقام (مجموعة متنوعة من الرموز المستخدمة في الأبجدية)؛ ص— عدد البتات (الأحرف) في الرسالة.

مثال 2.4. يتم إرسال رسالة n-bit عبر قناة الاتصال باستخدام ترموز مختلفة. نظرًا لأن عدد جميع مجموعات التعليمات البرمجية الممكنة سيكون ن =مينيسوتا،فإذا كان احتمال ظهور أي منها متساويًا، فإن كمية المعلومات التي يحصل عليها المشترك نتيجة تلقي الرسالة ستكون I = log ن = نسجل ت- صيغة هارتلي.

إذا أخذنا كأساس للوغاريتم تي،ثم أنا = البند بفي هذه الحالة، فإن كمية المعلومات (شريطة الجهل المسبق الكامل من قبل المشترك بمحتويات الرسالة) ستكون مساوية لحجم البيانات I = V D , تلقى عبر قناة الاتصال. بالنسبة للحالات غير المحتملة للنظام، دائمًا I< V Д = ن.

الأكثر استخدامًا هي اللوغاريتمات الثنائية والعشرية. وحدات القياس في هذه الحالات ستكون bit وdit، على التوالي.

معامل (درجة) محتوى المعلومات(إيجاز) الرسالة يتم تحديده بنسبة كمية المعلومات إلى حجم البيانات، أي.

علاوة على ذلك، 0

مع زيادة ييتم تقليل حجم العمل لتحويل المعلومات (البيانات) في النظام. ولذلك، فإنهم يسعون جاهدين لزيادة محتوى المعلومات، حيث يتم تطوير طرق خاصة للترميز الأمثل للمعلومات.

القياس الدلالي للمعلومات

لقياس المحتوى الدلالي للمعلومات، أي. كميتها على المستوى الدلالي، وأكثرها شهرة هو مقياس المرادفات، الذي يربط الخصائص الدلالية للمعلومات بقدرة المستخدم على قبول الرسالة الواردة. ولهذا الغرض يتم استخدام المفهوم قاموس المستخدم.

المعجم عبارة عن مجموعة من المعلومات المتاحة للمستخدم أو النظام.

اعتمادا على العلاقة بين المحتوى الدلالي للمعلومات سوأطروحة المستخدم-URUS س صكمية المعلومات الدلالية تتغير إيك،ينظر إليها المستخدم ثم يدرجها بعد ذلك في قاموس المرادفات الخاص به. وتظهر طبيعة هذا الاعتماد في الشكل. 2.2. دعونا ننظر في حالتين محددتين عندما تكون كمية المعلومات الدلالية جيميساوي 0:

. في س ص ≈ 0 لا يدرك المستخدم أو يفهم المعلومات الواردة؛

. في س ص→∞ المستخدم يعرف كل شيء، ولا يحتاج إلى المعلومات الواردة.

كميات الشكل الدلالي. 2.2. مدمن

المعلومات المدركة

من قبل المستهلك، من قاموسه

الحد الأقصى لكمية المعلومات الدلالية 1 جيكتسبها المستهلك من خلال الاتفاق على محتواها الدلالي سمع المعجم الخاص بك س ص (س ع =سبوت)، عندما تكون المعلومات الواردة مفهومة للمستخدم وتزوده بمعلومات غير معروفة مسبقًا (غائبة في قاموس المرادفات الخاص به).

وبالتالي، فإن مقدار المعلومات الدلالية في الرسالة، وكمية المعرفة الجديدة التي يتلقاها المستخدم، هي قيمة نسبية. يمكن أن تحتوي الرسالة نفسها على محتوى ذي معنى بالنسبة لمستخدم كفء، وتكون بلا معنى (ضوضاء دلالية) بالنسبة لمستخدم غير كفء.

عند تقييم الجانب الدلالي (المحتوى) للمعلومات، من الضروري السعي إلى تنسيق القيم سو Sp.

يمكن أن يكون المقياس النسبي لكمية المعلومات الدلالية هو معامل المحتوى مع،والتي يتم تعريفها على أنها نسبة كمية المعلومات الدلالية إلى حجمها:

المقياس العملي للمعلومات

يحدد هذا المقياس مدى فائدة المعلومات (القيمة) للمستخدم لتحقيق الهدف المحدد. يعد هذا المقياس أيضًا قيمة نسبية تحددها خصوصيات استخدام هذه المعلومات في نظام معين. ومن المستحسن قياس قيمة المعلومات في نفس الوحدات (أو القريبة منها) التي تقاس بها الوظيفة المستهدفة.

مثال 2.5. في النظام الاقتصادي، يمكن تحديد الخصائص (القيمة) العملية للمعلومات من خلال زيادة التأثير الاقتصادي للأداء الذي يتم تحقيقه من خلال استخدام هذه المعلومات لإدارة النظام:

أنا نβ (γ)=П(γ/β) - П(γ)،

حيث I nβ (γ) هي قيمة رسالة المعلومات β لنظام التحكم γ،

P(γ) - تأثير اقتصادي متوقع مسبقًا

عمل نظام التحكم γ،

P(γ/β) هو التأثير المتوقع لعمل النظام γ، بشرط استخدام المعلومات الواردة في الرسالة γ للتحكم.

للمقارنة، نقدم مقاييس المعلومات المدخلة في الجدول. 2.1.

الجدول 2.1. وحدات المعلومات والأمثلة

قياس المعلومات		الوحدات	أمثلة (في مجال الكمبيوتر)
نحوي	نهج شانون	درجة الحد من عدم اليقين	احتمالية وقوع الحدث
	نهج الكمبيوتر	وحدات عرض المعلومات	بت، بايت، كيلو بايت، الخ.
متعلق بدلالات الألفاظ		القاموس الموسوعي للمفردات	حزمة برامج التطبيقات، الكمبيوتر الشخصي، شبكات الكمبيوتر، إلخ.
		المؤشرات الاقتصادية	الربحية والإنتاجية ومعدل الاستهلاك وما إلى ذلك.
عملي		القيمة في الاستخدام	سعة الذاكرة وأداء الكمبيوتر وسرعة نقل البيانات وما إلى ذلك. القيمة النقدية الوقت المناسب لمعالجة المعلومات واتخاذ القرارات