كمية المعلومات هي خاصية عددية للإشارة، تعكس درجة عدم اليقين (عدم اكتمال المعرفة) التي تختفي بعد تلقي رسالة على شكل إشارة معينة.
يسمى مقياس عدم اليقين هذا في نظرية المعلومات بالانتروبيا. إذا تم التوصل، نتيجة لتلقي رسالة، إلى الوضوح التام بشأن بعض المسائل، فيقال أنه قد تم استلام معلومات كاملة أو شاملة وضرورة الحصول عليها معلومات إضافيةلا. وعلى العكس من ذلك، إذا ظل عدم اليقين كما هو بعد تلقي الرسالة، فلن يتم تلقي أي معلومات (صفر معلومات).
يوضح المنطق أعلاه أنه يوجد بين مفاهيم المعلومات عدم اليقين وإمكانية الاختيار اغلق الاتصال. وبالتالي، فإن أي عدم يقين يفترض إمكانية الاختيار، وأي معلومات تقلل من عدم اليقين، تقلل من إمكانية الاختيار. مع المعلومات الكاملة ليس هناك خيار. المعلومات الجزئية تقلل من عدد الاختيارات، وبالتالي تقلل من عدم اليقين.
لنلقي نظرة على مثال. يرمي شخص عملة معدنية ويراقب الجانب الذي هبطت عليه. كلا وجهي العملة متساويان، لذلك من المرجح أن يظهر وجه أو آخر. ويُعزى هذا الوضع إلى عدم اليقين الأولي، الذي يتسم باحتمالين. وبعد سقوط العملة يتحقق الوضوح التام ويختفي عدم اليقين (يصبح صفراً).
يشير المثال الموضح إلى مجموعة من الأحداث التي يمكن طرح سؤال "نعم-لا" بشأنها.
يُطلق على كمية المعلومات التي يمكن الحصول عليها عند الإجابة على سؤال بنعم أو لا اسم بت (بالإنجليزية bit - اختصار للرقم الثنائي - الوحدة الثنائية).
البت هو الحد الأدنى لوحدة المعلومات، لأنه من المستحيل الحصول على معلومات أقل من 1 بت. عند تلقي معلومات من 1 بت، يتم تقليل عدم اليقين بمقدار 2 مرات. وبالتالي، فإن كل رمية عملة تعطينا بتًا واحدًا من المعلومات.
النظر في نظام من اثنين المصابيح الكهربائيةوالتي يمكن تشغيلها أو إيقاف تشغيلها بشكل مستقل عن بعضها البعض. لمثل هذا النظام الحالات التالية ممكنة:
المصباح أ: 0 0 1 1 ؛
المصباح ب: 0 1 0 1 .
للحصول على معلومات كاملة عن حالة النظام، من الضروري طرح سؤالين بنعم أو لا حول المصباح الكهربائي A والمصباح الكهربائي B، على التوالي. في هذه الحالة، يتم تحديد كمية المعلومات الموجودة في هذا النظام بالفعل في 2 بت، وعدد الحالات المحتملة للنظام هو 4. إذا كنت تأخذ ثلاثة مصابيح كهربائية، فأنت بحاجة إلى طرح ثلاثة أسئلة والحصول على 3 بتات من معلومة. عدد حالات هذا النظام هو 8، الخ.
يتم إنشاء العلاقة بين كمية المعلومات وعدد حالات النظام من خلال صيغة هارتلي.
أنا = سجل 2N،
حيث i هو مقدار المعلومات بالبت؛ N هو عدد الحالات الممكنة. يمكن تقديم نفس الصيغة بشكل مختلف:
ن = 2 ط.
تسمى مجموعة من 8 بتات من المعلومات بايت.
إذا كان البت هو الحد الأدنى لوحدة المعلومات، فإن البايت هو وحدتها الأساسية. هناك وحدات مشتقة من المعلومات: كيلو بايت (KB، KB)، وميجابايت (MB، MB) وجيجابايت (GB، GB).
ومن ثم هناك ارتباط وثيق بين مفاهيم "المعلومات" و"عدم اليقين" و"الاختيار". أي عدم يقين يفترض إمكانية الاختيار، وأي معلومات تقلل من عدم اليقين، تقلل من إمكانية الاختيار. المعلومات الجزئية تقلل من عدد الاختيارات، وبالتالي تقلل من عدم اليقين.
كمية المعلومات هي خاصية عددية للإشارة، تعكس درجة عدم اليقين (عدم اكتمال المعرفة) التي تختفي بعد تلقي رسالة على شكل إشارة معينة.

إن تحديد مفهوم "كمية المعلومات" أمر صعب للغاية. هناك طريقتان رئيسيتان لحل هذه المشكلة. تاريخيًا، نشأت هذه الاضطرابات في وقت واحد تقريبًا. في أواخر الأربعينيات من القرن العشرين، قام مؤسس نظرية المعلومات، عالم الرياضيات الأمريكي كلود شانون، بتطوير النهج الاحتماليلقياس كمية المعلومات، والعمل على إنشاء أجهزة الكمبيوتر أدى إلى نهج "الحجمي".

ما مقدار المعلومات الموجودة، على سبيل المثال، في نص رواية، في اللوحات الجدارية لرافائيل، أو في الشفرة الوراثية للشخص؟ لا يقدم العلم إجابات على هذه الأسئلة، وفي جميع الاحتمالات، لن يقدم إجابات قريبا. هل من الممكن قياس كمية المعلومات بشكل موضوعي؟ إن أهم نتيجة لنظرية المعلومات هي الاستنتاج التالي:

في ظروف معينة وواسعة جدًا، يمكن للمرء إهمال السمات النوعية للمعلومات، والتعبير عن كميتها كرقم، وكذلك مقارنة كمية المعلومات الواردة في المعلومات مجموعات مختلفةبيانات.

في الوقت الحالي، أصبحت أساليب تعريف مفهوم "كمية المعلومات" منتشرة على نطاق واسع، استنادًا إلى حقيقة أن المعلومات الواردة في الرسالة يمكن تفسيرها بشكل فضفاض بمعنى حداثتها، أو بعبارة أخرى، ، مما يقلل من عدم اليقين بشأن معرفتنا بالكائن. تستخدم هذه الأساليب المفاهيم الرياضية الاحتمالاتو اللوغاريتم

طرق تحديد كمية المعلومات. صيغ هارتلي وشانون.

مهندس أمريكي آر هارتليفي عام 1928، تم اعتبار عملية الحصول على المعلومات بمثابة اختيار رسالة واحدة من مجموعة محدودة محددة مسبقًا من عدد N من الرسائل المحتملة بالتساوي، وتم تعريف كمية المعلومات H الموجودة في الرسالة المحددة على أنها اللوغاريتم الثنائي لـ N.

صيغة هارتلي:

لنفترض أنك بحاجة إلى تخمين رقم واحد من مجموعة أرقام من واحد إلى مائة. باستخدام صيغة هارتلي، يمكنك حساب مقدار المعلومات المطلوبة لهذا: . وبالتالي، تحتوي الرسالة المتعلقة بالرقم الذي تم تخمينه بشكل صحيح على كمية من المعلومات تساوي تقريبًا 6.644 وحدة من المعلومات.

فيما يلي أمثلة أخرى لرسائل محتملة بنفس القدر:

1. عند رمي العملة المعدنية: "لقد جاء رؤساء", "سقطت الرؤوس";

2. في صفحة الكتاب: "عدد الحروف زوجي", "عدد الحروف غريب".

دعونا نحدد الآن هل الرسائل محتملة بنفس القدر؟ "أول امرأة تغادر أبواب المبنى"و "الرجل سيكون أول من يخرج من باب المبنى". من المستحيل الإجابة على هذا السؤال بشكل لا لبس فيه. كل هذا يتوقف على أي مبنى نحن نتحدث عن. إذا كانت هذه، على سبيل المثال، محطة مترو، فإن احتمال مغادرة الباب أولاً هو نفسه بالنسبة للرجل والمرأة، وإذا كانت هذه ثكنة عسكرية، فإن هذا الاحتمال بالنسبة للرجل أعلى بكثير منه بالنسبة للمرأة .

لمشاكل من هذا النوع العالم الأمريكي كلود شانوناقترح في عام 1948 صيغة أخرى لتحديد كمية المعلومات، مع الأخذ في الاعتبار الاحتمال غير المتكافئ المحتمل للرسائل في المجموعة.

صيغة شانون: H = - (p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN)،

حيث pi هو احتمال ذلك بالضبط الرسالة الأولىتم تسليط الضوء عليه في مجموعة من رسائل N.

فمن السهل أن نرى أنه إذا كانت الاحتمالات ص 1، ...، ص نمتساويان، فكل منهما متساو 1/نوتتحول صيغة شانون إلى صيغة هارتلي.

بالإضافة إلى الطريقتين المدروستين لتحديد كمية المعلومات، هناك طرق أخرى. ومن المهم أن نتذكر أن أي نتائج نظرية لا تنطبق إلا على مجموعة معينة من الحالات، التي تحددها الافتراضات الأولية.

كوحدة معلومات، اقترح كلود شانون أن تأخذ واحدة قليل (إنجليزي. قليل - ثنائية ناري ديجي ر - رقم ثنائي).

القليل في نظرية المعلومات هو مقدار المعلومات اللازمة للتمييز بين رسالتين متساويتين في الاحتمال (مثل "الرؤوس" - "الذيول"، "الزوجية" - "الفردية"، وما إلى ذلك) تكنولوجيا الكمبيوترالبت هو أصغر "جزء" من ذاكرة الكمبيوتر مطلوب لتخزين أحد الحرفين "0" و"1" المستخدمين للتمثيل الداخلي للبيانات والأوامر.

البتة وحدة قياس صغيرة جدًا. في الممارسة العملية، يتم استخدام وحدة أكبر في كثير من الأحيان - بايت ، متساوي ثمانية بت.إنها على وجه التحديد ثماني بتات مطلوبة لتشفير أي من الأحرف الـ 256 لأبجدية لوحة مفاتيح الكمبيوتر (256 = 2 8).

كما يتم أيضًا استخدام وحدات أكبر من المعلومات المشتقة على نطاق واسع:

· 1 كيلو بايت (KB) = 1024 بايت = 210 بايت،

· 1 ميجابايت = 1024 كيلو بايت = 220 بايت،

· 1 جيجابايت (GB) = 1024 ميجابايت = 230 بايت.

في مؤخراونظرًا للزيادة في حجم المعلومات المعالجة، فقد بدأ استخدام الوحدات المشتقة مثل:

· 1 تيرابايت (TB) = 1024 جيجابايت = 240 بايت،

· 1 بيتابايت (PB) = 1024 تيرابايت = 250 بايت.

لكل وحدة من المعلومات، يمكن للمرء اختيار كمية المعلومات اللازمة للتمييز بين، على سبيل المثال، عشر رسائل محتملة متساوية. لن تكون ثنائية (بت)، بل عشرية ( ديت) وحدة المعلومات.

تفترض خاصية اكتمال المعلومات ضمنيًا أنه من الممكن قياس كمية المعلومات. ما مقدار المعلومات الموجودة في هذا الكتاب، ما مقدار المعلومات الموجودة في أغنية شعبية؟ ما يحتويه معلومات اكثر: رواية "الحرب والسلام" أم رسالة تصلك في رسالة من صديق؟ الإجابات على هذه الأسئلة ليست بسيطة ولا لبس فيها، لأن جميع المعلومات تحتوي على عنصر شخصي.
هل من الممكن حتى قياس كمية المعلومات بشكل موضوعي؟ إن أهم نتيجة لنظرية المعلومات هي الاستنتاج بأنه في ظل ظروف معينة وواسعة جدًا، من الممكن، مع إهمال السمات النوعية للمعلومات، التعبير عن كميتها بالعدد، وبالتالي مقارنة كمية المعلومات الواردة في مجموعات مختلفة من البيانات .

يتم استدعاء كمية المعلومات خاصية عدديةمعلومات تعكس درجة عدم اليقين التي تختفي بعد تلقي المعلومات.

لنأخذ مثالا: في المنزل في صباح خريفي، اقترحت السيدة العجوز أنه قد يكون هناك هطول أو لا يكون، وإذا كان هناك، فسيكون على شكل ثلج أو على شكل أمطار، أي. "قالت الجدة في كلمتين - إما أن تمطر أو لا تهطل، أو ستتساقط الثلوج." بعد ذلك، نظرت من النافذة، رأت سماء ملبدة بالغيوم ومع احتمال كبير افترضت أنه سيكون هناك هطول الأمطار، أي بعد تلقي المعلومات، خفضت عدد الخيارات للاختيار من بينها. وبعد ذلك، عندما نظرت إلى مقياس الحرارة الخارجي، رأت أن درجة الحرارة كانت سلبية، مما يعني أنه من المتوقع هطول الأمطار على شكل ثلج. وبالتالي، بعد تلقي أحدث بيانات درجة الحرارة، تلقت الجدة معلومات كاملة عن الطقس القادم
وألغيت جميع الخيارات باستثناء خيار واحد.

يوضح المثال أعلاه أن مفاهيم "المعلومات" و"عدم اليقين" و"الاختيار" ترتبط ارتباطًا وثيقًا. المعلومات الواردة تقلل من العدد الخيارات الممكنةخيار
(أي عدم اليقين)، و معلومات كاملةلا يترك أي خيارات على الإطلاق.

يتم أخذ البت الواحد كوحدة معلومات (بالإنجليزية: bit -رقم ثنائي - رقم ثنائي). هذه هي كمية المعلومات التي يكون فيها عدم اليقين، أي. يتم تقليل عدد الاختيارات بمقدار النصف، أو بمعنى آخر، هذه هي الإجابة على سؤال يتطلب حلاً أحادي المقطع - نعم أو لا.

البتة هي وحدة صغيرة جدًا من المعلومات. في الممارسة العملية، يتم استخدامها في كثير من الأحيان وحدات كبيرةعلى سبيل المثال، بايت، وهو عبارة عن سلسلة من ثمانية بتات. هذا هو السبب على وجه التحديد
تُستخدم سبع بتات، أو بايت واحد، لتشفير الحروف الأبجدية، وهي مفاتيح لوحة مفاتيح الكمبيوتر. بايت واحد هو أيضا وحدة الحد الأدنىذاكرة الكمبيوتر القابلة للتوجيه، أي يمكنك الوصول إلى الذاكرة بالبايت، وليس بالقليل.

يتم استخدام وحدات أكبر من المعلومات المشتقة على نطاق واسع:

1 كيلو بايت (KB) = 1024 بايت = 2 بايت،
1 ميجا بايت (MB) = 1024 كيلو بايت = 220 بايت،
1 جيجابايت (GB) = 1024 ميجابايت = 230 بايت،
1 تيرابايت (TB) = 1024 جيجابايت = 240 بايت.

لكل وحدة من المعلومات، يمكن للمرء اختيار كمية المعلومات اللازمة للتمييز بين، على سبيل المثال، عشر رسائل محتملة متساوية. لن تكون هذه وحدة ثنائية (بت)، بل وحدة عشرية (dit) من المعلومات. لكن هذه الوحدةنادرا ما تستخدم في تكنولوجيا الكمبيوتر، وذلك بسبب ميزات أجهزة الكمبيوتر.