تباً للتعاريف!
تباً للتعاريف! المشكلة الأساسية في التعاريف أنها تشكل حاجزاً للعقل البشري، فعندما تبدأ موضوعاً ما بتعريف، فإنك من البداية تضع قيوداً على حرية التفكير والنقد. وللأسف معظم الكتب التي ندرسها ممتلئة بهذا النوع من المشاكل. فاستخدام التعاريف يجب ألا يكون على حساب الموضوع الأساسي، وألا يعطي للقارئ الإيحاء بأنها أمر مقدس ولا يمكن نقده. ويجب أن تقتصر على الأدوات التي لا تتعلق بموضوع البحث. أما أن نبدأ نظرية المعلومات مثلاً بتعريف للإنتروبي أو أن نبدأ علم الاجتماع بتعريف للمجتمع، فهذا نوع من الانحدار الفكري الذي ينتج أفراداً مستهلكين للعلم.
لو كان الأمر بيدي، لاستبدلت جميع التعاريف بمناقشات وبراهين فلسفية أو تجريبية بحسب الموضوع، ولتركت للقارئ حرية استخدام الألفاظ التي يريدها. فالهدف هو بناء آلية تفكير نقدية قادرة على إنتاج المعرفة. لا أفراداً هم أقرب لأشرطة الكاسيت، يحفظون ويرددون ما قيل لهم.
تكميم المعلومات
عند طرح أي موضوع يجب البدء بالتساؤل أو بالمشكلة التي أدت للوصول إلى الحل الذي يتم طرحه عادةً كتعريف! وفي الواقع يمكن تكييف المشكلة أو إعادة صياغتها بعدة طرق تتناسب والشريحة المستهدفة. لن أطرح المشكلة الأساسية التي كان شانون (Shannon) يعالجها عندما توصل إلى نظرية المعلومات ونشر ورقته البحثية الشهيرة (نظرية رياضية في الإتصالات). وإنما سأكتفي بطرح الجزء الذي يؤسس للوصول إلى الإنتروبي وفهمه تماماً. للأسف، معظم الكتب تبدأ بتعريف للإنتروبي على أنه العلاقة التالية:
الواقع أن الشكل المخيف لهذه العبارة كفيل بأن يسبب عقدة نفسية للقارئ! دعك من هذه الشعوذة ولنبدأ رحلتنا بالتساؤل التالي: كيف يمكن أن نكمم المعلومة؟ مثلاً، لو اخبرتك بأن الطقس غداً سيكون ماطراً، ما هي “كمية المعلومات” التي عرفتها من هذه العبارة؟
لتوضيح الأمر لابد من إلقاء الضوء على فلسفة القياس. فعندما نقول: طول شخص هو 180 سم، فإننا نعني أننا أتفقنا على طول ثابت وسميناه السنتيمتر، وطول الشخص هنا يكافئ طول 180 قطعة من هذا الشيء الذي سميناه سنتيمتر. ونفس الأمر بالنسبة للمساحة، فعندما نقول أن مساحة دائرة هي 5 متر مربع، فإننا نعني اننا نملك مربع معين واتفقنا على تسمية هذا المربع بالمتر المربع. ومن ثم قدرنا بأن المساحة المحصورة ضمن الدائرة تكافئ مساحة 5 قطع من هذا المتر المربع.
المشكلة هنا أنه من غير الواضح ما هو الشيء الذي يمكن أن نستخدمه كوحدة لقياس كمية المعلومات. فكمية المعلومات لا تتعلق بطبيعة المعلومة بحد ذاتها. والمعلومات ليست أمراً متجانساً، فقد أخبرك عن وقوع زلزال في اليابان، وقد أخبرك عن زواج أحد أقاربي. وقد أخبرك عن يوم القيامة. وبالتالي نريد مقياس لقياس كمية المعلومات بغض النظر عن طبيعة المعلومة.
الواقع أن ما سأعرضه هنا (وهو ما اقترحه شانون) لا يعدو عن كونه أحد وجهات النظر في هذا الموضوع، ولا يمنع إطلاقاً أن يظهر في المستقبل مقياس آخر لكمية المعلومات يقيسها من وجهة نظر أخرى.
الفكرة الفلسفية التي بنى عليها شانون نظريته هي أن كمية المعلومات لا تتعلق بالعبارة بحد ذاتها، وإنما تتعلق بمتلقي المعلومة. وترتبط بكمية “المفاجأة” التي يشعر بها عندما يسمع هذه المعلومة. فمثلاً لو أخبرتك بأن الطقس غداً سيكون ماطراً وبارداً جداً، قد تستغرب جداً من ذلك إذا كنت في منتصف الصيف وتعاني من يوم حار. بينما لو أخبرتك نفس المعلومة في منتصف الشتاء، فإن ذلك لن يعني لك الكثير. فأنت “تتوقع” ذلك. إذاً كمية المعلومات تتعلق بالاحتمال. هذه هي النظرة الفلسفية التي بنى عليها شانون نظريته.
وبالتالي، لن نعتمد الطريقة التقليدية في إيجاد مقياس لكمية المعلومات. بمعنى أننا لن نبدأ بإيجاد “مقياس” أو “واحدة” لكمية المعلومات ومن ثم نقيس كمية المعلومات الواردة. وإنما سنحاول إيجاد تابع رياضي، هذا التابع يعبر عن المفاجأة التي التي نشعر بها عند وقوع حدث ما. ويجب على هذا التابع أن يحقق مجموعة من الصفات التي “نتوقعها” في تابع قياس كمية المعلومات. لاحظ أنه لا يمكننا البدء بغير ذلك لأننا لا نملك أصلاً فكرة عن هذه “الواحدة” أو كيفية قياسها.
محاولة فاشلة
سنبدأ بطرح التصور التالي، لنفرض أنه لدينا قطعة نقود، احتمال ظهور الكتابة فيها يساوي 0.75 (ثلاث أرباع)، واحتمال ظهور الشعار هو 0.25 (ربع). قمنا برمي قطعة النقود وظهرت الكتابة. وفقاً للنظرة الفلسفية السابقة، فإن كمية المعلومات التي نحصل عليها عند ظهور الكتابة أقل من كمية المعلومات عند ظهور الشعار. وذلك لأننا نتوقع أصلاً وقوع هذا الحدث. والسؤال، ماذا يمكن أن نستخدم لتكميم هذا الأمر؟ نريد تابعاً رياضياً يحقق الأمر السابق. فكر قليلاً قبل متابعة القراءة.
طرحت هذا السؤال على أحد أصدقائي، فأجابني بأنه يمكن الوصول لهذا الأمر عن طريق التابع التالي:
f(p) = 1 – p
حيث p هو احتمال وقوع الحدث. وبالفعل، هذا التابع يحقق المطلوب، فكلما كان احتمال وقوع الحدث صغيراً كلما زادت كمية المعلومات التي نحصل عليها عندما نعلم بوقوعه.
جميل، يبدو أننا وصلنا للمطلوب دون الحاجة لشانون وأمثاله. فليذهبوا جميعاً إلى الجحيم! وهنئاً لنا بتابعنا الجميل! قبل أن نسترسل أكثر مع مشاعرنا يجب علينا التأكد من أن تابعنا يحقق ما نتوقعه. ما الذي يمكن أن نتوقعه من تابع يقيس كمية المعلومات؟ لو أخبرتك بأن الطقس غداً سيكون ماطراً، فإنك ستكسب كمية من المعلومات ولتكن X1. لو أخبرتك أيضاً بأنني سأدعوك إلى العشاء هذا المساء، فإنك ستكسب عشاءاً وكمية من المعلومات تكافئ X2. السؤال الآن، ماذا كسبت بشكل كامل من هاتين العبارتين؟ الواقع أنك كسبت عشاءاً وX1 و X2. وبالتالي نتوقع أن كمية المعلومات التي كسبتها بشكل كامل تساوي
X1 + X2
فلسفياً لا يمكن أن اتخيل سبباً لأن تكون كمية المعلومات التي حصلت عليها من حدثين منفصلين ومستقلين مختلفة عن المجموع. الآن، لنفترض أن احتمالات وقوع الحدثين السابقين هي كما يلي:
p1 = 0.5 احتمال سقوط الأمطار غداً
p2 = 0.001 احتمال أن تنال عشاءً على حسابي
وبما أن هذان الحدثان مستقلان (لا علاقة لسقوط الأمطار غداً بعشاء اليوم) فاحتمال وقوعهما معاً يساوي جداءهما. وبالتالي:
p =(p1) (p2) = (0.5)(0.001) = 0.0005
الآن، بما أنني أخبرتك بأن الأمطار ستسقط غداً (احتمالياً، الحدث قد وقع)، فإن كمية المعلومات التي حصلت عليها من هذا الخبر تساوي:
h1 = f(p1) = 1 – 0.5 = 0.5
وكمية المعلومات التي حصلت عليها عندما أخبرتك بأنني سأدعوك إلى العشاء (احتمالياً، الحدث قد وقع)، فإن كمية المعلومات تساوي
h2 = f(p2) = 1 – 0.001 = 0.999
ويفترض أن تكون كمية المعلومات التي حصلت عليها بشكل كامل تساوي:
h = h1 + h2 = 0.5 + 0.999 = 1.499
الآن، يمكن أن نحسب كمية المعلومات بطريقة أخرى، فوقوع هذان الحدثان مع بعضهما أعطاك كمية المعلومات بالشكل التالي:
h’ = f(p) = 1 – 0.0005 = 0.9995
وهنا تكمن المشكلة، لاحظ أن h لا يساوي ‘h بالرغم من أنهما نظرياً يعبران عن نفس كمية المعلومات. واحدة عن طريق حساب كمية المعلومات الناتجة عن كل حدث على حدة. والثانية عن طريق كمية المعلومات الناتجة عن وقوع الحدثين مع بعضهما (الأمر الذي حصل على أمر الواقع).
المشكلة ظهرت لأننا نريد تابعاً يحول كمية المعلومات الناتجة عن جداء احتمالين (بمعنى وقوع حدثين مستقلين) إلى مجموع كميات المعلومات الناتجة عن كل حدث على حدى.
تابع كمية المعلومات (Information Content)
من الواضح أن أول تابع يمكن استخدامه لتحوي مجموع إلى جداء هو تابع اللوغاريتم. ولكن هل يعكس تابع اللوغاريتم فكرة كمية المعلومات كما ناقشناها سابقاً؟ نعم لحسن الحظ. فهو يحقق ما يلي:
log ( 1 ) = 0
log (0) = – لانهاية
وبالتالي يمكن استخدام هذا التابع كمقياس لكمية المعلومات إذا ضربناه ب (-1) حيث يعطي صفراً عندما لا يحوي الحدث أي مفاجأة (نعلم أنه سيقع قطعاً) وتزداد قيمة كمية المعلومات كلما انخفض احتمال وقوع الحدث أي كلما زادت المفاجأة. وبالتالي التابع هو:
i(p) = – log(p)
طبعاً لازالت هنالك مشكلة تحديد أساس اللوغاريتم، سنناقش ذلك لاحقاً عندما نتحدث عن الواحدة التي يجب استخدامها لكمية المعلومات.
لنرى كيف يتصرف هذا التابع في المثال السابق، سنستخدم مؤقتا اللوغاريتم الطبيعي:
h1 = i(p1) = – ln(0.5) = 0.693
h2 = i(p2) = -ln(0.001) = 6.9
h = h1 + h2 = 0.693 + 6.9 = 7.593
h’ = i(p) = -ln(p1.p2) = -ln(p1) – ln(p2) = h1 + h2 = h
إذاً هذا التابع لا يعاني من المشكلة السابقة.
الإنتروبي (Entropy)
لنراجع ما توصلنا إليه حتى الآن. اتفقنا على أن نستخدم “المفاجأة” كمقياس لكمية المعلومات. ولاحظنا الفرق في فلسفة تعريف عملية القياس بين الأطوال والمساحات من جهة وبين كمية المعلومات من جهة أخرى. إذ لا نملك هنا طريقة بديهية لتعريف واحدة والمقارنة معها. وبالتالي سلكنا الطريق الآخر الذي يتطلب إيجاد تابع يحقق الصفات التي نتوقعها من مقياس المعلومات. وتوصلنا إلى تابع يمكن أن يكون مقياساً لكمية المعلومات التي نأخذها عند وقوع حدث ما.
لا نتعامل عادةً مع حدث معين. وإنما نتعامل مع مجموعة من الأحداث التي يمكن أن يقع أحدها. فمثلاً عند رمي قطعة نقود، نحن أمام حدثين: إما ظهور الكتابة أو ظهور الشعار. وعندما نرمي حجر نرد، فنحن أمام 6 أحداث. في هذه الحالة يمكن الحديث عن كمية المعلومات التي نحصل عليها من تجربة، وليس من حدث. (هذا الكلام عبارة عن تبسيط لفكرة المتحول العشوائي) فالتجربة ستؤدي إلى وقوع واحد من مجموعة أحداث، وكل حدث يعطي كمية معلومات معينة. وبالتالي يمكن أن نحسب متوسط كمية المعلومات التي نحصل عليها من هذه التجربة (المتوسط يعبر عن التوقع بلغة المتحول العشوائي). يدعى هذا المقدار (الإنتروبي).
فمثلاً في تجربة رمي قطعة نقود عادية. احتمال ظهور الكتابة يساوي احتمال ظهور الشعار. وبالتالي (سنستخدم اللوغاريتم ذي الأساس 2):
p1 = 0.5, h1 = i(p1) = – log 0.5 = 1
p2 = 0.5, h2 = i(p2) = -log 0.5 = 1
وبالتالي متوسط كمية المعلومات أو الإنتروبي هو:
H =( p1) (i1) + (p2)( i2) = 0.5(1) + 0.5(1) = 1
وبشكل عام، يمكن حساب متوسط كمية المعلومات بالعلاقة:
من صفات هذا التابع أن قيمته تكون أكبر ما يمكن عندما تكون الاحتمالات متساوية. وهذا أحد الأمور التي نتوقعها من تابع لقياس كمية المعلومات. فعند غياب أي معلومة عن التجربة، يكون لجميع النتائج نفس احتمال الظهور. وعندما نبدأ بالحصول على بعض المعلومات، يتغير توزع الاحتمالات وتنقص كمية المعلومات المستخرجة من التجربة.
اقترح شانون واحدة البت (Bits) إذا استخدمنا اللوغاريتم بالنسبة للأساس 2. الواقع أن البت المقصود هنا يختلف عن البت الفيزيائي. فالبت فيزيائياً هو أي نظام يستطيع أن يكون بإحدى حالتين. فقطعة النقود مثلاً تمثل بت. أما البت المستخدم في الإنتروبي، فيعبر عن كمية المفاجأة الموجودة في بت. فهي لا تعني البت الفيزيائي وإنما تعني كمية المعلومات التي نحصل عليها من بت. ففي مثال قطعة النقود السابق. كان احتمال الكتابة يساوي احتمال الشعار. وهذه الحالة تعبر عن الجهل التام بالوضع. في هذه الحالة بالذات نلاحظ أن تابع الإنتروبي يعطي القيمة 1 إذا استخدمنا اللوغاريتم ذي الأساس 2. وهي تعني أن كمية المفاجأة في هذا البت كاملة. فنحن نكسب بتاً كاملاً من المعلومات عند معرفة نتيجة هذه التجربة.
هذا هو سبب تسمية واحدة الإنتروبي بالبت إذا استخدمنا اللوغاريتم ذي الأساس 2. فهو يعطي القيمة 1 عندما يكون الدخل بت ولا نملك عنه أي معلومة.
يمكن ملاحظة أن الحالة هنا تشابه الحالة في بقية المقاييس (كالطول والمساحة). إذ يمكن ضرب الإنتروبي برقم لتحويل الواحدة. فمثلاً لو استخدمنا اللوغاريتم ذي الأساس 8، وادخلنا تجربة مكونة من 8 أحداث ولكل حدث نفس الاحتمال (حالة جهل تام بالتجربة). نلاحظ أن نتيجة الإنتروبي تساوي 1. ولو حسبناها باللوغاريتم ذي الأساس 2 لوجدنا أنها تساوي 3. وهذا الأمر منطقي تماماً. فالتجربة المكونة من 8 أحداث بنفس الاحتمال تحتاج إلى 3 بتات فيزيائية لترميزها. فإذا ماكانت احتمالات كل بت من البتات الثلاثة (0.5 – 0.5) أي حالة جهل تام فإن كمية المعلومات تساوي 3. وعملية تحويل لوغاريتم من أساس معين إلى أساس آخر عبارة عن ضرب برقم ثابت. فلتحويل اللوغاريتم من الأساس 8 إلى الأساس 2 يكفي أن نضرب بالرقم 3.
وبالتالي عندما نحسب كمية المعلومات في تجربة معينة (باستخدام لوغاريتم ذي أساس 2) ونجد أنها 3.4 مثلاً. فإننا نعلم أن كمية المعلومات المستخرجة من هذه التجربة تكافئ كمية المعلومات المستخرجة من 4 بتات، ثلاث منها بحالة جهل تام (0.5 – 0.5) والرابع بتوزيع احتمالي يعطي كمية معلومات تساوي 0.4.
وفي الختام أود أن أشير إلى أنه توجد العديد من التفسيرات للإنتروبي، فالإنتروبي يعبر عن متوسط طول أصغر ترميز لنتائج التجربة. هذا التفسير ليس من أصل الإنتروبي وإنما عبارة عن نظرية برهنها شانون في ورقته البحثية.
أتمنى أن تكون كمية المعلومات التي حصلتم عليها من هذه التدوينة أكبر من 0 بت!
مدونة عوالم علمية 
قصي غازي said,
جويلية 19, 2011 في 12:32 م
أرى أن هنالك مشكلة في اعتماد التابع اللوغاريتمي، لأن التابع اللوغاريتمي الذي يقوم شانون باستعماله، ليس تابعا خطيا ضمن المجال [0 1] ، أي
log( 0.25 ) = -0.3 but log( 0.125 ) = -0.9
على الرغم من أن
0.25 = 2* 0.125 but log( 0.25 ) = 2*log( 0.125 ) is wrong
بالتالي فلدينا حدثين احتمال الأول هو ضعف احتمال الثاني، ولكن وكما تظهر الحسابات السابقة فإن الدهشة التي يولدها الأول أكثر من ضعف الدهشة التي يولدها الثاني، وبالتالي أصبح الإنسان يدهش بشكل لوغاريتمي ( الجملة مضحكة ولكنها صحيحة ) ، في حين أن المنطق يقول بأن الإنسان يجب أن يدهش بشكل خطي على ماأظن. فكيف ترى القضية أنت ياعبد الرحمن؟ أرجو ألا نتعمق إلى فلسفة الدهشة لدى الإنسان ( عم امزح معك ههههه
قصي غازي said,
جويلية 19, 2011 في 12:58 م
نقطة أخرى سيد عبد الرحمن، فيم يتعلق بالحملة الشعواء التي تشنها على التعاريف كما يظهر بشكل واضح في بداية مقالتك هذه.
أولا: أرى أن الحل هو في ليس في مسح التعارف عن وجه الأرض، أبدا. بل الحل بأن نخرج بتعاريف شاملة، وأظن أصلا أن البراعة كل البراعة هي بوضع التعريف. ولعل القدرة على تعريف شيء يشكل مقياسا لدرجة فهمنا لهذا الشيء وإحاطتنا بجميع معانيه. أما إن كنت من أصحاب النظرة التي تقول بأن التعريف مهما كان قويا فهو لا يعدو كونه وضع حواجز وحدود للمفاهيم، فهذا يعني بأنك تقول وبشكل غير مباشر بأنه لايوجد شيء يمكن للإنسان أن يعرفه بشكل واضح، بل كل ما بإمكاننا هو أن نقول ببعض المعاني التي يحملها الأمر المدروس أما القيام بعملية تعريفه فهي محاولة لن تنجح من قبل العقل البشري. وفي حال كنت تخشى من التعاريف خوفا على عقول الناس من أن يتحجروا في سجن هذا التعريف، فالحل يكمن في التنبيه عن الوقوع في خطيئة كهذه و الإشارة بأن التعريف لايحتكر المعنى، بل يحاول توضيحه ليس إلا.
ثانيا: أظن أن استعمال الرياضيات كلغة للتعريف هو أمر يمنع الوقوع في هذه المشكلة، أي احتكار المعنى. وأظن أن قوة الرياضيات تنبع من خلال قدرتها على إظهار الشيء المدروس دون تحديد معناه، ولربما هذا ما أدى إلى ظهور المخبولين (للمزاح فقط ) الذين يقولون بوجود الكون الموازي. وعلى الرغم من استغرابي من وجود هؤولاء، فإنني أرى أن الرياضيات أداة مرضية للجميع، أما اللغة المحكية ففيها كثير من القصور – على ما أظن – فهي لاتصلح لاستخدامها من أجل كتابة التعريفات.
ثالثا: إي شو بدك تلغي التعريف من وش الأرض، يالطيف…. تواضع شوي يا أخي. يعني هلأ علماء الرياضيات ماعاد يعبو عينك، مو حرام عليك أنشتين بقبرو بيكون عم يبكي على معادلة الطاقة تبعو
e = m*c*c
رابعا: بالنسبة لموضوع الخوف على النظرة النقدية من التشوه لدى الشخص الذي يقرأ التعريف أقول: الهدف من وجود النظرة النقدية لدى الباحث هو إيجاد آلية لديه لتحقيق العلم والتأكد منه قبل تبنيه واعتقاده، وبالتالي الفكر النقدي لايعدو كونه حارسا على باب العقل يمنع دخول معلومة مغلوطة لمجرد أن فلان قال بها أو أن الأجيال توارثتها. ولكن المشكلة عندما يتحول هذا الحارس إلى حاجز يمنع دخول المعلومات، ويشك بطريقة وسواسية (آسف على التعبير فلم أجد غيره ) بكل شيء، عندها سيترك الهدف الرئيسي الذي وضع من أجله ويصبح شكاكا. أعلم أنك ستقول لي: حسنا أنا شكاك وليس لك علي شيء، ولكننني سأسألك عندها: أليس المذهب النقدي ذاته وجد لهدف معين؟ أليس لنا أن نوقفه عند الهدف الذي وجد من أجله؟؟.
آآآآآآآآسف على الإطالة.
عبد الرحمن said,
جويلية 19, 2011 في 1:00 م
اعتراض ممتاز! أدهشتني بهذا الاعتراض! 🙂
المشكلة في هذه المحاكمة أنك افترضت أن العلاقة بين المفاجأة والاحتمال خطية. وهذا غير صحيح. المفاجأة تتعلق بالاحتمال ولكنها قطعاً ليست خطية!
وملاحظتك فعلاً ممتازة جداً. الإنسان يدهش بشكل لوغاريتمي. وذلك بسبب نظرية الاحتمالات. ولكن هل بإمكانك أن تخمن السبب؟
لدي دليلان على ذلك.
الأول أنه عندما قمنا بحساب احتمال وقوع حدثين مستقلين، قمنا بضرب الاحتمالات ببعضها! بالرغم من أننا اتفقنا على أن المفاجأة المتولدة عنهما هي مجموع المفاجأتين، وبالتالي السؤال الصحيح يتعلق بالاحتمالات وليس بكمية المعلومات، لماذا نقوم بضرب احتمالات الأحداث المستقلة بدلاً من جمعها؟
الثاني أن كمية الدهشة تزداد بشكل غير خطي مع انخفاض الاحتمال. فلو اخبرتك بأن احتمال وقوع حدث هو 1، فلن تتفاجأ أبداً بوقوعه. ولو اخبرتك بأن احتمال وقوعه هو 0.5، ستتفاجئ بحد معين. بينما لو اخبرتك بأن الحدث الذي وقع احتماله 0! ألن تفقد عقلك من ذلك؟ وستسألني من هول المفاجأة: كيف يمكن لحدث احتماله 0 أن يقع؟ ولن تصدق ذلك وستعتقد بأنه يوجد خطأ معين! هل تعتقد أن كمية المفاجأة التي زادت عندما انتقلنا من 1 إلى 0.5 هي نفسها كمية المفاجأة عندما انتقلنا من 0.5 إلى 0؟
هل تعتقد أن مقدار تغير تفاجؤ الذي أصابك عندما وضعت قطعة نقود على الطاولة وأنت تعلم يقيناً أن وجهها العلوي كتابة، وبين رميها بشكل عشوائي وظهور الكتابة. هل تعتقد أن مقدار التغير هذا يكافئ الفرق بين رمي الليرة على الطاولة، وبين ظهوري الآن بشكل مفاجئ وعجيب في منزلك وأمام طاولة عشائك مثلاً؟ اعتقد أنه سينعقد لسانك في الحالة الثانية وستقوم الدنيا ولن تقعد!
قصي غازي said,
جويلية 19, 2011 في 1:19 م
طيب… يعني ماصار إلا وفتت بفلسفة الدهشة لدى الإنسان.
على كل حال، الدليل الثاني مقنع نفسيا، يعني أقصد أنه لو وجدتك اليوم على مائدة العشاء عندي في المنزل فسأصاب بالجنون حتما ( مو مشان شي يعني، بس لأنو احتمال وقوع هالحدث يساوي صفر). وبعترف أني اقتنعت.
ولكن بالنسبة لموضوع ضرب الاحتمالات، ففكرة الضرب بتحمل معنى تكرار الشيء الأول بعدد مرات يحدده الشيء الثاني، في حين الجمع يعني إضافة مقدارين إلى بعضهما. وضمن فكرة الاحتملات عندما نقول ماهو احتمال وقوع أمرين سويا، عندها سيؤثر احتمال وقوع الشيء الأول على وقوع الشيء الثاني ويؤثر فيه بشكل يتناسب مع احتمالات وقوعه هو بالذات. وكأنني أقول بأن هنالك مساحة من التقاطع يجب توفرها لوقوع الحدثين سويا.
حسنا هذا ليس برهانا جيدا، أعلم، فأنا أعتقد دائما أن في مثل هذه المواقف يكون البرهان الرياضي هو سيد البراهين، ولكنه – على ما أظن يظهر شيئا من عدم صلاحية استخدام الجمع لمثل هذه المسألة.
عبد الرحمن said,
جويلية 19, 2011 في 1:24 م
أنا لم أرد الدخول في برهان احتمال وقوع حدثين معاً
ما أردت قوله هو أنك تقول:
كمية المعلومات الكلية تساوي مجموع الكميات
الاحتمال الكلي هو جداء الاحتمالات
ثم تعترض على استخدام اللوغاريتم للإنتقال من الثاني للأول!
قصي غازي said,
جويلية 19, 2011 في 1:03 م
وبالنسبة لموضوع المذهب النقدي: والذي قال فيه الغزالي رحمه الله: الشك أول مراتب اليقين، ألا ترى معي أن الشك ليس سوى حالة أولية تتشكل عند النظر إلى أحد المواضيع، ومن ثم لابد من تكوين يقين ما حول هذا الموضع؟، إذن إن الشك مجرد أداة وليس هدفا.
أنا لا أتهمك بشيء، فقط أريد أن أعرف وجهة نظرك في هذا ( وشكرا على صبرك لقراءة كل هذا الكم من الكتابة، صدقني إنه إنجاز هههههه
عبد الرحمن said,
جويلية 19, 2011 في 1:21 م
أخي قصي حارس التعاريف!
1- تعتمد الية طرح العلوم وتدريسها على الهدف المطلوب تحقيقه. فإن كان المطلوب هو إيجاد أناس قادرة على استهلاك العلم، فالتعاريف هي الحل الأمثل. أما إن كان المطلوب هو إيجاد الكوادر القادرة على إنتاج المعرفة، فالقضية مختلفة تماماً. العرض الذي عرضته في هذه المدونة عن الإنتروبي يعتمد الطريقة النقدية، وقد آتت أكلها عندما رأيت اعتراضك على استخدام تابع اللوغاريتم. ولا اعتقد أنك كنت تستطيع القيام بذلك لو بدأت معك بتعريف الإنتروبي على أنه التابع الفلاني ودرسنا خصائصه.
2- الرياضيات علم استنتاجي وليس استقرائي، وهي تضمن رصانة التعريف. والمشكلة ليست في كتابة التعريف. المشكلة أنه من قال أن هذا هو التعريف الأمثل؟ وكيف توصلنا لهذا التعريف؟ أليس من الأفضل أن نعلم الناس آلية الوصول للتعاريف ونزودهم بالأدوات الفلسفية اللازمة لذلك؟ فتعريفي للقضية معينة مباشرة يحرمك من الدراسة الفلسفية البحثية التي تسبق هذا التعريف.
3- قانون أينشتاين هو استنتاج وليس تعريف. ومن الخطأ تماماً اعتبار هذا القانون تعريفاً. وهذه هي إحدى المشاكل الموجودة في نظامنا التعليمي. نقدم تحويل فورييه على أنه تعريف وهو على أرض الواقع استنتاجات رياضية ولها براهينها. وتختلف قطعاً عن تعريف الإنتروبي الذي لا استنتاج له. وبما أنك ذكرت ذلك، فأود أن أشير إلى أنني اعني بالتعريف القضية التي لا يمكن استنتاجها بشكل مباشر. مثل تابع الإنتروبي، إذ لا توجد معادلة حللناها وتوصلنا إلى الإنتروبي. أما القوانين التي لها استنتاج، فيجب “تحريم” تقديمها كتعريف!
4- اختلف معك في تعريف اليقين، هنالك يقين استقرائي ويقين استنتاجي، اليقين الاستقرائي وإن كان يقيناً فهو لا يرقى لمستوى اليقين الاستنتاجي الموجود في الرياضيات فقط. القضية فلسفية يطول شرحها. على الباحث أن يبقى نقدياً ولكن ذلك لا يعني الدخول في عقدة الشك الدائم المرضية.
محمد said,
جويلية 20, 2011 في 2:25 م
استمتعت فعلاً وأنا أقرأ هذه التدوينة والتعليقات. ولطالما أزعجني أسلوب حفظ التعاريف والعلاقات الرياضية دون فهم أو تفكير كما يفعل كثير من الطلاب نتيجة لأسلوب تعليمنا التلقيني وكأننا نحفظ درساً في القومية أو خطاباً رئاسياً.
وكنت أجد الحل في السؤال عن طبيعة المشكلة التي نريد إيجاد حل لها ومن ثم محاولة استنتاج الحل المناسب أو فهم الطريق التي أوصلتنا إلى الحل الذي بين أيدينا.
شكراً لك صديقي..
عبد الرحمن said,
جويلية 20, 2011 في 2:33 م
الشكر لك أخي محمد على هذا التعليق الجميل.
خالد الحوراني said,
جويلية 21, 2011 في 12:15 م
عشاءاً -> عشاءً 🙂
عبد الرحمن said,
جويلية 21, 2011 في 1:23 م
يا عيني عليك يا ابو الخل
لم اكن اعلم بأن هنالك استثناء لهذه القاعدة
الاحتمالات: فلسفة ومبادئ « مدونة عوالم علمية said,
جويلية 23, 2011 في 7:10 م
[…] كتابتي للتدوينة السابقة (مدخل غير مزيف لفهم الإنتروبي) أصبت بتأنيب الضمير مع حالة من صراع الذات! لم يطاوعني […]
salam said,
أوت 27, 2011 في 4:57 م
ارجو قبولي ضيفا بينكم
احيي الجميع وحيييك يا عبد الرحمن
فالمدونة جميلة ومفيدة حقا
ساسبب لك صداع عن التعريفات التي اعترضت عليها ، اعتراضك كان معقولا ونقدك للطريقة الببغائية في العلم دقيق .
انا لست متبحرا في المعلوماتية ، ولكنني وجدت نفسي اخيرا في وسط دراسة تقنية المعلومات .
تفاجأت بان كلمة information وبالعربي (المعلوماتية ) قد استخدمت في عدة مجالات بحيث لم اعد اعرف معناها .
فهناك نظرية المعلومات لشانون ( او نظرية الاتصالات) ،
وهناك تقنية المعلومات
ونظم المعلومات
و علم المعلومات .
شانون اسماها نظرية رياضية للاتصالات ، ثم صارت نظرية المعلومات ، وهي تخص المعلومات التي تخزن او ترسل ، شاملة المعلومات من وجهة نظر الاتصالات ( الراديو والتلفزيون والهاتف واخيرا الانترنيت ).
تقنية المعلومات تهتم باستخدام التكنولوجيا ( بالاعتماد على الحوسبة بشكل رئيسي ) للتعامل مع المعلومات .
نظم المعلومات ، لا اعرف حدودها بالظبط ولكنها استخدمت كلمة (نظام) المعلومات و( النظام ) له دلالة البنية المتكاملة للمعلومات لاداء وظيفة معينة وهي ايظا تعتمد على الحوسبة بشكل رئيسي .
علم المعلومات ربما له علاقة بالمكتبات والارشفة وكيفية تنسيقها لاسترجاع المعلومات المطلوبة لحاجة ما. هنا استخدمت كلمة ( علم ) وهي لها دلالة النهج العلمي لتحليل المعلومات
اعتقد المجالات الثلاثة اعلاه ظهرت مع ظهور الحاسوب مستفيدة من قدراته الفائقة في التعامل مع المعلومات.
لكني برغم ما ذكرته اشعر اني مشوش بخصوص هذه المجالات العلمية ، وربما مشوش اكثر في المجال الذي ادرسه ( تقنية المعلومات ) ، فهل نستطيع ان نعتبر كل تطبيقات الكومبيوتر تقع ضمن تقنية المعلومات ، هذا غير صحيح اكيد لانه يوجد تطبيقات للكومبيوتر في مجالات اخرى غير المعلومات ( مثل علم السيطرة والتحكم او الاتمتة مثل المصاعد والريموت كونترول والسيطرة الاوتوماتيكية الصناعية وفي الاجهزة المنزلية ) ، ثم ان المعلومات تختلف من مجال الى مجال ، فهناك معلومات النظم الادارية ومعلومات الاشارة الراديوية ومعلومات الصورة التي يعالجها الفوتوشوب ومعلومات الصورة التي يعالجها جهاز السونر الطبي وتصوير الرنين المغناطيسي و السي تي سكان . فهل كلها لها نفس الدلالة ؟ ، لا اعتقد انها متطابقة الدلالة .
اشعر ان هذه المصطلحات تحتاج الى مراجعة وربما الى تعديل
ثم ان تقنية المعلومات ( لا هي هندسة المعلومات فنحسبها على الدراسات الهندسية ولا هي علم المعلومات فنحسبها على الدراسات النظرية للمعلومات )
مثلا علم الهندسة الكهربائية يهتم بعلوم تصميم المنتجات الكهربائية
علم التكنولوجيا الكهربائية يخص الدراسات التطبيقية ( اقل نظري واكثر عملي من الهندسة الكهربائية )
كلمة الهندسة مرتبطة بالتصميم والتقنية ( التكنولوجيا ) مرتبطة بالتطبيق العملي .
هناك مسميات اخرى لكنها واضحة الدلالة مثل :
علم الحاسوب: يدرس الجانب النظري في معمارية الحاسب والبرمجيات شاملا الهاردوير والسوفت وير على اعتبارهما كلا واحدا مترابطا لاداء وظيفة الحوسبة
هندسة البرمجيات: يدرس المنهجيات الهندسية الضرورية لانتاج برمجيات كفوءة واقتصادية
هندسة الكومبيوتر: وهو فرع من الهندسة الكهربائية يدرس تصميم الكيان الصلب (الهارد وير ) للحاسوب
فهل للمعلومات تعريف واحد محدد ام هناك خطأ في المسميات نتج عن تشابه الاسماء ( بسبب استخدام كلمة معلومات في اكثر من محل ولاكثر من معنى ) ؟
وهل تقنية المعومات تسمية صحيحة ولها دلالة محددة وواضحة ؟
عبد الرحمن said,
أوت 30, 2011 في 1:41 م
أخي الكريم.
مرحباً بك أخاً وصديقاً في هذه المدونة المتواضعة.
جميع التعريفات التي طرحتها أنت لاتعدو عن كونها تعريفات بشرية هدفها رسم حدود فاصلة بين مجموعة من المفاهيم، وبالتالي هي ليست أمراً مقدساً حتى نحفظه أو نتقيد به. وفي هذه التدوينة لا تكمن الأهمية في كلمة الإنتروبي بحد ذاتها أو في علاقتها مع مدلولها، الأهمية تكمن في المفهوم نفسه.
وقد تأثرت شخصياً في هذا الجانب بموقف ريتشارد فاينمان (فيزيائي مشهور حائز على جائزة نوبل) الذي لم يكن يهتم إطلاقاً للمسميات، وكان يركز دوماً على المفاهيم. فالهدف الوحيد للتسمية هو التواصل مع الناس لا أكثر.
قد نختلف في تعريف هندسة البرمجيات أو تقنية المعلومات أو نظم المعلومات، خصوصاً وأن وضع هذه المصطلحات يتم بشكل متفرق وليس تحت إشراف جهة واحدة. وأحياناً يكون الأمر ترجمةً لمصطلح غربي. والمصطلحات الأوروبية تختلف عن المصطلحات الأمريكية. وليس هذا بالأمر المهم.
المهم أن يتقن المرء المفاهيم لا المسميات. فالعلم بمضمونه لا بشعاره. وسمه بعد ذلك ماشئت.
دمت بخير.
كتاب نظرية المعلومات said,
أكتوبر 19, 2011 في 12:55 م
معلومات ممتازة ارجو منك كتاب حول الموضوع
عبد الرحمن said,
أكتوبر 19, 2011 في 2:34 م
هنالك العديد من الكتب التي تتحدث عن نظرية المعلومات.
صراحة لم أجد كتاباً يناقشها بالشكل الذي أرغبه. الأفكار التي طرحتها هنا هي نظرتي الشخصية للموضوع.
على أي حال يمكنك أن تطلع على كتاب
Elements of Information Theory
By Thomas M. Cover
وهنالك ورقة بحثية جميلة:
On the foundations of information theory
by A.Renyi
Abdullah Alaraimi said,
فيفري 27, 2012 في 10:53 م
معلومات في غاية الأهمية تشكر عليها …
حسين عبد العزيز عبده الحسانين said,
مارس 14, 2012 في 8:21 ص
أخى / عبد الرحمن ..
حقيقة بكيت .. وبكائى من أحساسى وأنت تكتب فى نظرية الأحتمالات .. أنك فعلا أنسان لا تحب أن تكون كالببغاء !! وما أكثر الببغاوات فى عالمنا العربى والأسلامى !! .. حقيقى شاكر لجهدكم الجهيد فى تبسيط النظرية وعمل مدخل كى يكون هذا العلم السامى !! فى متناول اليد … وكم أرجو أن تحاول الأهتمام بهذا الموضوع مرة ومرات ومرات .. وأنت أعلم منى اخى الفاضل بمدى الأهمية لهذه النظرية ودورها فى تقدم العلوم .. أرجو المزيد والمزيد والمزيد من التبسيط فى نظرية الأحتمالات … بارك الله فيك وجعل ما تقدمه من نور وتنوير فى ميزان حسناتك إن شاء الله …
حسين عبد العزيز عبده الحسانين said,
مارس 14, 2012 في 8:25 ص
أخى الفاضل نسيت أسأل حضرتك ولما لم تكتب كتابا فى النظرية ؟.. وبهذا الفهم العالى والتبسيط غير المخل .. وسيكون بجد مدخل مفيد للغاية ..
عبد الرحمن said,
مارس 14, 2012 في 1:26 م
شكراً جزيلاً لك أخي الكريم على هذه الكلمات الطيبة. اسأل الله أن يعيننا على نشر العلم ونفع الأمة.
بالنسبة لفكرة تأليف الكتاب، فهي في بالي منذ فترة. وإن شاء الله سأحاول البدء فيها حالما يتوفر لدي بعض الوقت.
دمت بخير
anonymous said,
نوفمبر 3, 2012 في 7:12 م
thank u very much for this beautiful post that i will use in my teaching for this course…but i disagree regarding the point that there is a difference between the “bit” that measures the entropy and the bit that is used to quantize computer memory and registers….according to the last definition us metioned the bit that measures the entropy is also the quanitization of the optimal code…it describes “how much memory” we need on the average to store the outcome of a Random Variable.
Abdulrahman said,
نوفمبر 5, 2012 في 4:44 ص
شكراً لك على هذا التعليق.
بدايةً سأقوم ببعض التوضيح، فالإنتروبي -في أحد تطبيقاته- يعبر عن “نهاية” (Limit) الطول الأمثلي الوسطي لترميز قيم المتحول العشوائي عندما نشكل منها رسائل يسعى طولها إلى اللانهاية.
بعبارة أخرى، إذا كررنا عملية التعيين (Sampling) من هذا المتحول العشوائي، وقمنا بتشكيل سلاسل من هذه العينات عن طريق وضع كل عينة بجانب أختها، وأردنا ترميز هذه السلاسل باستخدام الترميز ثنائي (0,1)، ماهو الطول الوسطي الأمثلي لترميز قيم المتحول العشوائي عندما يسعى طول الرسائل إلى اللانهاية؟ هذه هي المسألة التي حلها شانون في ورقته الشهيرة. والإنتروبي كما عرفه شانون يجيب عن هذا السؤال.
وبالتالي لا يمكن إعطاء الإنتروبي معنى معين قبل برهان هذه النظرية. أما هنا فقد انطلقنا من وجهة نظر مختلفة، إذ وضعنا مجموعة من المسلمات التي يمكن استخدامها كمقياس لكمية المعلومات، وحصلنا على علاقة تعطي رقماً يكمم المعلومات، والسؤال، ماهي واحدة هذا الرقم اعتماداً على هذه المسلمات فقط؟
يمكن دراسة نظرية المعلومات بطريقتين متكاملتين: الأولى مسلماتية تعتمد على دراسة الإنتروبي كمفهوم فلسفي. والثانية تطبيقية تظهر أهمية المسلمات التي انطلقنا منها في الوصول إلى التطبيقات.
دمت بخير
Ayoub El Herichi said,
ديسمبر 23, 2012 في 5:06 م
جزاك الله خيرا أخي الكريم
والله قد استفدت كثيرا من هذا الموضوع وأعجبتني كثيرا الطريقة التي استعملتها لشرح الموضوع
dhafer said,
فيفري 22, 2013 في 6:58 م
بارك الله فيك اخي عبد الرحمن…….وسؤالي الا يوجد كتاب باللغة العربيه يشرح نظرية المعلومات …..وبارك الله فيك مرة اخرى
Abdulrahman said,
فيفري 23, 2013 في 9:41 م
شكراً أخي لمرورك.
للأسف ليس لدي إطلاع على مصادر عربية حول نظرية المعلومات.
dr reyad daher said,
فيفري 13, 2015 في 2:27 م
كتاب باللغة الغربية : مدخل الى نظرية المعلومات – اصدار جامعة تشرين – اللاذقية – سورية – تاليف الدكتور رياض ضاهر
dhafer said,
فيفري 28, 2013 في 2:56 م
اخي عبد الرحمن ……لدي سؤال بارك الله فيك ……اريد عمل بحث عن اخفاء المعلومات في الصور الرقميه …. فهل من ترابط بين علم الاخفاء ونظرية المعلومات؟ …….
وبارك الله فيك
عربي جيتول said,
جويلية 4, 2013 في 8:20 ص
لم أكن أتصور أن لنظرية شانون و غيرها باللغة العربية البسيطة و القريبة من القلب هذا الطعم
reyad daher said,
نوفمبر 19, 2013 في 8:39 م
كتاب مدخل الى نظرية ارسال
المعلومات – جامعة تشرين – سورية .تأليف الدكتور رياض ضاهر
Paul Dirac said,
مارس 27, 2015 في 8:34 ص
come on
Princezná Murat said,
مارس 7, 2014 في 7:10 م
شكرا لك على هدا العمل رائع والله ولكن هل لديك فكرة كيف قام شانون بحساب سعة قناة الاتصال ؟؟؟
وكيف ان الرياضيات تدخل في وسائل الاتصال ؟؟؟؟
sura said,
نوفمبر 15, 2014 في 8:21 ص
بوركت وزادك الله رفعة وعلما
وخير الناس من نفع الناس
Paul Dirac said,
مارس 27, 2015 في 8:28 ص
“الواقع أن الشكل المخيف لهذه العبارة كفيل بأن يسبب عقدة نفسية للقارئ!” والله لكأنك قرأت ما فى نفسى وشخصته تشخيصا دقيقا.
Paul Dirac said,
مارس 27, 2015 في 8:41 ص
هل يمكن وضع هذا الكلام وتعليقاته على الويكى العربى ؟
mona omer said,
فيفري 5, 2016 في 2:46 م
حقيقه اسمتعت وطربت لهذه المعلومات الرائعه وكنت اتمني ان التقي باناس بمثل هذا الثقافه والوعي وربنا يحفظكم جميعا واقبلوني صديقه لكم
MEdhat said,
فيفري 7, 2016 في 11:53 ص
درست هذا الأمر وأنا طالب كيمياء ثم وأنا طالب رياضيات ثم وأنا باحث فى علوم الحاسب وأحسب أنى لم أفهمه إلا بعد قراءة مدونتك.
جزاك الله عنا خير الجزاء
تحياتى
Akram said,
مارس 26, 2016 في 10:44 م
للحقيقة عدة طرق و حظرتك طرحة الطريقة الاقصر..
باركة الله فيك استادي الفاضل-عبدالحمن
زكرياء said,
ماي 4, 2016 في 12:04 ص
شكرا جزيلا عبد الرحمان .. طرح سهل وشرح سلس لهدا الموضوع .. دمت بود صديقي .. وكل عام وأنت الى الحقائق أقرب