خوارزميات حساب التباين (Algorithms for Calculating Variance)

مقدمة

تلعب خوارزميات حساب التباين دورًا رئيسيًا في الإحصاءات الحاسوبية. وتكمن الصعوبة الرئيسية في تصميم خوارزميات جيدة في ضرورة تقليل الأخطاء العددية في الحسابات، خاصةً عند التعامل مع مجموعات بيانات كبيرة. التباين هو مقياس لمدى تشتت مجموعة من الأرقام، وهو مفهوم أساسي في العديد من المجالات مثل الإحصاء والاحتمالات والتعلم الآلي. إن فهم كيفية حساب التباين بكفاءة ودقة أمر بالغ الأهمية لتحليل البيانات واتخاذ القرارات المستنيرة.

التعريف الرياضي للتباين

رياضيًا، يُعرف التباين على أنه متوسط مربعات الانحرافات عن المتوسط. بمعنى آخر، هو متوسط مربع الفرق بين كل نقطة بيانات والمتوسط الحسابي لمجموعة البيانات. يمكن تمثيل التباين بالصيغة التالية:

σ² = Σ (x_i – μ)² / N

حيث:

• σ² هو التباين
• x_i هي كل قيمة في مجموعة البيانات
• μ هو المتوسط الحسابي لمجموعة البيانات
• N هو عدد القيم في مجموعة البيانات
• Σ يدل على المجموع

لحساب التباين، يجب أولاً حساب المتوسط الحسابي لمجموعة البيانات. ثم، لكل قيمة في مجموعة البيانات، يتم حساب الفرق بين تلك القيمة والمتوسط، ثم يتم تربيع هذا الفرق. أخيرًا، يتم حساب متوسط هذه القيم المربعة.

الخوارزمية наивной (Naive Algorithm)

الخوارزمية наивной هي أبسط طريقة لحساب التباين. تتكون هذه الخوارزمية من الخطوات التالية:

1. حساب المتوسط الحسابي لمجموعة البيانات.
2. لكل قيمة في مجموعة البيانات، حساب الفرق بين تلك القيمة والمتوسط، ثم تربيع هذا الفرق.
3. حساب متوسط القيم المربعة.

على الرغم من بساطتها، إلا أن الخوارزمية наивной ليست فعالة جدًا من الناحية الحسابية. تتطلب هذه الخوارزمية المرور عبر مجموعة البيانات مرتين: مرة واحدة لحساب المتوسط، ومرة أخرى لحساب التباين. بالإضافة إلى ذلك، يمكن أن تكون هذه الخوارزمية عرضة للأخطاء العددية، خاصةً عند التعامل مع مجموعات بيانات كبيرة.

مثال:

لنفترض أن لدينا مجموعة البيانات التالية: [2, 4, 4, 4, 5, 5, 7, 9].

1. حساب المتوسط الحسابي: (2 + 4 + 4 + 4 + 5 + 5 + 7 + 9) / 8 = 5
2. حساب مربعات الانحرافات عن المتوسط:
   • (2 – 5)² = 9
   • (4 – 5)² = 1
   • (4 – 5)² = 1
   • (4 – 5)² = 1
   • (5 – 5)² = 0
   • (5 – 5)² = 0
   • (7 – 5)² = 4
   • (9 – 5)² = 16
3. حساب متوسط مربعات الانحرافات: (9 + 1 + 1 + 1 + 0 + 0 + 4 + 16) / 8 = 4

إذن، التباين لمجموعة البيانات هو 4.

خوارزمية المرور الواحد (One-Pass Algorithm)

خوارزمية المرور الواحد هي خوارزمية أكثر كفاءة لحساب التباين. تتطلب هذه الخوارزمية المرور عبر مجموعة البيانات مرة واحدة فقط. تعتمد هذه الخوارزمية على الصيغة التالية:

σ² = (Σ x_i² / N) – μ²

لحساب التباين باستخدام خوارزمية المرور الواحد، يجب أولاً حساب مجموع القيم ومجموع مربعات القيم. ثم، يتم حساب المتوسط الحسابي باستخدام مجموع القيم، ويتم حساب التباين باستخدام الصيغة المذكورة أعلاه.

تعتبر خوارزمية المرور الواحد أكثر كفاءة من الخوارزمية наивной لأنها تتطلب المرور عبر مجموعة البيانات مرة واحدة فقط. ومع ذلك، يمكن أن تكون هذه الخوارزمية أيضًا عرضة للأخطاء العددية، خاصةً عند التعامل مع مجموعات بيانات كبيرة.

مثال:

لنفترض أن لدينا مجموعة البيانات التالية: [2, 4, 4, 4, 5, 5, 7, 9].

1. حساب مجموع القيم: 2 + 4 + 4 + 4 + 5 + 5 + 7 + 9 = 40
2. حساب مجموع مربعات القيم: 2² + 4² + 4² + 4² + 5² + 5² + 7² + 9² = 236
3. حساب المتوسط الحسابي: 40 / 8 = 5
4. حساب التباين: (236 / 8) – 5² = 29.5 – 25 = 4.5

هنا نلاحظ وجود اختلاف بسيط بالنتيجة بسبب التقريب في الحسابات.

خوارزمية ويبل (Welford’s Algorithm)

تعتبر خوارزمية ويبل خوارزمية أكثر دقة لحساب التباين. تعتمد هذه الخوارزمية على تحديث تدريجي للمتوسط والتباين أثناء المرور عبر مجموعة البيانات. هذا يقلل من الأخطاء العددية المتراكمة التي يمكن أن تحدث في الخوارزميات الأخرى.

تتلخص فكرة الخوارزمية في الحفاظ على متغيرين: المتوسط الحالي (mean) والتباين الحالي (M2). لكل قيمة جديدة (x) في مجموعة البيانات، يتم تحديث هذين المتغيرين باستخدام الصيغ التالية:

mean = mean + (x – mean) / n

M2 = M2 + (x – mean_old) * (x – mean)

حيث:

• n هو عدد القيم التي تمت معالجتها حتى الآن
• mean_old هو المتوسط قبل تحديثه بالقيمة الحالية

في النهاية، يتم حساب التباين بقسمة M2 على (n – 1) للتباين العيني أو على n للتباين السكاني.

تتميز خوارزمية ويبل بدقتها واستقرارها العددي، مما يجعلها الخيار المفضل لحساب التباين في العديد من التطبيقات.

مثال:

لنفترض أن لدينا مجموعة البيانات التالية: [2, 4, 4, 4, 5, 5, 7, 9].

سنقوم بتطبيق خوارزمية ويبل خطوة بخطوة:

1. القيمة الأولى (2): mean = 2, M2 = 0
2. القيمة الثانية (4): mean = 2 + (4 – 2) / 2 = 3, M2 = 0 + (4 – 2) * (4 – 3) = 2
3. القيمة الثالثة (4): mean = 3 + (4 – 3) / 3 = 3.33, M2 = 2 + (4 – 3) * (4 – 3.33) = 2.67
4. القيمة الرابعة (4): mean = 3.33 + (4 – 3.33) / 4 = 3.5, M2 = 2.67 + (4 – 3.33) * (4 – 3.5) = 3
5. القيمة الخامسة (5): mean = 3.5 + (5 – 3.5) / 5 = 3.8, M2 = 3 + (5 – 3.5) * (5 – 3.8) = 4.8
6. القيمة السادسة (5): mean = 3.8 + (5 – 3.8) / 6 = 4, M2 = 4.8 + (5 – 3.8) * (5 – 4) = 7.2
7. القيمة السابعة (7): mean = 4 + (7 – 4) / 7 = 4.43, M2 = 7.2 + (7 – 4) * (7 – 4.43) = 14.91
8. القيمة الثامنة (9): mean = 4.43 + (9 – 4.43) / 8 = 5, M2 = 14.91 + (9 – 4.43) * (9 – 5) = 32.79

التباين العيني: 32.79 / (8 – 1) = 4.68

التباين السكاني: 32.79 / 8 = 4.10

اعتبارات الأداء

يعتمد اختيار الخوارزمية المناسبة لحساب التباين على عدة عوامل، بما في ذلك حجم مجموعة البيانات والدقة المطلوبة والموارد الحسابية المتاحة. بالنسبة لمجموعات البيانات الصغيرة، قد تكون الخوارزمية наивной كافية. ومع ذلك، بالنسبة لمجموعات البيانات الكبيرة، يفضل استخدام خوارزمية المرور الواحد أو خوارزمية ويبل. تعتبر خوارزمية ويبل هي الأكثر دقة، ولكنها قد تكون أبطأ قليلاً من خوارزمية المرور الواحد.

بالإضافة إلى ذلك، يمكن تحسين أداء خوارزميات حساب التباين باستخدام تقنيات مثل التوازي (Parallelism). على سبيل المثال، يمكن تقسيم مجموعة البيانات إلى أجزاء متعددة، ويمكن حساب التباين لكل جزء بالتوازي. ثم، يمكن دمج نتائج هذه الحسابات للحصول على التباين الكلي.

تطبيقات حساب التباين

يستخدم حساب التباين في العديد من المجالات، بما في ذلك:

• الإحصاء: يستخدم التباين لقياس مدى تشتت البيانات.
• الاحتمالات: يستخدم التباين لحساب المخاطر وعدم اليقين.
• التعلم الآلي: يستخدم التباين لتقييم أداء النماذج.
• التمويل: يستخدم التباين لتقييم مخاطر الاستثمار.
• الهندسة: يستخدم التباين لتقييم جودة المنتجات والعمليات.

على سبيل المثال، في مجال التمويل، يمكن استخدام التباين لتقييم مخاطر الاستثمار في الأسهم. الأسهم ذات التباين العالي تعتبر أكثر خطورة من الأسهم ذات التباين المنخفض. في مجال التعلم الآلي، يمكن استخدام التباين لتقييم أداء نموذج تصنيف. النموذج ذو التباين المنخفض يعتبر أكثر استقرارًا وقابلية للتعميم من النموذج ذو التباين العالي.

خاتمة

تعتبر خوارزميات حساب التباين أدوات أساسية في الإحصاءات الحاسوبية وتحليل البيانات. يوفر فهم الخوارزميات المختلفة المتاحة، ومقايضات الأداء الخاصة بها، القدرة على اختيار الطريقة الأكثر ملاءمة لتطبيق معين. سواء كانت الدقة أو السرعة هي الأولوية، فإن وجود مجموعة أدوات قوية من الخوارزميات أمر ضروري لاتخاذ قرارات مستنيرة بناءً على البيانات.

المراجع

• Variance – Wikipedia
• NIST/SEMATECH e-Handbook of Statistical Methods
• Comparing three methods of computing standard deviation
• Math is Fun – Standard Deviation