معيار Arena Hard لاختبار نماذج الذكاء الاصطناعي

Arena Hard هو معيار لتقييم نماذج الذكاء الاصطناعي اللغوية المشابهة لشات جي بي تي. يتكوّن هذا المعيار من 500  سؤال صعب جُمعت من تفاعلات حقيقية مع المستخدمين على منصة Chatbot Arena. تتطلب هذه الأسئلة تفكيراً عميقاً، ومعرفة متخصصة، ودقة، ومهارة في حل مشكلات، وهي أصعب من الأسئلة العادية.
الهدف منه هو اختبار قدرات النماذج المتقدمة بدقة، والتمييز بينها في المهام المعقدة. تُقارن إجابات النماذج بإجابات نموذج قوي مثل  GPT-4، وتُحسب نسبة التفوق.
ببساطة معيار Arena Hard: هو اختبار صعب لنماذج الذكاء الاصطناعي اللغوية الكبيرة، لقياس ذكائها الحقيقي.

إليك مثالاً واقعياً من مجموعة Arena Hard:
“افترض أنك مستشار حكومي لدولة صغيرة تواجه أزمة اقتصادية حادة. لديك 3 خيارات: تخفيض الإنفاق العام، رفع الضرائب، أو الاقتراض من صندوق النقد الدولي. اشرح مزايا ومخاطر كل خيار، ثم اقترح خطة متوازنة.”

لماذا هذا السؤال صعب؟
– يتطلب معرفة اقتصادية متخصصة.
– يحتاج إلى تحليل متعدد الأبعاد (اقتصاد، سياسة، مجتمع).
– يتطلب مقارنة منطقية بين البدائل.
– يجب أن تنتهي الإجابة بـ توصية مدروسة.
هذا النوع من الأسئلة يُظهر بوضوح قدرة النموذج على التفكير الناقد واتخاذ القرار، وليس فقط إعطاء معلومات محفوظة.

فيما يلي إجابة نموذج متقدّم مثل GPT-4 على هذا السؤال؟
أولاً: تخفيض الإنفاق العام
– المزايا:  يقلل من عجز الموازنة ويعزز الانضباط المالي.
– المخاطر:  يؤدي إلى تقليص الخدمات العامة، زيادة البطالة، وتباطؤ النمو الاقتصادي، خاصة في ظل الأزمة.
ثانياً: رفع الضرائب
– المزايا:  يزيد من إيرادات الدولة بسرعة، ويقلل الحاجة للاقتراض.
– المخاطر: قد يُضعف الاستهلاك والاستثمار، ويزيد من الضغط على المواطنين، خاصة الطبقة الوسطى والفقيرة.
ثالثاً: الاقتراض من صندوق النقد الدولي
– المزايا:  يوفر تمويلاً فورياً لتغطية العجز وتثبيت الاقتصاد.
– المخاطر:  غالباً ما يأتي مع شروط تقشفية صارمة، وفوائد قد تزيد الدين العام على المدى البعيد.

الخطة المتوازنة المقترحة:
أوصي باتباع نهج متعدد المحاور:
– تخفيض الإنفاق تدريجيًا، مع حماية القطاعات الحيوية (مثل الصحة والتعليم).
– إصلاح النظام الضريبي لضمان عدالة أكبر دون إثقال كاهل الفئات الضعيفة.
– الاقتراض المحدود من صندوق النقد بشروط قابلة للتفاوض، مع خطة واضحة للسداد ونمو اقتصادي مستدام.
بهذا نحقق استقراراً مالياً دون التضحية بالعدالة الاجتماعية أو فرص النمو.