انتقل إلى المحتوى
وقت القراءة: دقيقة واحدة

دراسة لـCohere تكشف تراجع التنوع الثقافي في بيانات تدريب نماذج اللغة

رسم توضيحي مولّد بالذكاء الاصطناعي: دراسة لـCohere تكشف تراجع التنوع الثقافي في بيانات تدريب نماذج اللغة
رسم توضيحي مولّد بالذكاء الاصطناعي

حللت Cohere أكثر من 5.6 مليون عينة من بيانات تدريب نماذج اللغة الكبيرة، ووجدت أن التنوع الثقافي يتقلص باستمرار عند الانتقال من بيانات ما قبل التدريب إلى بيانات ما بعد التدريب. وأطلقت على الظاهرة اسم «قمع الثقافة»، إذ تهيمن مهام الرياضيات والبرمجة على مراحل الضبط اللاحقة وتحتوي إشارات ثقافية أقل.

تظهر النتائج أن زيادة عدد اللغات توسّع التغطية الجغرافية، لكنها لا ترفع بالضرورة نسبة المحتوى الثقافي، مع تمثيل مفرط للهند والصين والولايات المتحدة. وأضافت Cohere علامات ثقافية صريحة عند ضبط TinyAya، مسجلة تحسناً قدره 8% في NormAd و6% في BBQ و2.3% في GMMLU دون تراجع القدرات متعددة اللغات.

The Culture Funnel: You can’t align what isn’t in the data · تاريخ النشر في المصدر: