طورت كل من Nvidia و Microsoft نموذج AI يبلغ 530 مليار معامل، لكنها لا تزال تعاني من التحيز

طورت كل من Nvidia و Microsoft نموذجًا مذهلاً للذكاء الاصطناعي يبلغ 530 مليار متغير، لكنه لا يزال يعاني من التحيز.

يدعي الثنائي (Nvidia و Microsoft) أن نموذج ميجاترون تورينج لتوليد اللغة الطبيعية (MT-NLG) Megatron-Turing Natural Language Generation هو "أقوى نموذج لغة محول مترابط تم تدريبه حتى الآن".

للمقارنة، تحتوي GPT-3 من OpenAI والتي نالت استحسانا كبيرا على 175 مليار معلمة.

 

قام الثنائي بتدريب نموذجهم المثير للإعجاب على 15 مجموعة بيانات بإجمالي 339 مليار معامل Parameter. تم إعطاء أوزان مختلفة لأخذ العينات لكل مجموعة بيانات للتأكيد على تلك ذات الجودة الأعلى.

تم منح مجموعة بيانات OpenWebText2 - التي تتكون من 14.8 مليار معامل- أعلى وزن لأخذ العينات بنسبة 19.3 بالمائة. تبع ذلك CC-2021-04 - التي تتكون من 82.6 مليار معامل، وهي أكبر كمية من جميع مجموعات البيانات- بوزن 15.7 بالمائة. تقريب المراكز الثلاثة الأولى هو Books 3 - مجموعة بيانات تحتوي على 25.7 مليار معامل- والتي أعطيت وزنًا بنسبة 14.3 بالمائة.

ومع ذلك، على الرغم من الزيادة الكبيرة في ، عانت MT-NLG من نفس المشكلات مثل سابقاتها.

وأوضحت الشركات: "بينما تعمل النماذج اللغوية العملاقة على تطوير أحدث ما توصلت إليه التكنولوجيا في مجال توليد اللغة، فإنها تعاني أيضًا من مشكلات مثل التحيز والسمية".

"ملاحظاتنا مع MT-NLG هي أن النموذج يلتقط الصور النمطية والتحيزات من البيانات التي يتم التدريب عليها".

تقول Nvidia و Microsoft إنهما ما زالا ملتزمين بمعالجة هذه المشكلة.