غالبًا ما تخطئ أنظمة الذكاء الاصطناعي- حتى صانعوها لا يخفون هذه الحقيقة- وهذا هو السبب في أن استخدامها للمساعدة في إنشاء الكود ليس فكرة جيدة. لاختبار قدرات ومعرفة ChatGPT العامة في هذا المجال، طُرح على النظام عددًا كبيرًا من أسئلة برمجة البرامج، وقد أخطأ أكثر من نصفها. ومع ذلك، فقد تمكنت من خداع عدد كبير من الناس.
تضمنت دراسة من جامعة بوردو (عبر The Reg) طرح أسئلة ChatGPT 517 Stack Overflow وسؤال عشرات المتطوعين عن النتائج. تم تقييم الإجابات ليس فقط على أساس ما إذا كانت صحيحة، ولكن أيضًا على اتساقها وشمولها ودقتها. كما قام الفريق بتحليل الأسلوب اللغوي وشعور الردود.
لم يكن عرضًا جيدًا لـ ChatGPT. أجابت أداة OpenAI على 48% فقط من الأسئلة بشكل صحيح، بينما وصف 77% بأنها "مطولة".
الأمر المثير للاهتمام بشكل خاص هو أن شمولية ChatGPT وأسلوبه اللغوي المفصل جيدًا يعني أن ما يقرب من 40% من إجاباتها لا تزال مفضلة من قبل المشاركين. لسوء الحظ بالنسبة للذكاء الاصطناعي التوليدي، كانت 77% من الإجابات المفضلة خاطئة.
تضمنت دراسة من جامعة بوردو (عبر The Reg) طرح أسئلة ChatGPT 517 Stack Overflow وسؤال عشرات المتطوعين عن النتائج. تم تقييم الإجابات ليس فقط على أساس ما إذا كانت صحيحة، ولكن أيضًا على اتساقها وشمولها ودقتها. كما قام الفريق بتحليل الأسلوب اللغوي وشعور الردود.
لم يكن عرضًا جيدًا لـ ChatGPT. أجابت أداة OpenAI على 48% فقط من الأسئلة بشكل صحيح، بينما وصف 77% بأنها "مطولة".
الأمر المثير للاهتمام بشكل خاص هو أن شمولية ChatGPT وأسلوبه اللغوي المفصل جيدًا يعني أن ما يقرب من 40% من إجاباتها لا تزال مفضلة من قبل المشاركين. لسوء الحظ بالنسبة للذكاء الاصطناعي التوليدي، كانت 77% من الإجابات المفضلة خاطئة.
"أثناء دراستنا، لاحظنا أنه فقط عندما يكون الخطأ في إجابة ChatGPT واضحًا، يمكن للمستخدمين تحديد الخطأ"، هذا ما ورد في الورقة التي كتبها الباحثون Samia Kabir، وDavid Udo-Imeh، وBonan Kou، والأستاذ المساعد Tianyi Zhang. "ومع ذلك، عندما لا يمكن التحقق من الخطأ بسهولة أو يتطلب IDE خارجيًا أو وثائق، غالبًا ما يفشل المستخدمون في تحديد الخطأ أو التقليل من درجة الخطأ في الإجابة".
حتى عندما كانت إجابة ChatGPT خاطئة بشكل واضح، لا يزال اثنان من أصل 12 مشاركًا يفضلونها بسبب نبرة الذكاء الاصطناعي الممتعة والثقة والإيجابية. كما ساهمت شمولها وأسلوب كتابتها في جعل إجابة غير صحيحة من الناحية الواقعية تبدو صحيحة في أعين بعض الناس.
توضح الورقة البحثية أن "العديد من الإجابات غير صحيحة بسبب عدم قدرة ChatGPT على فهم السياق الأساسي للسؤال المطروح".
يقوم صانعو الذكاء الاصطناعي التوليدي بتضمين تحذيرات على صفحات منتجاتهم حول الإجابات التي يُحتمل أن تكون خاطئة. حتى أن Google حذرت موظفيها من مخاطر برامج الدردشة، بما في ذلك Bard الخاصة بها، وتجنب الاستخدام المباشر للرمز الذي تم إنشاؤه بواسطة هذه الخدمات. عندما سئلت الشركة عن السبب، قالت إن Bard يمكنها تقديم اقتراحات تعليمات برمجية غير مرغوب فيها، لكنها لا تزال تساعد المبرمجين. قالت Google أيضًا إنها تهدف إلى أن تكون شفافة بشأن قيود تقنيتها. في الوقت نفسه، تعد Apple و Amazon و Samsung مجرد بعض الشركات التي حظرت ChatGPT تمامًا.
