تم الكشف عن نموذج اللغة الكبير ChatGPT في نوفمبر 2022، وفي غضون بضعة أشهر فقط، تلقت التكنولوجيا العديد من الانتقادات والاتهامات من مختلف أنحاء الإنترنت. أوبن إيه آي، الشركة التي طورت الخوارزمية، بدأت الآن في إظهار ردود أولية حذرة لمواجهة هذا النقد.
تم تطوير LLM الخاص بـ ChatGPT عن طريق إلغاء كميات هائلة من محتوى الإنترنت المتاح مجانًا، وهي حقيقة تقرها OpenAI بسهولة. تقدم الشركة الآن إرشادات حول كيفية قيام مشرفي المواقع ومسؤولي الخوادم وشركات الإنترنت بمنع تقنية الزحف الخاصة بها من الوصول إلى مواقع الويب الخاصة بهم.
في منشور رسمي، توضح OpenAI أن GPTBot هو برنامج زحف الويب الخاص بالشركة المصمم لجمع محتوى الإنترنت المجاني لتدريب ChatGPT. يمكن استخدام صفحات الويب التي يتم الزحف إليها باستخدام وكيل المستخدم "GPTBot" لتحسين نماذج LLM المستقبلية، كما هو مذكور بواسطة OpenAI. يستخدم الزاحف عوامل تصفية لاستبعاد المصادر المحمية بنظام حظر الاشتراك غير المدفوع أو المواقع المعروفة بجمع معلومات التعريف الشخصية أو النصوص التي تنتهك سياسات الشركة.
تنص OpenAI على أن السماح لـ GPTBot بالوصول إلى موقع ما يمكن أن يساهم في تعزيز دقة نماذج الذكاء الاصطناعي، وبالتالي مساعدة ChatGPT في تحسين قدراتها الشاملة و "سلامتها". ومع ذلك، فإن الأفراد والشركات غير المهتمين بالمساهمة في تحسين ChatGPT مجانًا لديهم خيار عدم السماح بالزاحف. يمكن تحقيق ذلك عن طريق تعديل قواعد "robots.txt" لمنع GPTBot من الوصول إلى موقعه على الويب أو مجاله.
ينفذ ملف robots.txt النصي بروتوكول استبعاد الروبوتات، الذي تستخدمه مواقع الويب بشكل شائع للسماح / عدم السماح لبرامج زحف الويب بفحص محتواها جزئيًا أو كليًا. يعتمد هذا البروتوكول على الامتثال الطوعي لكيانات زحف الويب، ولا تلتزم كل روبوتات الويب بقواعد عدم السماح المخصصة. يبدو أن OpenAI مكرس لاتباع قواعد robots.txt، والذهاب إلى أبعد من ذلك لتوفير كتلة عنوان IP التي يستخدمها الزاحف لتبسيط عملية الحظر.
قبل قاعدة الحجب الجديدة، قدمت Deviant Art علامة "NoAI" الخاصة بها للفنانين الذين أرادوا استبعاد محتواهم من تدريب LLM غير مدفوع الأجر. ومع ذلك، فإن استخدام ملف robots.txt يوفر قدرًا أكبر من التحكم لشركات الجهات الخارجية ومشرفي المواقع، على افتراض أن OpenAI تلتزم باللوائح المقترحة الخاصة بها.
والجدير بالذكر أن الشركة قد أيدت مؤخرًا وثيقة اقترحها البيت الأبيض تلتزم بالسعي الطوعي لتطوير الذكاء الاصطناعي بشكل آمن ومضمون.
