منذ GPT-2، كان هناك الكثير من الإثارة حول تطبيقات نماذج اللغات الكبيرة. وفي السنوات القليلة الماضية، رأينا LLM تُستخدم في العديد من المهام المثيرة، مثل كتابة المقالات وتصميم مواقع الويب وإنشاء الصور وحتى كتابة الأكواد.
ولكن كما جادلت من قبل، هناك فجوة واسعة بين إظهار تقنية جديدة تفعل شيئًا رائعًا واستخدام نفس التكنولوجيا لإنشاء منتج ناجح بنموذج عمل عملي.
أعتقد أن Microsoft أطلقت للتو أول منتج LLM حقيقي مع الإصدار العام لـ GitHub Copilot الأسبوع الماضي. هذا تطبيق يحتوي على منتج قوي / ملائم للسوق، وله قيمة مضافة هائلة، ومن الصعب التغلب عليه، وفعال من حيث التكلفة، وقنوات توزيع قوية للغاية، ويمكن أن يصبح مصدر ربح كبير.
يعد إصدار GitHub Copilot بمثابة تذكير بأمرين: أولاً، تعد LLM رائعة، ولكنها مفيدة عند تطبيقها على مهام محددة بدلاً من الذكاء العام الاصطناعي. وثانيًا، إن طبيعة ماجستير إدارة الأعمال تضع شركات التكنولوجيا الكبيرة مثل Microsoft و Google في ميزة غير عادلة لتسويقها تجاريًا - ماجستير في القانون ليست ديمقراطية.
LLM تخصصي
ولكن كما جادلت من قبل، هناك فجوة واسعة بين إظهار تقنية جديدة تفعل شيئًا رائعًا واستخدام نفس التكنولوجيا لإنشاء منتج ناجح بنموذج عمل عملي.
أعتقد أن Microsoft أطلقت للتو أول منتج LLM حقيقي مع الإصدار العام لـ GitHub Copilot الأسبوع الماضي. هذا تطبيق يحتوي على منتج قوي / ملائم للسوق، وله قيمة مضافة هائلة، ومن الصعب التغلب عليه، وفعال من حيث التكلفة، وقنوات توزيع قوية للغاية، ويمكن أن يصبح مصدر ربح كبير.
يعد إصدار GitHub Copilot بمثابة تذكير بأمرين: أولاً، تعد LLM رائعة، ولكنها مفيدة عند تطبيقها على مهام محددة بدلاً من الذكاء العام الاصطناعي. وثانيًا، إن طبيعة ماجستير إدارة الأعمال تضع شركات التكنولوجيا الكبيرة مثل Microsoft و Google في ميزة غير عادلة لتسويقها تجاريًا - ماجستير في القانون ليست ديمقراطية.
LLM تخصصي
يتم تشغيل Copilot بواسطة Codex، وهو إصدار من نموذج GPT-3 الشهير لشركة OpenAI، وهو نموذج لغوي كبير احتل العناوين الرئيسية نظرًا لقدرته على أداء مجموعة واسعة من المهام. ومع ذلك، على عكس GPT-3، فقد تم تحديد Codex لمهام البرمجة فقط. وتنتج نتائج مبهرة.
يؤكد نجاح GitHub Copilot و Codex على حقيقة واحدة مهمة. عندما يتعلق الأمر بوضع LLMs للاستخدام الحقيقي، فإن التخصص يتفوق على التعميم. عندما تم تقديم كوبيلوت لأول مرة في عام 2021، ذكرت سي إن بي سي: "... عندما كانت شركة أوبن إيه آي تدرب لأول مرة على [GPT-3]، لم يكن لدى الشركة الناشئة أي نية لتعليمها كيفية المساعدة في الكود، كما قال [أوبن إيه آي جريج] بروكمان. كان المقصود منه أكثر كنموذج لغة للأغراض العامة [التركيز لي] يمكنه، على سبيل المثال، إنشاء مقالات وإصلاح القواعد النحوية غير الصحيحة والترجمة من لغة إلى أخرى ".
ولكن بينما حقق GPT-3 نجاحًا معتدلًا في العديد من التطبيقات، فقد أثبت كل من Copilot و Codex أنهما نجاحان رائعان في مجال واحد محدد. لا تستطيع Codex كتابة الشعر أو المقالات مثل GPT-3، لكنها أثبتت أنها مفيدة جدًا للمطورين من مختلف مستويات الخبرة. يعد Codex أيضًا أصغر بكثير من GPT-3، مما يعني أنه يحتوي على ذاكرة وفعالية أكبر. وبالنظر إلى أنه قد تم تدريبه على مهمة محددة على عكس العالم المفتوح والغامض للغة البشرية، فهو أقل عرضة للمخاطر التي غالبًا ما تقع فيها نماذج مثل GPT-3.
ومع ذلك، تجدر الإشارة إلى أنه مثلما لا يعرف GPT-3 شيئًا عن اللغة البشرية، فإن Copilot لا يعرف شيئًا عن رمز الكمبيوتر. إنه نموذج محول تم تدريبه على الملايين من مستودعات الكود. بالنظر إلى موجه (على سبيل المثال، جزء من التعليمات البرمجية أو وصف نصي)، سيحاول التنبؤ بالتسلسل التالي للتعليمات الأكثر منطقية.
بفضل مجموعة التدريب الضخمة والشبكة العصبية الضخمة، يقوم Copilot في الغالب بعمل تنبؤات جيدة. لكن في بعض الأحيان، قد يرتكب أخطاء غبية يتجنبها معظم المبرمجين المبتدئين. لا يفكر في البرامج بالطريقة التي يعمل بها المبرمج. لا يمكنه تصميم البرامج أو التفكير بخطوات والتفكير في متطلبات المستخدم وتجربته وجميع الأشياء الأخرى التي تدخل في بناء تطبيقات ناجحة. إنه ليس بديلاً للمبرمجين البشريين.
منتج Copilot / ملائم للسوق
أصدر GitHub Copilot كمنتج معاينة في يونيو الماضي ومنذ ذلك الحين استخدمه أكثر من مليون مطور.
وفقًا لـ GitHub، في الملفات التي يتم فيها تنشيط Copilot، يمثل حوالي 40 بالمائة من الكود المكتوب. يقول المطورون والمهندسون الذين تحدثت إليهم الأسبوع الماضي أنه على الرغم من وجود حدود لقدرات Copilot، فلا أحد ينكر أنه يحسن إنتاجيتهم بشكل كبير.
بالنسبة لبعض حالات الاستخدام، يتنافس Copilot مع StackOverflow ومنتديات التعليمات البرمجية الأخرى، حيث يجب على المستخدمين البحث عن حل لمشكلة معينة يواجهونها. في هذه الحالة، تكون القيمة المضافة لـ Copilot واضحة جدًا وملموسة: إحباط أقل وإلهاء، مزيد من التركيز. بدلاً من ترك IDE الخاص بهم والبحث عن حل على الويب، يقوم المطورون فقط بكتابة الوصف أو سلسلة المستندات للوظيفة التي يريدونها، ويقوم Copilot بمعظم العمل نيابةً عنهم.
في حالات أخرى، يتنافس Copilot ضد كتابة تعليمات برمجية محبطة يدويًا، مثل تكوين مخططات matplotlib في Python (مهمة محبطة للغاية). على الرغم من أن مخرجات Copilot قد تتطلب بعض التغيير والتبديل، إلا أنها تخفف معظم العبء عن المطورين.
في العديد من حالات الاستخدام الأخرى، تمكن Copilot من ترسيخ نفسه كحل ممتاز للمشاكل التي يواجهها العديد من المطورين كل يوم. أخبرني المطورون عن أشياء مثل تشغيل حالات الاختبار، وإعداد خوادم الويب، وتوثيق التعليمات البرمجية، والعديد من المهام الأخرى التي كانت تتطلب في السابق جهدًا يدويًا وكانت شاقة. ساعدهم مساعد الطيارين في توفير الكثير من الوقت في عملهم اليومي.
التوزيع وكفاءة التكلفة
لتحويل Copilot إلى منتج ناجح، احتاجت Microsoft إلى الجمع بين العديد من القطع المهمة جدًا، بما في ذلك التكنولوجيا والبنية التحتية والسوق.
أولاً، احتاجت إلى التكنولوجيا المناسبة، التي حصلت عليها بفضل ترخيصها الحصري لتكنولوجيا OpenAI. منذ عام 2019، توقفت شركة OpenAI عن المصادر المفتوحة لتقنيتها وبدلاً من ذلك تقوم بترخيصها لداعميها الماليين، وعلى رأسهم Microsoft. تم إنشاء Codex و Copilot من GPT-3 بمساعدة علماء OpenAI.
تمكنت شركات التكنولوجيا الكبيرة الأخرى من إنشاء نماذج لغة كبيرة يمكن مقارنتها بـ GPT-3. ولكن ليس هناك من ينكر أن تدريب وتشغيل LLM مكلف للغاية.
قالت لبنى بن علال، قال مهندس التعلم الآلي في Hugging Face: "بالنسبة إلى نموذج أصغر بعشر مرات من Codex - النموذج الذي يقف وراء Copilot (الذي يحتوي على معلمات 12B على الورق)- يتطلب الأمر مئات الدولارات لإجراء التقييم على هذا المعيار الذي استخدموه في ورقتهم". أشارت بن علال إلى معيار آخر يستخدم لتقييم الدستور الغذائي، والذي كلف نموذجها الأصغر آلاف الدولارات.
قالت بن علال: "هناك أيضًا مشكلات أمنية لأنه يتعين عليك تنفيذ برامج غير موثوق بها لتقييم النموذج الذي قد يكون خبيثًا، وعادة ما تستخدم صناديق الحماية للأمان".
قدر Leandro von Werra، مهندس ML آخر في Hugging Face، تكاليف التدريب بما يتراوح بين عشرات إلى مئات الآلاف من الدولارات اعتمادًا على حجم وعدد التجارب اللازمة للحصول عليها بشكل صحيح.
أضاف von Werra في تعليقات: "يعتبر الاستدلال أحد أكبر التحديات". "بينما يمكن لأي شخص لديه موارد تدريب نموذج 10B هذه الأيام، فإن تقليل وقت استجابة الاستدلال بما يكفي للشعور بالاستجابة للمستخدم يمثل تحديًا هندسيًا".
هذا هو المكان الذي تظهر فيه الميزة الثانية لـ Microsoft. تمكنت الشركة من إنشاء بنية أساسية سحابية كبيرة متخصصة لنماذج التعلم الآلي مثل Codex. يدير الاستدلال ويقدم اقتراحات بالمللي ثانية. والأهم من ذلك، أن Microsoft قادرة على تشغيل وتقديم Copilot بسعر مناسب جدًا. حاليًا، يتم تقديم Copilot بسعر 10 دولارات شهريًا أو 100 دولار في السنة، وسيتم توفيره مجانًا للطلاب ومديري المستودعات مفتوحة المصدر الشهيرة.
كان معظم المطورين الذين تحدثت إليهم راضين جدًا عن نموذج التسعير لأنه جعلهم أكثر بكثير من سعره في الوقت الذي تم توفيره.
قال أبهيشيك ثاكور، مهندس ML آخر في Hugging Face الذي تحدثت إليه في وقت سابق من هذا الأسبوع، "بصفتي مهندسًا للتعلم الآلي، أعلم أن الكثير يذهب في بناء منتجات مثل هذه، وخاصة Copilot، الذي يقدم اقتراحات مع زمن انتقال أقل من ملي ثانية. إن بناء بنية تحتية تخدم هذه الأنواع من النماذج مجانًا ليس مجديًا في العالم الحقيقي لفترة زمنية أطول".
ومع ذلك، فإن تشغيل LLMs منشئ الكود بأسعار معقولة ليس مستحيلًا.
قال فون ويرا: "فيما يتعلق بالحوسبة لبناء هذه النماذج والبيانات الضرورية: هذا ممكن تمامًا وكان هناك عدد قليل من النسخ المكررة من Codex مثل Incoder من Meta و CodeGen (يمكن الوصول إليها الآن مجانًا على Hugging Face Hub) من Salesforce المطابقة لـ Codex". "هناك بالتأكيد بعض الهندسة تشارك في بناء النماذج في منتج سريع ورائع، ولكن يبدو أن العديد من الشركات يمكنها القيام بذلك إذا أرادوا ذلك".
ومع ذلك، هذا هو المكان الذي تبدأ فيه القطعة الثالثة من اللغز. أتاح استحواذ Microsoft على GitHub الوصول إلى أكبر سوق للمطورين، مما يسهل على الشركة وضع Copilot في أيدي ملايين المستخدمين. تمتلك Microsoft أيضًا Visual Studio و VS Code، وهما من أكثر IDEs شيوعًا مع مئات الملايين من المستخدمين. هذا يقلل من الاحتكاك بالنسبة للمطورين لاعتماد Copilot بدلاً من منتج آخر مشابه.
من خلال التسعير والكفاءة والوصول إلى السوق، يبدو أن Microsoft قد عززت مكانتها كشركة رائدة في السوق الناشئة لتطوير البرمجيات بمساعدة الذكاء الاصطناعي. يمكن للسوق أن يأخذ منعطفات أخرى. ما هو مؤكد (وكما أشرت من قبل) هو أن نماذج اللغات الكبيرة ستفتح الكثير من الفرص لإنشاء تطبيقات وأسواق جديدة. لكنهم لن يغيروا أساسيات الإدارة السليمة للمنتج.
