استخدمت DeepMind التابعة لـ Google نموذجًا لغويًا كبيرًا لحل مشكلة شهيرة لم يتم حلها في الرياضيات البحتة. وفي ورقة بحثية نشرت في مجلة Nature، يقول الباحثون إنها المرة الأولى التي يتم فيها استخدام نموذج لغوي كبير لاكتشاف حل للغز علمي طويل الأمد، وهو إنتاج معلومات جديدة قيمة وقابلة للتحقق لم تكن موجودة من قبل. يقول المؤلف المشارك بوشميت كوهلي، نائب رئيس الأبحاث في Google DeepMind: "إن هذا ليس موجودًا في بيانات التدريب، بل لم يكن معروفًا حتى".
تتمتع النماذج اللغوية الكبيرة بسمعة جيدة في اختلاق الأشياء، وليس في تقديم حقائق جديدة. ويمكن لأداة Google DeepMind الجديدة، والتي تسمى FunSearch، أن تغير ذلك. إنه يوضح أنهم قادرون بالفعل على تحقيق الاكتشافات، إذا تم إقناعهم بذلك، وإذا قمت بتجاهل غالبية ما يتوصلون إليه.
يواصل FunSearch (الذي يُطلق عليه هذا الاسم لأنه يبحث عن وظائف رياضية، وليس لأنه ممتع) سلسلة من الاكتشافات في الرياضيات الأساسية وعلوم الكمبيوتر التي حققتها DeepMind باستخدام الذكاء الاصطناعي. وجدت شركة AlphaTensor الأولى طريقة لتسريع العمليات الحسابية في قلب العديد من أنواع الأكواد المختلفة، متجاوزة الرقم القياسي الذي دام 50 عامًا. ثم وجدت شركة AlphaDev طرقًا لجعل الخوارزميات الرئيسية المستخدمة تريليونات المرات يوميًا تعمل بشكل أسرع.
ومع ذلك، لم تستخدم تلك الأدوات نماذج لغوية كبيرة. تم تصميمهما استنادًا إلى الذكاء الاصطناعي AlphaZero الذي يتيح تشغيل الألعاب من DeepMind، وقد قام كلاهما بحل مسائل الرياضيات من خلال التعامل معها كما لو كانت ألغازًا في لعبة Go أو الشطرنج. المشكلة هي أنهم عالقون في مساراتهم، كما يقول برناردينو روميرا باريديس، الباحث في الشركة الذي عمل على كل من AlphaTensor وFunSearch: "AlphaTensor رائع في مضاعفة المصفوفات، لكنه في الأساس لا شيء آخر".
يأخذ FunSearch مسارًا مختلفًا. فهو يجمع بين نموذج لغة كبير يسمى Codey، وهو إصدار من Google PaLM 2 الذي تم ضبطه بدقة على كود الكمبيوتر، مع أنظمة أخرى ترفض الإجابات غير الصحيحة أو غير المنطقية وتعيد الإجابات الجيدة مرة أخرى.
يقول الحسين فوزي، عالم الأبحاث في Google DeepMind: “لكي أكون صادقًا معك، لدينا فرضيات، لكننا لا نعرف بالضبط سبب نجاحها”. "في بداية المشروع، لم نكن نعرف ما إذا كان هذا سينجح على الإطلاق".
بدأ الباحثون برسم المشكلة التي أرادوا حلها في لغة بايثون، وهي لغة برمجة شائعة. لكنهم تركوا الأسطر الموجودة في البرنامج والتي ستحدد كيفية حلها. وهنا يأتي دور FunSearch. فهو يجعل Codey يملأ الفراغات - في الواقع، يقترح كودًا من شأنه أن يحل المشكلة.
تقوم خوارزمية ثانية بعد ذلك بفحص وتسجيل ما توصل إليه كودي. يتم حفظ أفضل الاقتراحات - حتى لو لم تكن صحيحة بعد - وإعادتها إلى Codey، الذي يحاول إكمال البرنامج مرة أخرى. يقول كوهلي: "سيكون الكثير منهم غير منطقيين، والبعض الآخر سيكونون عقلانيين، والقليل منهم سيكونون ملهمين حقًا". "أنت تأخذ هؤلاء الملهمين حقًا وتقول: "حسنًا، خذ هؤلاء وكرر".
بعد بضعة ملايين من الاقتراحات وبضع عشرات من عمليات التكرار للعملية الشاملة- التي استغرقت بضعة أيام- تمكنت FunSearch من التوصل إلى كود برمجي ينتج حلاً صحيحًا وغير معروف سابقًا لمشكلة تحديد الحد الأقصى، والذي يتضمن العثور على أكبر حجم من نوع معين من المجموعة تخيل رسم النقاط على ورق الرسم البياني. إن مشكلة تحديد الحد الأقصى تشبه محاولة معرفة عدد النقاط التي يمكنك وضعها دون أن تشكل ثلاث منها خطًا مستقيمًا.
إنها متخصصة للغاية، ولكنها مهمة. علماء الرياضيات لا يتفقون حتى على كيفية حلها، ناهيك عن ما هو الحل. (وهي مرتبطة أيضًا بضرب المصفوفات، وهي العملية الحسابية التي وجد AlphaTensor طريقة لتسريعها). وقد أطلق تيرينس تاو، من جامعة كاليفورنيا في لوس أنجلوس، والذي فاز بالعديد من الجوائز الكبرى في الرياضيات، بما في ذلك ميدالية فيلدز، على مشكلة تحديد الحد الأقصى "ربما يكون سؤالي المفتوح المفضل" في منشور مدونة عام 2007.
تاو مفتون بما يمكن أن يفعله FunSearch. ويقول: "هذا نموذج واعد". "إنها طريقة مثيرة للاهتمام للاستفادة من قوة نماذج اللغات الكبيرة".
الميزة الرئيسية التي يتمتع بها FunSearch على AlphaTensor هي أنه يمكن، من الناحية النظرية، استخدامها لإيجاد حلول لمجموعة واسعة من المشاكل. وذلك لأنه ينتج تعليمات برمجية – وصفة لتوليد الحل، بدلاً من الحل نفسه. كود مختلف سوف يحل مشاكل مختلفة. من السهل أيضًا فهم نتائج FunSearch. يقول فوزي إن الوصفة غالبًا ما تكون أكثر وضوحًا من الحل الرياضي الغريب الذي تنتجه.
ولاختبار تعدد استخداماته، استخدم الباحثون FunSearch للتعامل مع مشكلة صعبة أخرى في الرياضيات: مشكلة تعبئة الصناديق، والتي تتضمن محاولة تعبئة العناصر في أقل عدد ممكن من الصناديق. وهذا مهم لمجموعة من التطبيقات في علوم الكمبيوتر، من إدارة مراكز البيانات إلى التجارة الإلكترونية. توصل موقع FunSearch إلى طريقة لحل هذه المشكلة بشكل أسرع من تلك التي ابتكرها الإنسان.
يقول تاو: "لا يزال علماء الرياضيات يحاولون اكتشاف أفضل طريقة لدمج نماذج لغوية كبيرة في سير عمل بحثنا بطرق تستغل قوتها وتخفف من عيوبها". "وهذا يشير بالتأكيد إلى أحد السبل الممكنة للمضي قدما".
تتمتع النماذج اللغوية الكبيرة بسمعة جيدة في اختلاق الأشياء، وليس في تقديم حقائق جديدة. ويمكن لأداة Google DeepMind الجديدة، والتي تسمى FunSearch، أن تغير ذلك. إنه يوضح أنهم قادرون بالفعل على تحقيق الاكتشافات، إذا تم إقناعهم بذلك، وإذا قمت بتجاهل غالبية ما يتوصلون إليه.
يواصل FunSearch (الذي يُطلق عليه هذا الاسم لأنه يبحث عن وظائف رياضية، وليس لأنه ممتع) سلسلة من الاكتشافات في الرياضيات الأساسية وعلوم الكمبيوتر التي حققتها DeepMind باستخدام الذكاء الاصطناعي. وجدت شركة AlphaTensor الأولى طريقة لتسريع العمليات الحسابية في قلب العديد من أنواع الأكواد المختلفة، متجاوزة الرقم القياسي الذي دام 50 عامًا. ثم وجدت شركة AlphaDev طرقًا لجعل الخوارزميات الرئيسية المستخدمة تريليونات المرات يوميًا تعمل بشكل أسرع.
ومع ذلك، لم تستخدم تلك الأدوات نماذج لغوية كبيرة. تم تصميمهما استنادًا إلى الذكاء الاصطناعي AlphaZero الذي يتيح تشغيل الألعاب من DeepMind، وقد قام كلاهما بحل مسائل الرياضيات من خلال التعامل معها كما لو كانت ألغازًا في لعبة Go أو الشطرنج. المشكلة هي أنهم عالقون في مساراتهم، كما يقول برناردينو روميرا باريديس، الباحث في الشركة الذي عمل على كل من AlphaTensor وFunSearch: "AlphaTensor رائع في مضاعفة المصفوفات، لكنه في الأساس لا شيء آخر".
يأخذ FunSearch مسارًا مختلفًا. فهو يجمع بين نموذج لغة كبير يسمى Codey، وهو إصدار من Google PaLM 2 الذي تم ضبطه بدقة على كود الكمبيوتر، مع أنظمة أخرى ترفض الإجابات غير الصحيحة أو غير المنطقية وتعيد الإجابات الجيدة مرة أخرى.
يقول الحسين فوزي، عالم الأبحاث في Google DeepMind: “لكي أكون صادقًا معك، لدينا فرضيات، لكننا لا نعرف بالضبط سبب نجاحها”. "في بداية المشروع، لم نكن نعرف ما إذا كان هذا سينجح على الإطلاق".
بدأ الباحثون برسم المشكلة التي أرادوا حلها في لغة بايثون، وهي لغة برمجة شائعة. لكنهم تركوا الأسطر الموجودة في البرنامج والتي ستحدد كيفية حلها. وهنا يأتي دور FunSearch. فهو يجعل Codey يملأ الفراغات - في الواقع، يقترح كودًا من شأنه أن يحل المشكلة.
تقوم خوارزمية ثانية بعد ذلك بفحص وتسجيل ما توصل إليه كودي. يتم حفظ أفضل الاقتراحات - حتى لو لم تكن صحيحة بعد - وإعادتها إلى Codey، الذي يحاول إكمال البرنامج مرة أخرى. يقول كوهلي: "سيكون الكثير منهم غير منطقيين، والبعض الآخر سيكونون عقلانيين، والقليل منهم سيكونون ملهمين حقًا". "أنت تأخذ هؤلاء الملهمين حقًا وتقول: "حسنًا، خذ هؤلاء وكرر".
بعد بضعة ملايين من الاقتراحات وبضع عشرات من عمليات التكرار للعملية الشاملة- التي استغرقت بضعة أيام- تمكنت FunSearch من التوصل إلى كود برمجي ينتج حلاً صحيحًا وغير معروف سابقًا لمشكلة تحديد الحد الأقصى، والذي يتضمن العثور على أكبر حجم من نوع معين من المجموعة تخيل رسم النقاط على ورق الرسم البياني. إن مشكلة تحديد الحد الأقصى تشبه محاولة معرفة عدد النقاط التي يمكنك وضعها دون أن تشكل ثلاث منها خطًا مستقيمًا.
إنها متخصصة للغاية، ولكنها مهمة. علماء الرياضيات لا يتفقون حتى على كيفية حلها، ناهيك عن ما هو الحل. (وهي مرتبطة أيضًا بضرب المصفوفات، وهي العملية الحسابية التي وجد AlphaTensor طريقة لتسريعها). وقد أطلق تيرينس تاو، من جامعة كاليفورنيا في لوس أنجلوس، والذي فاز بالعديد من الجوائز الكبرى في الرياضيات، بما في ذلك ميدالية فيلدز، على مشكلة تحديد الحد الأقصى "ربما يكون سؤالي المفتوح المفضل" في منشور مدونة عام 2007.
تاو مفتون بما يمكن أن يفعله FunSearch. ويقول: "هذا نموذج واعد". "إنها طريقة مثيرة للاهتمام للاستفادة من قوة نماذج اللغات الكبيرة".
الميزة الرئيسية التي يتمتع بها FunSearch على AlphaTensor هي أنه يمكن، من الناحية النظرية، استخدامها لإيجاد حلول لمجموعة واسعة من المشاكل. وذلك لأنه ينتج تعليمات برمجية – وصفة لتوليد الحل، بدلاً من الحل نفسه. كود مختلف سوف يحل مشاكل مختلفة. من السهل أيضًا فهم نتائج FunSearch. يقول فوزي إن الوصفة غالبًا ما تكون أكثر وضوحًا من الحل الرياضي الغريب الذي تنتجه.
ولاختبار تعدد استخداماته، استخدم الباحثون FunSearch للتعامل مع مشكلة صعبة أخرى في الرياضيات: مشكلة تعبئة الصناديق، والتي تتضمن محاولة تعبئة العناصر في أقل عدد ممكن من الصناديق. وهذا مهم لمجموعة من التطبيقات في علوم الكمبيوتر، من إدارة مراكز البيانات إلى التجارة الإلكترونية. توصل موقع FunSearch إلى طريقة لحل هذه المشكلة بشكل أسرع من تلك التي ابتكرها الإنسان.
يقول تاو: "لا يزال علماء الرياضيات يحاولون اكتشاف أفضل طريقة لدمج نماذج لغوية كبيرة في سير عمل بحثنا بطرق تستغل قوتها وتخفف من عيوبها". "وهذا يشير بالتأكيد إلى أحد السبل الممكنة للمضي قدما".
