نحن نضع عامًا آخر من التطورات المثيرة في التعلم العميق للذكاء الاصطناعي خلفنا- سنة مليئة بالتقدم الملحوظ والخلافات وبالطبع النزاعات. بينما نختتم عام 2022 ونستعد لاحتضان ما يخبئه عام 2023، إليك بعض من أبرز الاتجاهات الشاملة التي ميزت هذا العام في التعلم العميق.
1. لا يزال المقياس عاملاً مهمًا
أحد الموضوعات التي ظلت ثابتة في التعلم العميق خلال السنوات القليلة الماضية هو الدافع لإنشاء شبكات عصبية أكبر. إن توفر موارد الكمبيوتر يجعل توسيع نطاق الشبكات العصبية أمرًا ممكنًا، بالإضافة إلى أجهزة الذكاء الاصطناعي المتخصصة، ومجموعات البيانات الكبيرة، وتطوير البنى الصديقة للمقياس مثل نموذج المحولات.
في الوقت الحالي، تحقق الشركات نتائج أفضل من خلال توسيع نطاق الشبكات العصبية إلى أحجام أكبر. في العام الماضي، أعلنت شركة DeepMind عن نموذج Gopher، وهو نموذج لغوي كبير يبلغ حجمه 280 مليار متغير (LLM) ؛ أعلنت Google عن نموذج لغة Pathways (PaLM)، مع 540 مليار متغير، ونموذج اللغة العام (GLaM)، مع ما يصل إلى 1.2 تريليون متغير؛ و Microsoft و Nvidia أصدرت ميجاترون تورينج NLG، 530 مليار متغير LLM.
أحد الجوانب المثيرة للاهتمام في الحجم هو القدرات الناشئة، حيث تنجح النماذج الأكبر في إنجاز المهام التي كانت مستحيلة مع النماذج الأصغر. كانت هذه الظاهرة مثيرة للاهتمام بشكل خاص في LLMs، حيث تُظهر النماذج نتائج واعدة على نطاق أوسع من المهام والمعايير مع نمو حجمها.
ومع ذلك، تجدر الإشارة إلى أن بعض المشكلات الأساسية للتعلم العميق لا تزال دون حل، حتى في النماذج الأكبر (المزيد حول هذا بعد قليل).
2. يستمر التعلم غير الخاضع للإشراف لتقديمه
تتطلب العديد من تطبيقات التعلم العميق الناجحة من البشر تسمية أمثلة التدريب، والمعروف أيضًا باسم التعلم الخاضع للإشراف. لكن معظم البيانات المتاحة على الإنترنت لا تأتي مع الملصقات النظيفة اللازمة للتعلم الخاضع للإشراف. كما أن التعليقات التوضيحية على البيانات باهظة الثمن وبطيئة، مما يؤدي إلى حدوث اختناقات. لهذا السبب سعى الباحثون منذ فترة طويلة إلى تحقيق تقدم في التعلم غير الخاضع للإشراف، حيث يتم تدريب نماذج التعلم العميق دون الحاجة إلى بيانات مشروحة من قبل الإنسان.
كان هناك تقدم هائل في هذا المجال، في السنوات الأخيرة، لا سيما في LLMs، والتي يتم تدريبها في الغالب على مجموعات كبيرة من البيانات الأولية التي تم جمعها من جميع أنحاء الإنترنت. بينما واصلت LLM إحراز تقدم في عام 2022، رأينا أيضًا اتجاهات أخرى في تقنيات التعلم غير الخاضعة للإشراف تكتسب قوة دفع.
على سبيل المثال، كان هناك تقدم هائل في نماذج تحويل النص إلى صورة هذا العام. أظهرت نماذج مثل DALL-E 2 من OpenAI و Imagen من Google و Stability AI's Stable Diffusion قوة التعلم غير الخاضع للإشراف. على عكس النماذج القديمة لتحويل النص إلى صورة، والتي تتطلب أزواجًا مشروحة جيدًا من الصور والأوصاف، تستخدم هذه النماذج مجموعات بيانات كبيرة من الصور ذات التسميات التوضيحية الفضفاضة الموجودة بالفعل على الإنترنت. يتيح الحجم الكبير لمجموعات بيانات التدريب الخاصة بهم (وهو أمر ممكن فقط لأنه لا توجد حاجة إلى وضع العلامات اليدوية) وتنوع مخططات التسميات التوضيحية لهذه النماذج من العثور على جميع أنواع الأنماط المعقدة بين المعلومات النصية والمرئية. نتيجة لذلك، فهي أكثر مرونة في إنشاء الصور للأوصاف المختلفة.
3. تأخذ تعددية الوسائط خطوات كبيرة
مولدات تحويل النص إلى صورة لها خاصية أخرى مثيرة للاهتمام: فهي تجمع بين أنواع بيانات متعددة في نموذج واحد. القدرة على معالجة طرائق متعددة تمكن نماذج التعلم العميق من القيام بمهام أكثر تعقيدًا.
تعد تعددية الوسائط مهمة جدًا لنوع الذكاء الموجود في البشر والحيوانات. على سبيل المثال، عندما ترى شجرة وتسمع حفيف الريح في فروعها، يمكن لعقلك أن يربطها ببعضها بسرعة. وبالمثل، عندما ترى كلمة "شجرة"، يمكنك بسرعة استحضار صورة شجرة، أو تذكر رائحة الصنوبر بعد هطول الأمطار، أو تذكر التجارب الأخرى التي مررت بها سابقًا.
من الواضح أن تعدد الوسائط قد لعبت دورًا مهمًا في جعل أنظمة التعلم العميق أكثر مرونة. ربما تم عرض هذا بشكل أفضل من خلال DeepMind’s Gato، وهو نموذج تعلم عميق تم تدريبه على مجموعة متنوعة من أنواع البيانات، بما في ذلك الصور والنصوص وبيانات الحس العميق. أظهر Gato أداءً لائقًا في مهام متعددة، بما في ذلك التعليق على الصور والحوارات التفاعلية والتحكم في ذراع آلية وممارسة الألعاب. هذا على عكس نماذج التعلم العميق الكلاسيكية، المصممة لأداء مهمة واحدة.
أخذ بعض الباحثين الفكرة بقدر ما اقترحوا أن نظامًا مثل Gato هو كل ما نحتاجه لتحقيق الذكاء الاصطناعي العام (AGI). في حين أن العديد من العلماء يختلفون مع هذا الرأي، فمن المؤكد أن تعدد الوسائط قد حقق إنجازات مهمة للتعلم العميق.
4. مشاكل التعلم العميق الأساسية لا تزال قائمة
على الرغم من الإنجازات الرائعة للتعلم العميق، لا تزال بعض مشاكل المجال دون حل. من بينها السببية، والتكوين، والحس السليم، والتفكير، والتخطيط، والفيزياء البديهية، والتجريد وصنع القياس.
هذه بعض ألغاز الذكاء التي لا تزال قيد الدراسة من قبل العلماء في مختلف المجالات. ساعدت مناهج التعلم العميق القائمة على المقياس والبيانات على إحراز تقدم تدريجي في بعض هذه المشكلات بينما فشلت في توفير حل نهائي.
على سبيل المثال، يمكن أن تحافظ LLM الأكبر على الترابط والاتساق على مساحات أطول من النص. لكنهم يفشلون في المهام التي تتطلب التفكير والتخطيط الدقيق خطوة بخطوة.
وبالمثل، تنشئ مولدات تحويل النص إلى صورة رسومات مذهلة ولكنها ترتكب أخطاء أساسية عندما يُطلب منك رسم صور تتطلب تكوينًا أو تحتوي على أوصاف معقدة.
تتم مناقشة هذه التحديات واستكشافها من قبل علماء مختلفين، بما في ذلك بعض رواد التعلم العميق. من أبرز هؤلاء يان ليكون، مخترع الشبكات العصبية التلافيفية (سي إن إن) الحائز على جائزة تورينج، والذي كتب مؤخرًا مقالًا طويلًا عن حدود LLMs التي تتعلم من النص وحده. يقوم LeCun بإجراء بحث حول بنية التعلم العميق التي تتعلم نماذج العالم ويمكنها معالجة بعض التحديات التي يعاني منها المجال حاليًا.
لقد قطع التعلم العميق شوطا طويلا. ولكن كلما أحرزنا تقدمًا أكبر، أصبحنا أكثر وعيًا بالتحديات التي تواجهنا في إنشاء أنظمة ذكية حقًا. سيكون العام المقبل بالتأكيد مثيرًا مثل هذا العام.
1. لا يزال المقياس عاملاً مهمًا
أحد الموضوعات التي ظلت ثابتة في التعلم العميق خلال السنوات القليلة الماضية هو الدافع لإنشاء شبكات عصبية أكبر. إن توفر موارد الكمبيوتر يجعل توسيع نطاق الشبكات العصبية أمرًا ممكنًا، بالإضافة إلى أجهزة الذكاء الاصطناعي المتخصصة، ومجموعات البيانات الكبيرة، وتطوير البنى الصديقة للمقياس مثل نموذج المحولات.
في الوقت الحالي، تحقق الشركات نتائج أفضل من خلال توسيع نطاق الشبكات العصبية إلى أحجام أكبر. في العام الماضي، أعلنت شركة DeepMind عن نموذج Gopher، وهو نموذج لغوي كبير يبلغ حجمه 280 مليار متغير (LLM) ؛ أعلنت Google عن نموذج لغة Pathways (PaLM)، مع 540 مليار متغير، ونموذج اللغة العام (GLaM)، مع ما يصل إلى 1.2 تريليون متغير؛ و Microsoft و Nvidia أصدرت ميجاترون تورينج NLG، 530 مليار متغير LLM.
أحد الجوانب المثيرة للاهتمام في الحجم هو القدرات الناشئة، حيث تنجح النماذج الأكبر في إنجاز المهام التي كانت مستحيلة مع النماذج الأصغر. كانت هذه الظاهرة مثيرة للاهتمام بشكل خاص في LLMs، حيث تُظهر النماذج نتائج واعدة على نطاق أوسع من المهام والمعايير مع نمو حجمها.
ومع ذلك، تجدر الإشارة إلى أن بعض المشكلات الأساسية للتعلم العميق لا تزال دون حل، حتى في النماذج الأكبر (المزيد حول هذا بعد قليل).
2. يستمر التعلم غير الخاضع للإشراف لتقديمه
تتطلب العديد من تطبيقات التعلم العميق الناجحة من البشر تسمية أمثلة التدريب، والمعروف أيضًا باسم التعلم الخاضع للإشراف. لكن معظم البيانات المتاحة على الإنترنت لا تأتي مع الملصقات النظيفة اللازمة للتعلم الخاضع للإشراف. كما أن التعليقات التوضيحية على البيانات باهظة الثمن وبطيئة، مما يؤدي إلى حدوث اختناقات. لهذا السبب سعى الباحثون منذ فترة طويلة إلى تحقيق تقدم في التعلم غير الخاضع للإشراف، حيث يتم تدريب نماذج التعلم العميق دون الحاجة إلى بيانات مشروحة من قبل الإنسان.
كان هناك تقدم هائل في هذا المجال، في السنوات الأخيرة، لا سيما في LLMs، والتي يتم تدريبها في الغالب على مجموعات كبيرة من البيانات الأولية التي تم جمعها من جميع أنحاء الإنترنت. بينما واصلت LLM إحراز تقدم في عام 2022، رأينا أيضًا اتجاهات أخرى في تقنيات التعلم غير الخاضعة للإشراف تكتسب قوة دفع.
على سبيل المثال، كان هناك تقدم هائل في نماذج تحويل النص إلى صورة هذا العام. أظهرت نماذج مثل DALL-E 2 من OpenAI و Imagen من Google و Stability AI's Stable Diffusion قوة التعلم غير الخاضع للإشراف. على عكس النماذج القديمة لتحويل النص إلى صورة، والتي تتطلب أزواجًا مشروحة جيدًا من الصور والأوصاف، تستخدم هذه النماذج مجموعات بيانات كبيرة من الصور ذات التسميات التوضيحية الفضفاضة الموجودة بالفعل على الإنترنت. يتيح الحجم الكبير لمجموعات بيانات التدريب الخاصة بهم (وهو أمر ممكن فقط لأنه لا توجد حاجة إلى وضع العلامات اليدوية) وتنوع مخططات التسميات التوضيحية لهذه النماذج من العثور على جميع أنواع الأنماط المعقدة بين المعلومات النصية والمرئية. نتيجة لذلك، فهي أكثر مرونة في إنشاء الصور للأوصاف المختلفة.
3. تأخذ تعددية الوسائط خطوات كبيرة
مولدات تحويل النص إلى صورة لها خاصية أخرى مثيرة للاهتمام: فهي تجمع بين أنواع بيانات متعددة في نموذج واحد. القدرة على معالجة طرائق متعددة تمكن نماذج التعلم العميق من القيام بمهام أكثر تعقيدًا.
تعد تعددية الوسائط مهمة جدًا لنوع الذكاء الموجود في البشر والحيوانات. على سبيل المثال، عندما ترى شجرة وتسمع حفيف الريح في فروعها، يمكن لعقلك أن يربطها ببعضها بسرعة. وبالمثل، عندما ترى كلمة "شجرة"، يمكنك بسرعة استحضار صورة شجرة، أو تذكر رائحة الصنوبر بعد هطول الأمطار، أو تذكر التجارب الأخرى التي مررت بها سابقًا.
من الواضح أن تعدد الوسائط قد لعبت دورًا مهمًا في جعل أنظمة التعلم العميق أكثر مرونة. ربما تم عرض هذا بشكل أفضل من خلال DeepMind’s Gato، وهو نموذج تعلم عميق تم تدريبه على مجموعة متنوعة من أنواع البيانات، بما في ذلك الصور والنصوص وبيانات الحس العميق. أظهر Gato أداءً لائقًا في مهام متعددة، بما في ذلك التعليق على الصور والحوارات التفاعلية والتحكم في ذراع آلية وممارسة الألعاب. هذا على عكس نماذج التعلم العميق الكلاسيكية، المصممة لأداء مهمة واحدة.
أخذ بعض الباحثين الفكرة بقدر ما اقترحوا أن نظامًا مثل Gato هو كل ما نحتاجه لتحقيق الذكاء الاصطناعي العام (AGI). في حين أن العديد من العلماء يختلفون مع هذا الرأي، فمن المؤكد أن تعدد الوسائط قد حقق إنجازات مهمة للتعلم العميق.
4. مشاكل التعلم العميق الأساسية لا تزال قائمة
على الرغم من الإنجازات الرائعة للتعلم العميق، لا تزال بعض مشاكل المجال دون حل. من بينها السببية، والتكوين، والحس السليم، والتفكير، والتخطيط، والفيزياء البديهية، والتجريد وصنع القياس.
هذه بعض ألغاز الذكاء التي لا تزال قيد الدراسة من قبل العلماء في مختلف المجالات. ساعدت مناهج التعلم العميق القائمة على المقياس والبيانات على إحراز تقدم تدريجي في بعض هذه المشكلات بينما فشلت في توفير حل نهائي.
على سبيل المثال، يمكن أن تحافظ LLM الأكبر على الترابط والاتساق على مساحات أطول من النص. لكنهم يفشلون في المهام التي تتطلب التفكير والتخطيط الدقيق خطوة بخطوة.
وبالمثل، تنشئ مولدات تحويل النص إلى صورة رسومات مذهلة ولكنها ترتكب أخطاء أساسية عندما يُطلب منك رسم صور تتطلب تكوينًا أو تحتوي على أوصاف معقدة.
تتم مناقشة هذه التحديات واستكشافها من قبل علماء مختلفين، بما في ذلك بعض رواد التعلم العميق. من أبرز هؤلاء يان ليكون، مخترع الشبكات العصبية التلافيفية (سي إن إن) الحائز على جائزة تورينج، والذي كتب مؤخرًا مقالًا طويلًا عن حدود LLMs التي تتعلم من النص وحده. يقوم LeCun بإجراء بحث حول بنية التعلم العميق التي تتعلم نماذج العالم ويمكنها معالجة بعض التحديات التي يعاني منها المجال حاليًا.
لقد قطع التعلم العميق شوطا طويلا. ولكن كلما أحرزنا تقدمًا أكبر، أصبحنا أكثر وعيًا بالتحديات التي تواجهنا في إنشاء أنظمة ذكية حقًا. سيكون العام المقبل بالتأكيد مثيرًا مثل هذا العام.
