مع انتشار التقنيات التي تعمل بالذكاء الاصطناعي في المؤسسة، دخل مصطلح "الذكاء الاصطناعي القابل للتفسير" (XAI) Explainable AI إلى اللغة العامية السائدة. XAI عبارة عن مجموعة من الأدوات والتقنيات والأطر التي تهدف إلى مساعدة مستخدمي ومصممي أنظمة الذكاء الاصطناعي على فهم توقعاتهم، بما في ذلك كيف ولماذا وصلت الأنظمة إليها.
وجد تقرير IDC الصادر في يونيو 2020 أن صانعي القرار في مجال الأعمال يعتقدون أن القابلية للتفسير هي "مطلب حاسم Critical Requirement" في الذكاء الاصطناعي. تحقيقا لهذه الغاية، تمت الإشارة إلى القابلية للتفسير كمبدأ إرشادي لتطوير الذكاء الاصطناعي في DARPA، وفريق الخبراء رفيع المستوى التابع للمفوضية الأوروبية والمعني بالذكاء الاصطناعي، والمعهد الوطني للمعايير والتكنولوجيا. بدأت الشركات الناشئة في الظهور لتقديم "القابلية للتفسير كخدمة Explainability as a service"، مثل Truera، وقد قام عمالقة التكنولوجيا مثل IBM و Google و Microsoft بتوفير مجموعة أدوات وطرق XAI مفتوحة المصدر.
ولكن في حين أن XAI دائمًا ما يكون مرغوبًا فيه أكثر من الصندوق الأسود للذكاء الاصطناعي، حيث لا يتم الكشف عن عمليات النظام، فإن رياضيات الخوارزميات يمكن أن تجعل من الصعب تحقيقها. بصرف النظر عن العقبات التقنية، تكافح الشركات أحيانًا لتحديد "القابلية للتفسير" لتطبيق معين. وجد تقرير FICO أن 65% من الموظفين لا يمكنهم تفسير كيفية اتخاذ قرارات أو تنبؤات نموذج الذكاء الاصطناعي- مما يؤدي إلى تفاقم التحدي.
ما هو الذكاء الاصطناعي القابل للتفسير (XAI)؟
بشكل عام، هناك ثلاثة أنواع من التفسيرات في XAI: التأثير العالمي والمحلي والاجتماعي.
- تلقي التفسيرات العالمية الضوء على ما يقوم به النظام ككل على عكس العمليات التي تؤدي إلى التنبؤ أو القرار. غالبًا ما تتضمن ملخصات لكيفية استخدام النظام لميزة لإجراء تنبؤ و "معلومات وصفية Metainformation"، مثل نوع البيانات المستخدمة لتدريب النظام.
- توفر التفسيرات المحلية وصفًا تفصيليًا لكيفية توصل النموذج إلى تنبؤ محدد. قد تتضمن هذه معلومات حول كيفية استخدام النموذج للميزات لتوليد مخرجات أو كيف ستؤثر العيوب في بيانات الإدخال على المخرجات.
- تتعلق تفسيرات التأثير الاجتماعي بالطريقة التي يتصرف بها الآخرون "المرتبطون اجتماعيًا Socially relevant"- أي المستخدمين- استجابة لتوقعات النظام. قد يُظهر النظام الذي يستخدم هذا النوع من التفسير تقريرًا عن إحصائيات اعتماد النموذج، أو ترتيب النظام حسب المستخدمين الذين لديهم خصائص مماثلة (على سبيل المثال، الأشخاص فوق سن معينة).
كمؤلفي مذكرة بحثية حديثة عن معهد Intuit و Holon Institute of Technology، فإن التفسيرات العالمية غالبًا ما تكون أقل تكلفة ويصعب تنفيذها في أنظمة العالم الحقيقي، مما يجعلها جذابة في الممارسة العملية. تميل التفسيرات المحلية، رغم أنها أكثر دقة، إلى أن تكون باهظة الثمن لأنه يجب حسابها كل حالة على حدة.
العرض مهم في XAI
يمكن تأطير التفسيرات، بغض النظر عن نوعها، بطرق مختلفة. أهمية العرض التقديمي- يمكن أن تؤثر كمية المعلومات المقدمة، وكذلك الصياغة والصياغة والتصورات (مثل الرسوم البيانية والجداول)، على ما يدركه الناس حول النظام. أظهرت الدراسات أن قوة تفسيرات الذكاء الاصطناعي تكمن في عين الناظر بقدر ما تكمن في أذهان المصمم؛ القصد التوضيحي والاستدلال مهم بقدر أهمية الهدف المقصود.
كما كتب معهد Brookings: "ضع في اعتبارك، على سبيل المثال، الاحتياجات المختلفة للمطورين والمستخدمين في جعل نظام الذكاء الاصطناعي قابلاً للتفسير. قد يستخدم المطور أداة What-If من Google لمراجعة لوحات المعلومات المعقدة التي توفر تصورات لأداء النموذج في مواقف افتراضية مختلفة، وتحليل أهمية ميزات البيانات المختلفة، واختبار المفاهيم المختلفة للعدالة. من ناحية أخرى، قد يفضل المستخدمون شيئًا أكثر استهدافًا. في نظام تسجيل الائتمان، قد يكون الأمر بسيطًا مثل إبلاغ المستخدم بالعوامل، مثل التأخير في السداد، التي أدت إلى خصم النقاط. سيتطلب المستخدمون والسيناريوهات المختلفة مخرجات مختلفة".
اكتشفت دراسة قبلت في 2020 ACM حول التفاعل بين الإنسان والحاسوب أن التفسيرات، المكتوبة بطريقة معينة، يمكن أن تخلق إحساسًا زائفًا بالأمان والثقة الزائدة في الذكاء الاصطناعي. في العديد من الأوراق البحثية ذات الصلة، وجد الباحثون أن علماء البيانات والمحللين يرون دقة النظام بشكل مختلف، حيث ينظر المحللون بشكل غير دقيق إلى مقاييس معينة كمقياس للأداء حتى عندما لا يفهمون كيفية حساب المقاييس.
الاختيار في نوع التفسير- والعرض- ليس عالميًا. يتعين على المؤلفين المشاركين في عوامل تخطيط Intuit و Holon Institute للتكنولوجيا أخذها في الاعتبار عند اتخاذ قرارات تصميم XAI، بما في ذلك ما يلي:
- الشفافية Transparency: مستوى التفصيل المقدم
- التدقيق Scrutability: إلى أي مدى يمكن للمستخدمين تقديم ملاحظات لتغيير نظام الذكاء الاصطناعي عندما يكون خاطئًا
- الثقة Trust: مستوى الثقة في النظام
- الإقناع Persuasiveness: الدرجة التي يقنع بها النظام نفسه في جعل المستخدمين يشترون أو يجربون التوصيات التي يقدمها
- الرضا Satisfaction: المستوى الذي يكون فيه النظام ممتعًا في الاستخدام
- فهم المستخدم User understanding: مدى فهم المستخدم لطبيعة خدمة الذكاء الاصطناعي المقدمة
بطاقات النموذج، وملصقات البيانات، وأوراق الحقائق
وجد تقرير IDC الصادر في يونيو 2020 أن صانعي القرار في مجال الأعمال يعتقدون أن القابلية للتفسير هي "مطلب حاسم Critical Requirement" في الذكاء الاصطناعي. تحقيقا لهذه الغاية، تمت الإشارة إلى القابلية للتفسير كمبدأ إرشادي لتطوير الذكاء الاصطناعي في DARPA، وفريق الخبراء رفيع المستوى التابع للمفوضية الأوروبية والمعني بالذكاء الاصطناعي، والمعهد الوطني للمعايير والتكنولوجيا. بدأت الشركات الناشئة في الظهور لتقديم "القابلية للتفسير كخدمة Explainability as a service"، مثل Truera، وقد قام عمالقة التكنولوجيا مثل IBM و Google و Microsoft بتوفير مجموعة أدوات وطرق XAI مفتوحة المصدر.
ولكن في حين أن XAI دائمًا ما يكون مرغوبًا فيه أكثر من الصندوق الأسود للذكاء الاصطناعي، حيث لا يتم الكشف عن عمليات النظام، فإن رياضيات الخوارزميات يمكن أن تجعل من الصعب تحقيقها. بصرف النظر عن العقبات التقنية، تكافح الشركات أحيانًا لتحديد "القابلية للتفسير" لتطبيق معين. وجد تقرير FICO أن 65% من الموظفين لا يمكنهم تفسير كيفية اتخاذ قرارات أو تنبؤات نموذج الذكاء الاصطناعي- مما يؤدي إلى تفاقم التحدي.
ما هو الذكاء الاصطناعي القابل للتفسير (XAI)؟
بشكل عام، هناك ثلاثة أنواع من التفسيرات في XAI: التأثير العالمي والمحلي والاجتماعي.
- تلقي التفسيرات العالمية الضوء على ما يقوم به النظام ككل على عكس العمليات التي تؤدي إلى التنبؤ أو القرار. غالبًا ما تتضمن ملخصات لكيفية استخدام النظام لميزة لإجراء تنبؤ و "معلومات وصفية Metainformation"، مثل نوع البيانات المستخدمة لتدريب النظام.
- توفر التفسيرات المحلية وصفًا تفصيليًا لكيفية توصل النموذج إلى تنبؤ محدد. قد تتضمن هذه معلومات حول كيفية استخدام النموذج للميزات لتوليد مخرجات أو كيف ستؤثر العيوب في بيانات الإدخال على المخرجات.
- تتعلق تفسيرات التأثير الاجتماعي بالطريقة التي يتصرف بها الآخرون "المرتبطون اجتماعيًا Socially relevant"- أي المستخدمين- استجابة لتوقعات النظام. قد يُظهر النظام الذي يستخدم هذا النوع من التفسير تقريرًا عن إحصائيات اعتماد النموذج، أو ترتيب النظام حسب المستخدمين الذين لديهم خصائص مماثلة (على سبيل المثال، الأشخاص فوق سن معينة).
كمؤلفي مذكرة بحثية حديثة عن معهد Intuit و Holon Institute of Technology، فإن التفسيرات العالمية غالبًا ما تكون أقل تكلفة ويصعب تنفيذها في أنظمة العالم الحقيقي، مما يجعلها جذابة في الممارسة العملية. تميل التفسيرات المحلية، رغم أنها أكثر دقة، إلى أن تكون باهظة الثمن لأنه يجب حسابها كل حالة على حدة.
العرض مهم في XAI
يمكن تأطير التفسيرات، بغض النظر عن نوعها، بطرق مختلفة. أهمية العرض التقديمي- يمكن أن تؤثر كمية المعلومات المقدمة، وكذلك الصياغة والصياغة والتصورات (مثل الرسوم البيانية والجداول)، على ما يدركه الناس حول النظام. أظهرت الدراسات أن قوة تفسيرات الذكاء الاصطناعي تكمن في عين الناظر بقدر ما تكمن في أذهان المصمم؛ القصد التوضيحي والاستدلال مهم بقدر أهمية الهدف المقصود.
كما كتب معهد Brookings: "ضع في اعتبارك، على سبيل المثال، الاحتياجات المختلفة للمطورين والمستخدمين في جعل نظام الذكاء الاصطناعي قابلاً للتفسير. قد يستخدم المطور أداة What-If من Google لمراجعة لوحات المعلومات المعقدة التي توفر تصورات لأداء النموذج في مواقف افتراضية مختلفة، وتحليل أهمية ميزات البيانات المختلفة، واختبار المفاهيم المختلفة للعدالة. من ناحية أخرى، قد يفضل المستخدمون شيئًا أكثر استهدافًا. في نظام تسجيل الائتمان، قد يكون الأمر بسيطًا مثل إبلاغ المستخدم بالعوامل، مثل التأخير في السداد، التي أدت إلى خصم النقاط. سيتطلب المستخدمون والسيناريوهات المختلفة مخرجات مختلفة".
اكتشفت دراسة قبلت في 2020 ACM حول التفاعل بين الإنسان والحاسوب أن التفسيرات، المكتوبة بطريقة معينة، يمكن أن تخلق إحساسًا زائفًا بالأمان والثقة الزائدة في الذكاء الاصطناعي. في العديد من الأوراق البحثية ذات الصلة، وجد الباحثون أن علماء البيانات والمحللين يرون دقة النظام بشكل مختلف، حيث ينظر المحللون بشكل غير دقيق إلى مقاييس معينة كمقياس للأداء حتى عندما لا يفهمون كيفية حساب المقاييس.
الاختيار في نوع التفسير- والعرض- ليس عالميًا. يتعين على المؤلفين المشاركين في عوامل تخطيط Intuit و Holon Institute للتكنولوجيا أخذها في الاعتبار عند اتخاذ قرارات تصميم XAI، بما في ذلك ما يلي:
- الشفافية Transparency: مستوى التفصيل المقدم
- التدقيق Scrutability: إلى أي مدى يمكن للمستخدمين تقديم ملاحظات لتغيير نظام الذكاء الاصطناعي عندما يكون خاطئًا
- الثقة Trust: مستوى الثقة في النظام
- الإقناع Persuasiveness: الدرجة التي يقنع بها النظام نفسه في جعل المستخدمين يشترون أو يجربون التوصيات التي يقدمها
- الرضا Satisfaction: المستوى الذي يكون فيه النظام ممتعًا في الاستخدام
- فهم المستخدم User understanding: مدى فهم المستخدم لطبيعة خدمة الذكاء الاصطناعي المقدمة
بطاقات النموذج، وملصقات البيانات، وأوراق الحقائق
Model cards, data labels, and fact sheets
توفر بطاقات النماذج Model cards معلومات عن محتويات وسلوك النظام. تم وصف البطاقات لأول مرة من قبل عالم أخلاقيات الذكاء الاصطناعي Timnit Gebru، وهي تمكن المطورين من فهم جوانب بسرعة مثل بيانات التدريب، والتحيزات المحددة، ونتائج الاختبارات المعيارية، والفجوات في الاعتبارات الأخلاقية.
تختلف بطاقات النماذج حسب المؤسسة والمطور، ولكنها عادةً ما تتضمن التفاصيل الفنية ومخططات البيانات التي تُظهر انهيار عدم توازن الفئة أو انحراف البيانات للحقول الحساسة مثل الجنس. توجد العديد من مجموعات أدوات إنشاء البطاقات، ولكن واحدة من أحدثها من Google، والتي تقدم تقارير عن مصدر النموذج، واستخدامه، وعمليات التقييم "المستندة إلى الأخلاقيات".
ملصقات البيانات وأوراق الحقائق
تم اقتراح ملصقات البيانات من قبل زمالة Assembly، وهي مستوحاة من الملصقات الغذائية على الطعام، بهدف تسليط الضوء على المكونات الرئيسية في مجموعة البيانات مثل البيانات الوصفية، والمجموعات السكانية، والميزات الشاذة المتعلقة بالتوزيعات. توفر تسميات البيانات أيضًا معلومات مستهدفة حول مجموعة البيانات بناءً على حالة الاستخدام المقصودة، بما في ذلك التنبيهات والعلامات ذات الصلة بهذا الاستخدام المحدد.
وعلى نفس المنوال، أنشأت شركة IBM "أوراق حقائق" للأنظمة التي توفر معلومات حول الخصائص الرئيسية للأنظمة. تجيب أوراق الحقائق على أسئلة تتراوح من بيانات تشغيل النظام والتدريب إلى الخوارزميات الأساسية، وإعدادات الاختبار والنتائج، ومعايير الأداء، وفحوصات الإنصاف والمتانة، والاستخدامات المقصودة، والصيانة، وإعادة التدريب. بالنسبة لأنظمة اللغة الطبيعية على وجه التحديد، مثل GPT-3 من OpenAI، تتضمن أوراق الحقائق بيانات البيانات التي توضح كيف يمكن تعميم الخوارزمية، وكيف يمكن نشرها، وما هي التحيزات التي قد تحتويها.
الأساليب الفنية ومجموعات الأدوات Technical approaches and toolkits
هناك عدد متزايد من الأساليب والمكتبات والأدوات لـ XAI. على سبيل المثال، يساعد "انتشار صلة الطبقات layerwise relevance propagation" على تحديد الميزات التي تساهم بقوة أكبر في تنبؤات النموذج. تنتج تقنيات أخرى خرائط البروز Saliency maps حيث يتم تسجيل كل سمة من سمات بيانات الإدخال بناءً على مساهمتها في المخرجات النهائية. على سبيل المثال، في مصنف الصور، ستقوم خريطة البروز بتقييم وحدات البكسل بناءً على المساهمات التي تقدمها في إخراج نموذج التعلم الآلي.
ما يسمى بأنظمة الصندوق الزجاجي، أو الإصدارات المبسطة للأنظمة، تجعل من السهل تتبع كيفية تأثير أجزاء مختلفة من البيانات على النظام. على الرغم من أنها لا تعمل بشكل جيد عبر المجالات، إلا أن أنظمة الصندوق الزجاجي البسيطة تعمل على أنواع البيانات المنظمة مثل جداول الإحصائيات. يمكن استخدامها أيضًا كخطوة لتصحيح الأخطاء للكشف عن الأخطاء المحتملة في أنظمة الصندوق الأسود الأكثر تعقيدًا.
يستخدم Captum من Facebook، الذي تم طرحه قبل ثلاث سنوات، الصور لتوضيح أهمية الميزة أو إجراء غوص عميق في النماذج لإظهار كيفية مساهمة مكوناتها في التنبؤات.
في مارس 2019، أصدرت OpenAI و Google تقنية أطلس التنشيط لتصور القرارات التي تتخذها خوارزميات التعلم الآلي. في منشور مدونة، أوضحت OpenAI كيف يمكن استخدام أطالس التنشيط لتدقيق سبب تصنيف نموذج رؤية الكمبيوتر للأشياء بطريقة معينة - على سبيل المثال، ربط تسمية "قاطرة بخارية" بخزانات هواء الغواصين عن طريق الخطأ.
تعتمد مجموعة أدوات الذكاء الاصطناعي القابلة للتفسير من IBM، والتي تم إطلاقها في أغسطس 2019، على عدد من الطرق المختلفة لشرح النتائج، مثل الخوارزمية التي تحاول تسليط الضوء على المعلومات المفقودة المهمة في مجموعات البيانات.
بالإضافة إلى ذلك، فتحت Red Hat مؤخرًا حزمة، TrustyAI، لتدقيق أنظمة اتخاذ القرار بالذكاء الاصطناعي. يمكن لـ TrustyAI استبطان النماذج لوصف التنبؤات والنتائج من خلال النظر في مخطط "أهمية الميزة" الذي يأمر مدخلات النموذج من خلال أهمها لعملية صنع القرار.
أوجه القصور في الشفافية و XAI
يقدم موجز السياسة عن XAI من قبل الجمعية الملكية مثالاً للأهداف التي يجب أن تحققها. من بين أمور أخرى، يجب أن تمنح XAI المستخدمين الثقة في أن النظام هو أداة فعالة لهذا الغرض ويلبي توقعات المجتمع حول كيفية منح الأشخاص وكالة في عملية صنع القرار. لكن في الواقع، غالبًا ما تقصر XAI، مما يزيد من فروق القوة بين أولئك الذين ينشئون الأنظمة وتلك التي تتأثر بها.
كشف استطلاع أجراه باحثون في معهد آلان تورينج، وشراكة الذكاء الاصطناعي، وآخرون في عام 2020 أن غالبية عمليات نشر XAI تُستخدم داخليًا لدعم الجهود الهندسية بدلاً من تعزيز الثقة أو الشفافية مع المستخدمين. قال المشاركون في الدراسة إنه كان من الصعب تقديم تفسيرات للمستخدمين بسبب مخاطر الخصوصية والتحديات التكنولوجية وأنهم عانوا من أجل تنفيذ قابلية الشرح لأنهم يفتقرون إلى الوضوح بشأن أهدافها.
وصفت دراسة أخرى لعام 2020، تركز على واجهة المستخدم وممارسي التصميم في IBM الذين يعملون على XAI، تقنيات XAI الحالية بأنها "تفشل في الارتقاء إلى مستوى التوقعات" وتتعارض مع الأهداف التنظيمية مثل حماية البيانات الخاصة.
كتب معهد Brookings: "بالرغم من وجود العديد من طرق التفسير المختلفة الجاري العمل بها حاليًا، إلا أنها ترسم بشكل أساسي مجموعة فرعية صغيرة من الأهداف الموضحة أعلاه. يبدو أن اثنين من الأهداف الهندسية- ضمان الفعالية وتحسين الأداء- هما الأفضل تمثيلاً. الأهداف الأخرى، بما في ذلك دعم فهم المستخدم ورؤيته حول التأثيرات المجتمعية الأوسع، مهملة حاليًا".
يمكن للتشريعات المرتقبة مثل قانون الذكاء الاصطناعي في الاتحاد الأوروبي، والذي يركز على الأخلاق، أن يدفع الشركات إلى تطبيق XAI بشكل أكثر شمولاً. لذلك، أيضًا، يمكن أن يحول الرأي العام بشأن شفافية الذكاء الاصطناعي. في تقرير عام 2021 من قبل CognitiveScale، قال 34% من صانعي القرار على المستوى C أن أهم قدرات الذكاء الاصطناعي هي "قابلة للتفسير وموثوق بها". وأخبر 87% من المدراء التنفيذيين شركة Juniper في دراسة استقصائية حديثة أنهم يعتقدون أن المؤسسات تتحمل مسؤولية تبني سياسات تقلل من الآثار السلبية للذكاء الاصطناعي.
بخلاف الأخلاق، هناك دافع تجاري للاستثمار في تقنيات XAI. وجدت دراسة أجرتها Capgemini أن العملاء سوف يكافئون المؤسسات التي تمارس الذكاء الاصطناعي الأخلاقي بمزيد من الولاء، والمزيد من الأعمال، وحتى الاستعداد للدفاع عنها- ومعاقبة أولئك الذين لا يمارسونها.
توفر بطاقات النماذج Model cards معلومات عن محتويات وسلوك النظام. تم وصف البطاقات لأول مرة من قبل عالم أخلاقيات الذكاء الاصطناعي Timnit Gebru، وهي تمكن المطورين من فهم جوانب بسرعة مثل بيانات التدريب، والتحيزات المحددة، ونتائج الاختبارات المعيارية، والفجوات في الاعتبارات الأخلاقية.
تختلف بطاقات النماذج حسب المؤسسة والمطور، ولكنها عادةً ما تتضمن التفاصيل الفنية ومخططات البيانات التي تُظهر انهيار عدم توازن الفئة أو انحراف البيانات للحقول الحساسة مثل الجنس. توجد العديد من مجموعات أدوات إنشاء البطاقات، ولكن واحدة من أحدثها من Google، والتي تقدم تقارير عن مصدر النموذج، واستخدامه، وعمليات التقييم "المستندة إلى الأخلاقيات".
ملصقات البيانات وأوراق الحقائق
تم اقتراح ملصقات البيانات من قبل زمالة Assembly، وهي مستوحاة من الملصقات الغذائية على الطعام، بهدف تسليط الضوء على المكونات الرئيسية في مجموعة البيانات مثل البيانات الوصفية، والمجموعات السكانية، والميزات الشاذة المتعلقة بالتوزيعات. توفر تسميات البيانات أيضًا معلومات مستهدفة حول مجموعة البيانات بناءً على حالة الاستخدام المقصودة، بما في ذلك التنبيهات والعلامات ذات الصلة بهذا الاستخدام المحدد.
وعلى نفس المنوال، أنشأت شركة IBM "أوراق حقائق" للأنظمة التي توفر معلومات حول الخصائص الرئيسية للأنظمة. تجيب أوراق الحقائق على أسئلة تتراوح من بيانات تشغيل النظام والتدريب إلى الخوارزميات الأساسية، وإعدادات الاختبار والنتائج، ومعايير الأداء، وفحوصات الإنصاف والمتانة، والاستخدامات المقصودة، والصيانة، وإعادة التدريب. بالنسبة لأنظمة اللغة الطبيعية على وجه التحديد، مثل GPT-3 من OpenAI، تتضمن أوراق الحقائق بيانات البيانات التي توضح كيف يمكن تعميم الخوارزمية، وكيف يمكن نشرها، وما هي التحيزات التي قد تحتويها.
الأساليب الفنية ومجموعات الأدوات Technical approaches and toolkits
هناك عدد متزايد من الأساليب والمكتبات والأدوات لـ XAI. على سبيل المثال، يساعد "انتشار صلة الطبقات layerwise relevance propagation" على تحديد الميزات التي تساهم بقوة أكبر في تنبؤات النموذج. تنتج تقنيات أخرى خرائط البروز Saliency maps حيث يتم تسجيل كل سمة من سمات بيانات الإدخال بناءً على مساهمتها في المخرجات النهائية. على سبيل المثال، في مصنف الصور، ستقوم خريطة البروز بتقييم وحدات البكسل بناءً على المساهمات التي تقدمها في إخراج نموذج التعلم الآلي.
ما يسمى بأنظمة الصندوق الزجاجي، أو الإصدارات المبسطة للأنظمة، تجعل من السهل تتبع كيفية تأثير أجزاء مختلفة من البيانات على النظام. على الرغم من أنها لا تعمل بشكل جيد عبر المجالات، إلا أن أنظمة الصندوق الزجاجي البسيطة تعمل على أنواع البيانات المنظمة مثل جداول الإحصائيات. يمكن استخدامها أيضًا كخطوة لتصحيح الأخطاء للكشف عن الأخطاء المحتملة في أنظمة الصندوق الأسود الأكثر تعقيدًا.
يستخدم Captum من Facebook، الذي تم طرحه قبل ثلاث سنوات، الصور لتوضيح أهمية الميزة أو إجراء غوص عميق في النماذج لإظهار كيفية مساهمة مكوناتها في التنبؤات.
في مارس 2019، أصدرت OpenAI و Google تقنية أطلس التنشيط لتصور القرارات التي تتخذها خوارزميات التعلم الآلي. في منشور مدونة، أوضحت OpenAI كيف يمكن استخدام أطالس التنشيط لتدقيق سبب تصنيف نموذج رؤية الكمبيوتر للأشياء بطريقة معينة - على سبيل المثال، ربط تسمية "قاطرة بخارية" بخزانات هواء الغواصين عن طريق الخطأ.
تعتمد مجموعة أدوات الذكاء الاصطناعي القابلة للتفسير من IBM، والتي تم إطلاقها في أغسطس 2019، على عدد من الطرق المختلفة لشرح النتائج، مثل الخوارزمية التي تحاول تسليط الضوء على المعلومات المفقودة المهمة في مجموعات البيانات.
بالإضافة إلى ذلك، فتحت Red Hat مؤخرًا حزمة، TrustyAI، لتدقيق أنظمة اتخاذ القرار بالذكاء الاصطناعي. يمكن لـ TrustyAI استبطان النماذج لوصف التنبؤات والنتائج من خلال النظر في مخطط "أهمية الميزة" الذي يأمر مدخلات النموذج من خلال أهمها لعملية صنع القرار.
أوجه القصور في الشفافية و XAI
يقدم موجز السياسة عن XAI من قبل الجمعية الملكية مثالاً للأهداف التي يجب أن تحققها. من بين أمور أخرى، يجب أن تمنح XAI المستخدمين الثقة في أن النظام هو أداة فعالة لهذا الغرض ويلبي توقعات المجتمع حول كيفية منح الأشخاص وكالة في عملية صنع القرار. لكن في الواقع، غالبًا ما تقصر XAI، مما يزيد من فروق القوة بين أولئك الذين ينشئون الأنظمة وتلك التي تتأثر بها.
كشف استطلاع أجراه باحثون في معهد آلان تورينج، وشراكة الذكاء الاصطناعي، وآخرون في عام 2020 أن غالبية عمليات نشر XAI تُستخدم داخليًا لدعم الجهود الهندسية بدلاً من تعزيز الثقة أو الشفافية مع المستخدمين. قال المشاركون في الدراسة إنه كان من الصعب تقديم تفسيرات للمستخدمين بسبب مخاطر الخصوصية والتحديات التكنولوجية وأنهم عانوا من أجل تنفيذ قابلية الشرح لأنهم يفتقرون إلى الوضوح بشأن أهدافها.
وصفت دراسة أخرى لعام 2020، تركز على واجهة المستخدم وممارسي التصميم في IBM الذين يعملون على XAI، تقنيات XAI الحالية بأنها "تفشل في الارتقاء إلى مستوى التوقعات" وتتعارض مع الأهداف التنظيمية مثل حماية البيانات الخاصة.
كتب معهد Brookings: "بالرغم من وجود العديد من طرق التفسير المختلفة الجاري العمل بها حاليًا، إلا أنها ترسم بشكل أساسي مجموعة فرعية صغيرة من الأهداف الموضحة أعلاه. يبدو أن اثنين من الأهداف الهندسية- ضمان الفعالية وتحسين الأداء- هما الأفضل تمثيلاً. الأهداف الأخرى، بما في ذلك دعم فهم المستخدم ورؤيته حول التأثيرات المجتمعية الأوسع، مهملة حاليًا".
يمكن للتشريعات المرتقبة مثل قانون الذكاء الاصطناعي في الاتحاد الأوروبي، والذي يركز على الأخلاق، أن يدفع الشركات إلى تطبيق XAI بشكل أكثر شمولاً. لذلك، أيضًا، يمكن أن يحول الرأي العام بشأن شفافية الذكاء الاصطناعي. في تقرير عام 2021 من قبل CognitiveScale، قال 34% من صانعي القرار على المستوى C أن أهم قدرات الذكاء الاصطناعي هي "قابلة للتفسير وموثوق بها". وأخبر 87% من المدراء التنفيذيين شركة Juniper في دراسة استقصائية حديثة أنهم يعتقدون أن المؤسسات تتحمل مسؤولية تبني سياسات تقلل من الآثار السلبية للذكاء الاصطناعي.
بخلاف الأخلاق، هناك دافع تجاري للاستثمار في تقنيات XAI. وجدت دراسة أجرتها Capgemini أن العملاء سوف يكافئون المؤسسات التي تمارس الذكاء الاصطناعي الأخلاقي بمزيد من الولاء، والمزيد من الأعمال، وحتى الاستعداد للدفاع عنها- ومعاقبة أولئك الذين لا يمارسونها.
