Algorithms behaving badly: 2020 edition
من السهل جدًا تخيل مخاطر ترك القرارات المهمة لخوارزميات الكمبيوتر (انظر، على سبيل المثال، "Minority Report" ، "I, Robot" "War Games"). ومع ذلك، في السنوات الأخيرة، نمت التوصيفات الوظيفية للخوارزميات فقط.
إنهم يستبدلون البشر عندما يتعلق الأمر باتخاذ قرارات صعبة تفضل الشركات والوكالات الحكومية أن تقول إنها تستند إلى الإحصائيات والصيغ بدلاً من الحسابات المختلطة للعقل البشري. تستخدم بعض شركات التأمين الصحي الخوارزميات لتحديد من يحصل على الرعاية الطبية وبأي ترتيب للأولوية، بدلاً من ترك هذا الاختيار للأطباء. تستخدمها الكليات لتحديد المتقدمين الذين سيتم قبولهم. وتستخدم النماذج الأولية للسيارات ذاتية القيادة في موازنة كيفية تقليل الضرر أثناء وقوع حادث مروري.
تنبع بعض هذه التعهيد الحسابي من آمال كبيرة- أن خوارزميات الكمبيوتر ستخرج التحيز من عملية الإقراض، على سبيل المثال، أو تساعد الباحثين على تطوير لقاح آمن لـ COVID-19 في وقت قياسي.
ولكن ثبت مرارًا وتكرارًا أن الصيغ ترث تحيزات مبتكريها. تعد الخوارزمية جيدة مثل البيانات والمبادئ التي تدربها، والشخص أو الأشخاص مسئولون إلى حد كبير عما يتم تغذيته.
في كل عام، هناك عدد لا يحصى من الأمثلة الجديدة للخوارزميات التي تم إنشاؤها إما لغرض ساخر، أو تعمل على تعزيز العنصرية، أو فشلت بشكل مذهل في إصلاح المشكلات التي تم إنشاؤها لحلها. نحن نعرف معظمهم لأن المبلغين عن المخالفات والصحفيين والدعاة والأكاديميين أخذوا الوقت الكافي للبحث في الصندوق الأسود لعملية صنع القرار الحسابي ووجدوا بعض المواد المظلمة.
إليك بعض الأشياء الكبيرة من عام 2020.
إنهم يستبدلون البشر عندما يتعلق الأمر باتخاذ قرارات صعبة تفضل الشركات والوكالات الحكومية أن تقول إنها تستند إلى الإحصائيات والصيغ بدلاً من الحسابات المختلطة للعقل البشري. تستخدم بعض شركات التأمين الصحي الخوارزميات لتحديد من يحصل على الرعاية الطبية وبأي ترتيب للأولوية، بدلاً من ترك هذا الاختيار للأطباء. تستخدمها الكليات لتحديد المتقدمين الذين سيتم قبولهم. وتستخدم النماذج الأولية للسيارات ذاتية القيادة في موازنة كيفية تقليل الضرر أثناء وقوع حادث مروري.
تنبع بعض هذه التعهيد الحسابي من آمال كبيرة- أن خوارزميات الكمبيوتر ستخرج التحيز من عملية الإقراض، على سبيل المثال، أو تساعد الباحثين على تطوير لقاح آمن لـ COVID-19 في وقت قياسي.
ولكن ثبت مرارًا وتكرارًا أن الصيغ ترث تحيزات مبتكريها. تعد الخوارزمية جيدة مثل البيانات والمبادئ التي تدربها، والشخص أو الأشخاص مسئولون إلى حد كبير عما يتم تغذيته.
في كل عام، هناك عدد لا يحصى من الأمثلة الجديدة للخوارزميات التي تم إنشاؤها إما لغرض ساخر، أو تعمل على تعزيز العنصرية، أو فشلت بشكل مذهل في إصلاح المشكلات التي تم إنشاؤها لحلها. نحن نعرف معظمهم لأن المبلغين عن المخالفات والصحفيين والدعاة والأكاديميين أخذوا الوقت الكافي للبحث في الصندوق الأسود لعملية صنع القرار الحسابي ووجدوا بعض المواد المظلمة.
إليك بعض الأشياء الكبيرة من عام 2020.
مشكلة العنصرية The racism problem
تنحدر الكثير من مشاكل اتخاذ القرار الخوارزمي إلى التحيز، لكن بعض الحالات تكون أكثر وضوحًا من غيرها. ذكرت The Markup أن بوابة إعلانات Google تربط الكلمات الرئيسية "فتيات سود" و "فتيات آسيويات" و "فتيات لاتينيات" (لكن ليس "فتيات أبيض") بالإباحية. (منعت Google الاقتراحات التلقائية بعد وصول The Markup إلى الشركة. في غضون ذلك، أرسلت خوارزمية بحث Googles قصتنا لفترة وجيزة إلى الصفحة الأولى من نتائج البحث عن كلمة "إباحية".)
في بعض الأحيان يمكن أن تكون عواقب هذا التحيز وخيمة.
بعض الخوارزميات الطبية متحيزة عنصريًا- عن عمد. حددت ورقة بحثية نُشرت في مجلة New England Journal of Medicine 13 مثالاً على "تصحيحات" العرق المدمجة في الأدوات التي يستخدمها الأطباء لتحديد من يتلقى بعض التدخلات الطبية، مثل جراحة القلب، والمضادات الحيوية لعدوى المسالك البولية، وفحوصات سرطان الثدي. تفترض الأدوات أن المرضى من أعراق مختلفة معرضون لمخاطر مختلفة لأمراض معينة- افتراضات لا تستند دائمًا إلى أسس علمية جيدة، وفقًا للباحثين. النتيجة: رجل أسود يحتاج إلى زرع كلى لم يكن مؤهلاً، كما ذكرت تقارير المستهلك، من بين كوارث أخرى.
ظهرت قضية ذات صلة في دعوى قضائية ضد الرابطة الوطنية لكرة القدم: يزعم اللاعبون السود أنه من الصعب جدًا الحصول على تعويض عن الخرف المرتبط بالارتجاج بسبب الطريقة التي يقيّم بها الدوري الوظيفة الإدراكية العصبية. بشكل أساسي، كما يقولون، يفترض الدوري أن اللاعبين السود بطبيعتهم يتمتعون بوظيفة إدراكية أقل من اللاعبين البيض ويوازنون أهليتهم للحصول على المدفوعات وفقًا لذلك.
تنحدر الكثير من مشاكل اتخاذ القرار الخوارزمي إلى التحيز، لكن بعض الحالات تكون أكثر وضوحًا من غيرها. ذكرت The Markup أن بوابة إعلانات Google تربط الكلمات الرئيسية "فتيات سود" و "فتيات آسيويات" و "فتيات لاتينيات" (لكن ليس "فتيات أبيض") بالإباحية. (منعت Google الاقتراحات التلقائية بعد وصول The Markup إلى الشركة. في غضون ذلك، أرسلت خوارزمية بحث Googles قصتنا لفترة وجيزة إلى الصفحة الأولى من نتائج البحث عن كلمة "إباحية".)
في بعض الأحيان يمكن أن تكون عواقب هذا التحيز وخيمة.
بعض الخوارزميات الطبية متحيزة عنصريًا- عن عمد. حددت ورقة بحثية نُشرت في مجلة New England Journal of Medicine 13 مثالاً على "تصحيحات" العرق المدمجة في الأدوات التي يستخدمها الأطباء لتحديد من يتلقى بعض التدخلات الطبية، مثل جراحة القلب، والمضادات الحيوية لعدوى المسالك البولية، وفحوصات سرطان الثدي. تفترض الأدوات أن المرضى من أعراق مختلفة معرضون لمخاطر مختلفة لأمراض معينة- افتراضات لا تستند دائمًا إلى أسس علمية جيدة، وفقًا للباحثين. النتيجة: رجل أسود يحتاج إلى زرع كلى لم يكن مؤهلاً، كما ذكرت تقارير المستهلك، من بين كوارث أخرى.
ظهرت قضية ذات صلة في دعوى قضائية ضد الرابطة الوطنية لكرة القدم: يزعم اللاعبون السود أنه من الصعب جدًا الحصول على تعويض عن الخرف المرتبط بالارتجاج بسبب الطريقة التي يقيّم بها الدوري الوظيفة الإدراكية العصبية. بشكل أساسي، كما يقولون، يفترض الدوري أن اللاعبين السود بطبيعتهم يتمتعون بوظيفة إدراكية أقل من اللاعبين البيض ويوازنون أهليتهم للحصول على المدفوعات وفقًا لذلك.
الخوارزميات التي تجعل حياة المستأجرين وذوي الدخل المنخفض أكثر صعوبة
إذا كنت قد استأجرت منزلاً في أي وقت من الأوقات، وكانت هناك احتمالات، نظرًا لأن الإيجارات قد ارتفعت بشكل كبير منذ الأزمة المالية لعام 2008، فمن المحتمل أن يكون مالك العقار قد وجهك عبر خدمة فحص المستأجر. مهما كانت النتائج التي تنشرها خوارزميات فحص الخلفية بشكل عام، فإنها تشكل الفرق بين استئجار المنزل المعني والحرمان منه- ووجدت The Markup أن هذه التقارير غالبًا ما تكون خاطئة. تخلط التقارير التي يتم إنشاؤها بواسطة الكمبيوتر في الهويات، وتسيء فهم المشاحنات الصغيرة مع سلطات إنفاذ القانون كسجلات جنائية، وتخطئ في الإبلاغ عن عمليات الإخلاء. وما يوجد من إشراف ضئيل عادة ما يأتي بعد فوات الأوان بالنسبة لمن أنكره ظلما.
وبالمثل، أفادت MIT Technology Review أن المحامين الذين يعملون مع الأشخاص ذوي الدخل المنخفض يجدون أنفسهم في مواجهة خوارزميات غامضة وغير خاضعة للمساءلة، أنشأتها شركات خاصة، والتي تقوم بأشياء مثل تحديد الأطفال الذين يدخلون الرعاية البديلة، وتخصيص خدمات Medicaid، وتحديد الوصول إلى إعانات البطالة.
الشرطة والاضطهاد Policing and persecution
هناك إغراء دائم لفكرة التنبؤ بالجرائم قبل وقوعها، حتى بعد أن اكتشف قسم الشرطة مشاكل في النماذج التي تعتمد على البيانات.
هناك إغراء دائم لفكرة التنبؤ بالجرائم قبل وقوعها، حتى بعد أن اكتشف قسم الشرطة مشاكل في النماذج التي تعتمد على البيانات.
ومن الأمثلة على ذلك: إدارة شرطة مقاطعة باسكو، والتي وجدت صحيفة تامبا باي تايمز أنها تراقب وتضايق الأشخاص الذين حددتهم كمجرمين محتملين. وذكرت الصحيفة أن الوزارة "ترسل نوابها للبحث عن أي شخص ورد اسمه" واستجوابه "في قائمة تم إنشاؤها من" تاريخ الاعتقال والاستخبارات غير المحددة والقرارات التعسفية من قبل محللي الشرطة ". ظهر النواب في منازل الناس في منتصف الليل لإجراء عمليات بحث وكتبوا تذاكر لأشياء بسيطة مثل أرقام صندوق البريد المفقودة. وكان العديد من المستهدفين من القصر. وردًا على ذلك، قال رئيس الشرطة إن الصحيفة كانت تنتقي الأمثلة وتخلط بين تكتيكات الشرطة المشروعة والمضايقات.
برمجيات التعرف على الوجوه، أداة خوارزمية أخرى متعلقة بالشرطة، أدت إلى اعتقال واحتجاز خطأ لرجل من ديترويت لجريمة لم يرتكبها، حسبما ذكرت صحيفة نيويورك تايمز في مقال يصنف خصوصية التكنولوجيا ودقتها ومشاكل العرق.
وفي تطور مخيف بشكل خاص، ذكرت صحيفة واشنطن بوست أن شركة التكنولوجيا الصينية هواوي تختبر أدوات يمكنها مسح الوجوه في الحشود بحثًا عن سمات عرقية وإرسال "إنذارات الأويغور" إلى السلطات. احتجزت الحكومة الصينية أعضاء مجموعة الأقلية المسلمة بشكل جماعي في معسكرات الاعتقال- ويبدو أن الاضطهاد آخذ في الاتساع. صرح Glenn Schloss المتحدث باسم Huawei USA، لصحيفة The Post أن الأداة "مجرد اختبار، ولم تشهد تطبيقًا في العالم الحقيقي".
برمجيات التعرف على الوجوه، أداة خوارزمية أخرى متعلقة بالشرطة، أدت إلى اعتقال واحتجاز خطأ لرجل من ديترويت لجريمة لم يرتكبها، حسبما ذكرت صحيفة نيويورك تايمز في مقال يصنف خصوصية التكنولوجيا ودقتها ومشاكل العرق.
وفي تطور مخيف بشكل خاص، ذكرت صحيفة واشنطن بوست أن شركة التكنولوجيا الصينية هواوي تختبر أدوات يمكنها مسح الوجوه في الحشود بحثًا عن سمات عرقية وإرسال "إنذارات الأويغور" إلى السلطات. احتجزت الحكومة الصينية أعضاء مجموعة الأقلية المسلمة بشكل جماعي في معسكرات الاعتقال- ويبدو أن الاضطهاد آخذ في الاتساع. صرح Glenn Schloss المتحدث باسم Huawei USA، لصحيفة The Post أن الأداة "مجرد اختبار، ولم تشهد تطبيقًا في العالم الحقيقي".
مراقبة مكان العمل Workplace surveillance
يلجأ أصحاب العمل الكبار إلى الخوارزميات للمساعدة في مراقبة عمالهم. في هذا العام، اعتذرت Microsoft بعد أن مكّنت ميزة Microsoft 365 التي سمحت للمديرين بمراقبة وتحليل "إنتاجية" عمالهم. تم أخذ درجة الإنتاجية في الاعتبار في أشياء مثل مشاركة الفرد في المحادثات الجماعية وعدد رسائل البريد الإلكتروني المرسلة.
وفي الوقت نفسه، ذكرت Business Insider أن Whole Foods تستخدم خرائط الحرارة، والتي تزن أشياء مثل عدد من شكاوى الموظفين ومعدل البطالة المحلي، للتنبؤ بالمتاجر التي قد تشهد محاولات تكوين نقابات. شركة Whole Foods مملوكة لشركة Amazon، التي لديها جهاز متطور لمراقبة سلوك العمال.
يلجأ أصحاب العمل الكبار إلى الخوارزميات للمساعدة في مراقبة عمالهم. في هذا العام، اعتذرت Microsoft بعد أن مكّنت ميزة Microsoft 365 التي سمحت للمديرين بمراقبة وتحليل "إنتاجية" عمالهم. تم أخذ درجة الإنتاجية في الاعتبار في أشياء مثل مشاركة الفرد في المحادثات الجماعية وعدد رسائل البريد الإلكتروني المرسلة.
وفي الوقت نفسه، ذكرت Business Insider أن Whole Foods تستخدم خرائط الحرارة، والتي تزن أشياء مثل عدد من شكاوى الموظفين ومعدل البطالة المحلي، للتنبؤ بالمتاجر التي قد تشهد محاولات تكوين نقابات. شركة Whole Foods مملوكة لشركة Amazon، التي لديها جهاز متطور لمراقبة سلوك العمال.
انتقام الطلاب Revenge of the students
قد ينظر أي شخص يبحث عن الإلهام في المعركة ضد خوارزمية تهيمن عليها غدًا إلى الطلاب في المملكة المتحدة، الذين خرجوا إلى الشوارع بعد أن قرر نظام التعليم استخدام خوارزمية لمنح درجات بناءً على الأداء السابق أثناء الوباء. أو هؤلاء الأطفال، الذين اكتشفوا أن اختباراتهم تم تصنيفها بواسطة خوارزمية- ثم اكتشفوا على الفور كيفية استغلالها عن طريق مزج مجموعة من الكلمات الرئيسية.
قد ينظر أي شخص يبحث عن الإلهام في المعركة ضد خوارزمية تهيمن عليها غدًا إلى الطلاب في المملكة المتحدة، الذين خرجوا إلى الشوارع بعد أن قرر نظام التعليم استخدام خوارزمية لمنح درجات بناءً على الأداء السابق أثناء الوباء. أو هؤلاء الأطفال، الذين اكتشفوا أن اختباراتهم تم تصنيفها بواسطة خوارزمية- ثم اكتشفوا على الفور كيفية استغلالها عن طريق مزج مجموعة من الكلمات الرئيسية.
