ليس من الصعب على البشر التعرف على بيئة داخلية، ولكن تعليم نظام ذكاء اصطناعي (AI) artificial intelligence للتمييز بين المكتب والمكتبة يعتبر كذلك. عادةً ما يتم تدريب أنظمة الذكاء الاصطناعي على استخدام الصور فقط، ويمكن بسهولة التعرف على مساحة بمجرد النظر إلى الأشياء. لهذا السبب أضاف عالم الكمبيوتر Estefanía Talavera Martínez طريقة بيانات جديدة، صوت / صوت، إلى المواد التعليمية التي ينظر إليها نظام الذكاء الاصطناعي. نتج عن ذلك معدل نجاح مرتفع في التعرف على المساحات الداخلية، وفي مجموعة بيانات جديدة من مقاطع الفيديو الواقعية لاستخدامها في البحث. نُشرت أعمالها في مجلة Neural Computing and Applications في 22 يناير.
Estefanía Talavera Martínez مهتمة بتطوير خوارزميات للتحليل التلقائي للسلوك البشري. في عملها السابق، اعتمدت على تدفقات الصور التي جمعتها الكاميرات القابلة للارتداء لفهم سلوك الناس اليومي. تم تحليل هذه الصور لأول مرة باستخدام أنظمة الذكاء الاصطناعي. والخطوة التالية هي فعل الشيء نفسه مع الفيديو، وواحدة مع المزيد من التطبيقات. توضح Talavera Martínez: "يمكن استخدام هذا أيضًا لمساعدة الروبوتات في العثور على مكان وجودهم، أو لمراقبة كبار السن، على سبيل المثال". ومع ذلك، يتطلب هذا نظامًا آليًا يمكنه تحديد المساحات الداخلية.
الكلام Speech
المحاولات السابقة لتعليم الذكاء الاصطناعي التعرف على المساحات الداخلية لم تكن ناجحة للغاية. "أحد أسباب ذلك هو أن معظم الأنظمة يتم تدريبها باستخدام طريقة واحدة فقط، وعادة ما تكون التعرف على الأشياء في الغرفة". لذلك، قررت Talavera Martínez تدريب نظامها باستخدام طريقة ثانية: نصوص الكلام المكتوبة المسجلة في مقاطع الفيديو.
استخدمت مقاطع فيديو حقيقية من Instagram لتدريب نظام الذكاء الاصطناعي الخاص بها. وقد تحقق ذلك بالصور والكلام. تم نسخ النصوص المنطوقة باستخدام برنامج Google القياسي للتعرف على الكلام. جربت Talavera Martínez وAndreea Glavan طالبة الماجستير آنذاك طرقًا مختلفة في الجمع بين المعلومات من الصور والصوت، للعثور على النهج الذي سيؤدي إلى أفضل نتيجة. نتج عن ذلك نظام يمكنه التعرف على مقاطع الفيديو من تسعة أنواع مختلفة من المساحات الداخلية بدقة 70%، وهي أعلى من الأنظمة التي تم نشرها مسبقًا والتي تمت إدارتها. تقول Talavera Martínez: "أكدت الاختبارات التي أجريناها أن استخدام هذه المجموعة يؤدي إلى أداء أفضل لهذا النظام بدلاً من تدريبه باستخدام الصور أو النصوص فقط".
السلوك Behavior
علاوة على ذلك، أنتج مشروع البحث مجموعة بيانات من 3788 مقطع فيديو على Instagram تصف تسعة مشاهد داخلية. كما تم استخدام مجموعة مختارة من 900 مقطع فيديو على YouTube لتأكيد نتائج البرنامج التدريبي. "لقد جعلنا مجموعتي البيانات متاحة للجمهور، وهي الأولى من نوعها".
تود Talavera Martínez استخدام نظام الذكاء الاصطناعي الجديد لتحليل السلوك البشري بشكل أكبر من مقاطع الفيديو: "إنها تحتوي على الكثير من المعلومات، كإطارات فردية ومتسلسلة. والأهم من ذلك، أن نظامنا الجديد سيكون قادرًا على التعرف على نوع البيئة التي صنعت الصور".
بصرف النظر عن دراسة السلوك، يمكن استخدام النظام، على سبيل المثال، لمراقبة المرضى مع التركيز بشكل خاص على الشيخوخة الصحية. يمكن استخدامه أيضًا لتحديد التجارب الإيجابية التي يجب أن يسترجعها الناس. "ونحن نعلم أن الناس غالبًا ما يكون لديهم وجهة نظر ذاتية للغاية لحياتهم. يمكن لنظامنا أن يزودهم بالتسجيل والتحليل الموضوعيين".
Estefanía Talavera Martínez مهتمة بتطوير خوارزميات للتحليل التلقائي للسلوك البشري. في عملها السابق، اعتمدت على تدفقات الصور التي جمعتها الكاميرات القابلة للارتداء لفهم سلوك الناس اليومي. تم تحليل هذه الصور لأول مرة باستخدام أنظمة الذكاء الاصطناعي. والخطوة التالية هي فعل الشيء نفسه مع الفيديو، وواحدة مع المزيد من التطبيقات. توضح Talavera Martínez: "يمكن استخدام هذا أيضًا لمساعدة الروبوتات في العثور على مكان وجودهم، أو لمراقبة كبار السن، على سبيل المثال". ومع ذلك، يتطلب هذا نظامًا آليًا يمكنه تحديد المساحات الداخلية.
الكلام Speech
المحاولات السابقة لتعليم الذكاء الاصطناعي التعرف على المساحات الداخلية لم تكن ناجحة للغاية. "أحد أسباب ذلك هو أن معظم الأنظمة يتم تدريبها باستخدام طريقة واحدة فقط، وعادة ما تكون التعرف على الأشياء في الغرفة". لذلك، قررت Talavera Martínez تدريب نظامها باستخدام طريقة ثانية: نصوص الكلام المكتوبة المسجلة في مقاطع الفيديو.
استخدمت مقاطع فيديو حقيقية من Instagram لتدريب نظام الذكاء الاصطناعي الخاص بها. وقد تحقق ذلك بالصور والكلام. تم نسخ النصوص المنطوقة باستخدام برنامج Google القياسي للتعرف على الكلام. جربت Talavera Martínez وAndreea Glavan طالبة الماجستير آنذاك طرقًا مختلفة في الجمع بين المعلومات من الصور والصوت، للعثور على النهج الذي سيؤدي إلى أفضل نتيجة. نتج عن ذلك نظام يمكنه التعرف على مقاطع الفيديو من تسعة أنواع مختلفة من المساحات الداخلية بدقة 70%، وهي أعلى من الأنظمة التي تم نشرها مسبقًا والتي تمت إدارتها. تقول Talavera Martínez: "أكدت الاختبارات التي أجريناها أن استخدام هذه المجموعة يؤدي إلى أداء أفضل لهذا النظام بدلاً من تدريبه باستخدام الصور أو النصوص فقط".
السلوك Behavior
علاوة على ذلك، أنتج مشروع البحث مجموعة بيانات من 3788 مقطع فيديو على Instagram تصف تسعة مشاهد داخلية. كما تم استخدام مجموعة مختارة من 900 مقطع فيديو على YouTube لتأكيد نتائج البرنامج التدريبي. "لقد جعلنا مجموعتي البيانات متاحة للجمهور، وهي الأولى من نوعها".
تود Talavera Martínez استخدام نظام الذكاء الاصطناعي الجديد لتحليل السلوك البشري بشكل أكبر من مقاطع الفيديو: "إنها تحتوي على الكثير من المعلومات، كإطارات فردية ومتسلسلة. والأهم من ذلك، أن نظامنا الجديد سيكون قادرًا على التعرف على نوع البيئة التي صنعت الصور".
بصرف النظر عن دراسة السلوك، يمكن استخدام النظام، على سبيل المثال، لمراقبة المرضى مع التركيز بشكل خاص على الشيخوخة الصحية. يمكن استخدامه أيضًا لتحديد التجارب الإيجابية التي يجب أن يسترجعها الناس. "ونحن نعلم أن الناس غالبًا ما يكون لديهم وجهة نظر ذاتية للغاية لحياتهم. يمكن لنظامنا أن يزودهم بالتسجيل والتحليل الموضوعيين".
