يمكن لعلماء الكمبيوتر في جامعة كاليفورنيا في ريفرسايد اكتشاف تعابير الوجه التي تم التلاعب بها في مقاطع الفيديو المزيفة بدقة أعلى من أحدث الأساليب الحالية. تعمل الطريقة أيضًا بالإضافة إلى الأساليب الحالية في الحالات التي يتم فيها تبديل هوية الوجه، وليس التعبير، مما يؤدي إلى نهج عام للكشف عن أي نوع من التلاعب بالوجه. يقود هذا الإنجاز الباحثين خطوة أقرب إلى تطوير أدوات آلية لاكتشاف مقاطع الفيديو التي تم التلاعب بها والتي تحتوي على دعاية أو معلومات مضللة.
جعلت التطورات في برامج تحرير الفيديو من السهل تبادل وجه شخص لآخر وتغيير التعبيرات على الوجوه الأصلية. نظرًا لأن بعض الحكومات والأفراد قد ينشرون مقاطع فيديو تم التلاعب بها للتأثير على الآراء السياسية أو الاجتماعية، فإن القدرة على تحديد مقاطع الفيديو هذه تعتبر ضرورية لحماية الديمقراطيات الحرة. توجد طرق يمكن أن تكتشف بدقة معقولة متى يتم تبديل الوجوه. لكن تحديد الوجوه حيث تم تغيير التعبيرات فقط هو أكثر صعوبة وحتى الآن، لا توجد تقنية موثوقة.
قال المؤلف المشارك للورقة أميت روي شودري Amit Roy-Chowdhury، أستاذ الهندسة الكهربائية وهندسة الكمبيوتر بكلية بورنز: "ما يجعل مجال أبحاث التزييف العميق أكثر تحديًا هو المنافسة بين إنشاء تقنية التزييف العميق واكتشافها ومنعها والتي ستصبح شرسة بشكل متزايد في المستقبل. مع المزيد من التقدم في النماذج التوليدية، سيكون التزييف العميق أسهل في التوليف ويصعب تمييزه عن الواقع".
تقسم طريقة جامعة كاليفورنيا في ريفرسايد المهمة إلى مكونين داخل شبكة عصبية عميقة. deep neural network يميز الفرع الأول تعابير الوجه ويغذي المعلومات حول المناطق التي تحتوي على التعبير، مثل الفم أو العينين أو الجبهة، في فرع ثانٍ، يُعرف باسم وحدة فك التشفير. تعتبر بنية وحدة فك التشفير مسؤولة عن كشف التلاعب وتحديد الموقع.
جعلت التطورات في برامج تحرير الفيديو من السهل تبادل وجه شخص لآخر وتغيير التعبيرات على الوجوه الأصلية. نظرًا لأن بعض الحكومات والأفراد قد ينشرون مقاطع فيديو تم التلاعب بها للتأثير على الآراء السياسية أو الاجتماعية، فإن القدرة على تحديد مقاطع الفيديو هذه تعتبر ضرورية لحماية الديمقراطيات الحرة. توجد طرق يمكن أن تكتشف بدقة معقولة متى يتم تبديل الوجوه. لكن تحديد الوجوه حيث تم تغيير التعبيرات فقط هو أكثر صعوبة وحتى الآن، لا توجد تقنية موثوقة.
قال المؤلف المشارك للورقة أميت روي شودري Amit Roy-Chowdhury، أستاذ الهندسة الكهربائية وهندسة الكمبيوتر بكلية بورنز: "ما يجعل مجال أبحاث التزييف العميق أكثر تحديًا هو المنافسة بين إنشاء تقنية التزييف العميق واكتشافها ومنعها والتي ستصبح شرسة بشكل متزايد في المستقبل. مع المزيد من التقدم في النماذج التوليدية، سيكون التزييف العميق أسهل في التوليف ويصعب تمييزه عن الواقع".
تقسم طريقة جامعة كاليفورنيا في ريفرسايد المهمة إلى مكونين داخل شبكة عصبية عميقة. deep neural network يميز الفرع الأول تعابير الوجه ويغذي المعلومات حول المناطق التي تحتوي على التعبير، مثل الفم أو العينين أو الجبهة، في فرع ثانٍ، يُعرف باسم وحدة فك التشفير. تعتبر بنية وحدة فك التشفير مسؤولة عن كشف التلاعب وتحديد الموقع.
يمكن للإطار، المسمى Expression Manipulation Detection، أو EMD، اكتشاف وتحديد مناطق معينة داخل الصورة التي تم تغييرها.
قال طالب الدكتوراه غزال مظاهري Ghazal Mazaheri، الذي قاد البحث: "يمكن للتعلم متعدد المهام الاستفادة من الميزات البارزة التي تعلمتها أنظمة التعرف على تعبيرات الوجه للاستفادة من تدريب أنظمة الكشف عن التلاعب التقليدية. يحقق هذا النهج أداءً رائعًا في اكتشاف التلاعب في تعبيرات الوجه".
تستند مجموعات البيانات المعيارية للتلاعب بالوجه على التعبير وتبادل الهوية. يقوم أحدهم بنقل تعبيرات مصدر الفيديو إلى مقطع فيديو مستهدف دون تغيير هوية الشخص في الفيديو الهدف. الآخر يتبادل هويتين في فيديو واحد.
تُظهر التجارب التي أجريت على مجموعتي بيانات صعبة التلاعب بالوجه أن EMD لديها أداء أفضل في اكتشاف ليس فقط التلاعب في تعبيرات الوجه ولكن أيضًا مقايضات الهوية. اكتشف EMD بدقة 99% من مقاطع الفيديو التي تم التلاعب بها.
تحمل الورقة عنوان "الكشف عن تلاعبات تعبيرات الوجه وتوطينها" وتم تقديمها في المؤتمر الشتوي لعام 2022 حول تطبيقات الرؤية الحاسوبية.
قال طالب الدكتوراه غزال مظاهري Ghazal Mazaheri، الذي قاد البحث: "يمكن للتعلم متعدد المهام الاستفادة من الميزات البارزة التي تعلمتها أنظمة التعرف على تعبيرات الوجه للاستفادة من تدريب أنظمة الكشف عن التلاعب التقليدية. يحقق هذا النهج أداءً رائعًا في اكتشاف التلاعب في تعبيرات الوجه".
تستند مجموعات البيانات المعيارية للتلاعب بالوجه على التعبير وتبادل الهوية. يقوم أحدهم بنقل تعبيرات مصدر الفيديو إلى مقطع فيديو مستهدف دون تغيير هوية الشخص في الفيديو الهدف. الآخر يتبادل هويتين في فيديو واحد.
تُظهر التجارب التي أجريت على مجموعتي بيانات صعبة التلاعب بالوجه أن EMD لديها أداء أفضل في اكتشاف ليس فقط التلاعب في تعبيرات الوجه ولكن أيضًا مقايضات الهوية. اكتشف EMD بدقة 99% من مقاطع الفيديو التي تم التلاعب بها.
تحمل الورقة عنوان "الكشف عن تلاعبات تعبيرات الوجه وتوطينها" وتم تقديمها في المؤتمر الشتوي لعام 2022 حول تطبيقات الرؤية الحاسوبية.
