DOI: https://doi.org/10.1109/access.2026.3651055
تاريخ النشر: 2026-01-01
المؤلف: Odin Kohler وآخرون
الموضوع الرئيسي: تتبع النظر والتكنولوجيا المساعدة
نظرة عامة
تتناول هذه الورقة البحثية التهديد الناشئ لتكنولوجيا الديب فيك في الوقت الحقيقي التي يتم استغلالها في هجمات التصيد الاحتيالي خلال اجتماعات الفيديو. تسلط الضوء على الفرصة الفريدة للاستفادة من نقطة النظر (PoG) للديب فيك، وهي عنصر حاسم في التواصل غير اللفظي غالبًا ما يتم تجاهله من قبل طرق الكشف الحالية. يقترح المؤلفون نهجًا جديدًا للكشف عن الديب فيك في الوقت الحقيقي يستفيد من المعلومات البيومترية المتعلقة بأنماط النظر، تحديدًا خلال المحادثات الثنائية. تم بناء نموذجهم على ميزات قابلة للتفسير مستمدة من مراجعة شاملة للأدبيات الحالية حول سلوك النظر.
طور المؤلفون مجموعة بيانات مخصصة باستخدام تطبيق مكالمات الفيديو الخاص بهم، والذي يتضمن بيانات PoG من تقنيتين متقدمتين لتوليد الديب فيك في الوقت الحقيقي. تظهر نتائجهم التجريبية فعالية الطريقة المقترحة، حيث حققت دقة بنسبة 82.52% ودرجة تشغيل مستقبلية (ROC) تبلغ 88%. يمثل هذا العمل مساهمة كبيرة في هذا المجال، حيث إنه الأول الذي يستخدم تتبع PoG للكشف عن الديب فيك، إلى جانب تقديم مجموعة بيانات جديدة وتطبيق جمع البيانات.
مقدمة
في مقدمة هذه الورقة البحثية، يبرز المؤلفون التأثير التحويلي للتعلم العميق على تعديل الصور والفيديو، مما جعل إنشاء الديب فيك المقنع متاحًا لجمهور أوسع. بينما تحتوي الديب فيك على تطبيقات مفيدة، مثل في وسائل التواصل الاجتماعي والواقع الافتراضي، فإنها أيضًا تشكل مخاطر كبيرة، بما في ذلك انتشار المعلومات المضللة، والاستغلال في الاحتيالات، وتوليد محتوى صريح غير متفق عليه. إحدى المخاوف الملحوظة هي ظهور تصيد الديب فيك، حيث يقوم المهاجمون بانتحال شخصية أفراد موثوقين في مكالمات الفيديو لخداع الضحايا، مما يؤدي إلى خسائر مالية كبيرة وتجسس سياسي محتمل.
لمواجهة هذا التهديد المتزايد، يقترح المؤلفون خط أنابيب لإثبات المفهوم مصمم لمواجهة تصيد الديب فيك في مكالمات الفيديو في الوقت الحقيقي من خلال استخدام تتبع نقطة النظر (PoG). يجادلون بأن أنماط النظر تحتوي على معلومات بيومترية فريدة قد تكافح الديب فيك لتكرارها، مما يجعلها إشارة غير لفظية دقيقة ولكن حاسمة في التواصل. توضح الورقة المنهجية لإنشاء مجموعة بيانات مخصصة، وتوليد الديب فيك، واختيار تقنيات تقدير النظر، وتفصيل بنية النموذج وعملية اختيار الميزات لتعزيز الكشف عن انتحال الديب فيك.
النتائج
في هذا القسم، يقدم المؤلفون نتائج دراستهم باستخدام التحقق المتقاطع k-fold مع \( k = 10 \) وتقسيم التدريب-validation بنسبة 80/20، حيث تم تدريب كل طية لمدة 100 دورة. تشير النتائج إلى أن النموذج أظهر أداءً قويًا، خاصة في الكشف عن الديب فيك التي تم إنشاؤها بطرق مختلفة. من الجدير بالذكر أن النموذج أظهر تفاوتًا كبيرًا في دقة الكشف بين FaceShifter وDeepFaceLive، والذي يُعزى إلى الطبيعة الأقل إقناعًا لمخرجات FaceShifter واعتماده على صورة واحدة لتبديل الوجه، مما أدى غالبًا إلى تمثيل غير واقعي للنظر.
تكشف مقاييس الأداء أن النموذج حقق دقة متوسطة في التحقق بلغت 82% عند تدريبه على كلا طريقتي الديب فيك، مع دقة فردية تبلغ 99% لـ FaceShifter و73% لـ DeepFaceLive. بالإضافة إلى ذلك، استكشف المؤلفون تأثير اضطرابات الضوضاء الغاوسية على تقدير نقطة النظر (PoG)، ووجدوا تأثيرات ضئيلة على دقة النموذج، حيث انخفضت المنطقة تحت المنحنى (AUC) بأقل من 5% حتى عند أعلى مستوى من الاضطراب البالغ 5 سم. وهذا يشير إلى أن خطأ 4.2 سم في متتبع PoG لا يضر بشكل كبير بدقة النموذج العامة.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على الثنائية في منهجيات الكشف عن الديب فيك، مصنفة إياها إلى طرق تعتمد على الأخطاء وطرق تعتمد على البيومترية. تميل الطرق البيومترية، التي تحلل ميزات مثل النظر وتعبيرات الوجه، إلى تقديم قابلية تفسير أكبر مقارنة بالطرق المعتمدة على الأخطاء التي تركز على عدم التناسق على مستوى البكسل. يستعرض القسم عدة كاشفات بيومترية تعتمد على النظر، مشيرًا إلى أنها تستفيد من أنماط حركة العين الفريدة في الديب فيك، مثل حركة العين غير المنتظمة وغياب التنسيق الثنائي، لتعزيز دقة الكشف.
تم بناء مجموعة البيانات المستخدمة لتدريب واختبار النماذج بشكل مخصص بسبب عدم وجود مجموعات بيانات قائمة تلبي متطلبات الدراسة. وشملت جلسات جمع البيانات الخاضعة للرقابة مع المشاركين الذين يشاركون في محادثات طبيعية، مما يضمن ظروف بيئية متسقة. تضمنت خطوات المعالجة المسبقة محاذاة الصوت والفيديو، وتوليد الديب فيك، وأداء تفريق المتحدثين، مما سهل استخراج بيانات النظر ذات الصلة مع إخفاء هوية المشاركين. تضمنت مجموعة البيانات النهائية 47 موضوعًا وشملت مقاييس متنوعة حول أطوال الجلسات وعدد الإطارات، مما يوفر أساسًا قويًا للتحليلات والنمذجة اللاحقة.
DOI: https://doi.org/10.1109/access.2026.3651055
Publication Date: 2026-01-01
Author(s): Odin Kohler et al.
Primary Topic: Gaze Tracking and Assistive Technology
Overview
This research paper addresses the emerging threat of real-time deepfake technology being exploited for phishing attacks during video meetings. It highlights the unique opportunity to leverage the point of gaze (PoG) of deepfakes, which is a critical nonverbal communication element often overlooked by current detection methods. The authors propose a novel real-time deepfake detection approach that utilizes biometric information related to gaze patterns, specifically during dyadic conversations. Their model is built on explainable features derived from an extensive review of existing literature on gaze behavior.
The authors developed a custom dataset using their own video call application, which includes PoG data from two advanced real-time deepfake generation techniques. Their experimental results demonstrate the effectiveness of the proposed method, achieving an accuracy of 82.52% and a receiver operating characteristic (ROC) score of 88%. This work represents a significant contribution to the field, as it is the first to employ PoG tracking for deepfake detection, alongside the introduction of a novel dataset and collection application.
Introduction
In the introduction of this research paper, the authors highlight the transformative impact of deep learning on image and video manipulation, which has made the creation of convincing deepfakes accessible to a broader audience. While deepfakes have beneficial applications, such as in social media and virtual reality, they also pose significant risks, including the spread of misinformation, exploitation in scams, and the generation of non-consensual explicit content. A notable concern is the emergence of deepfake phishing, where attackers impersonate trusted individuals in video calls to deceive victims, leading to substantial financial losses and potential political espionage.
To address this growing threat, the authors propose a proof-of-concept pipeline designed to counter deepfake phishing in real-time video calls by utilizing point-of-gaze (PoG) tracking. They argue that gaze patterns contain unique biometric information that deepfakes may struggle to replicate, serving as a subtle yet critical non-verbal cue in communication. The paper outlines the methodology for creating a custom dataset, generating deepfakes, selecting gaze estimation techniques, and detailing the model architecture and feature selection process to enhance the detection of deepfake impersonations.
Results
In this section, the authors present the results of their study utilizing k-fold cross-validation with \( k = 10 \) and an 80/20 training-validation split, training each fold for 100 epochs. The findings indicate that the model demonstrated robust performance, particularly in detecting deepfakes generated by different methods. Notably, the model exhibited a significant disparity in detection accuracy between FaceShifter and DeepFaceLive, attributed to the less convincing nature of FaceShifter’s outputs and its reliance on a single image for face swapping, which often resulted in unrealistic gaze representation.
The performance metrics reveal that the model achieved an average validation accuracy of 82% when trained on both deepfake methods, with individual accuracies of 99% for FaceShifter and 73% for DeepFaceLive. Additionally, the authors explored the impact of Gaussian noise perturbations on point of gaze (PoG) estimation, finding minimal effects on model accuracy, with the area under the curve (AUC) decreasing by less than 5% even at the highest perturbation level of 5 cm. This suggests that the 4.2 cm error in the PoG tracker does not significantly compromise the overall accuracy of the model.
Discussion
The discussion section of the paper highlights the dichotomy in deepfake detection methodologies, categorizing them into error-based and biometric-based approaches. Biometric methods, which analyze features such as gaze and facial expressions, tend to offer greater explainability compared to error-based methods that focus on pixel-level inconsistencies. The section reviews several gaze-based biometric detectors, noting that they leverage unique eye movement patterns in deepfakes, such as irregular eye motion and lack of binocular coordination, to enhance detection accuracy.
The dataset utilized for training and testing the models was custom-built due to the absence of existing datasets that met the study’s requirements. It involved controlled data collection sessions with participants engaging in natural conversations, ensuring consistent environmental conditions. The preprocessing steps included aligning audio and video modalities, generating deepfakes, and performing speaker diarization, which facilitated the extraction of relevant gaze data while anonymizing participants. The final dataset comprised 47 subjects and included various metrics on session lengths and frame counts, providing a robust foundation for subsequent analyses and model training.