DOI: https://doi.org/10.1016/j.array.2026.100734
تاريخ النشر: 2026-03-01
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: الشبكات التنافسية التوليدية وتوليد الصور
نظرة عامة
تقدم البحث نهج تدريب من مرحلتين لنموذج كشف التزييف العميق، باستخدام محولات رؤية دي آي تي من فيسبوك لتعزيز قدرات الكشف مقارنة بالنماذج الحالية. تتضمن المنهجية مرحلة تدريب قياسية تليها تحسين دقيق مع تحسينات خطية، محققة دقة مثيرة للإعجاب تبلغ 99.22% وAUROC قدره 0.9997. لا تعمل هذه الأمثلية ذات المرحلتين على تحسين الأداء فحسب، بل تُظهر أيضًا فعالية التحولات الهندسية المعقدة في تعزيز النموذج ضد العيوب الشائعة الناتجة عن مولدات التزييف العميق.
يظهر مصنف التزييف العميق المحسن ذو المرحلتين (DeiTFake) كحل فعال من حيث الموارد لكشف التزييف العميق، حيث تعمل استراتيجيته التدريبية المبتكرة كإطار محتمل لأنظمة التصنيف المستقبلية التي تتجاوز التزييف العميق. من خلال التمييز بين مرحلتي “الاكتساب” و”التعميم”، يعزز النموذج عملية التحسين الدقيق لهيكل محولات الرؤية، مع التركيز على العيوب الجنائية المستقرة بدلاً من الضوضاء الخاصة بالمولد. ومع ذلك، تشمل قيود الدراسة تركيزها الحصري على التزييفات العميقة الوجهية والحاجة إلى مزيد من الاستكشاف في مجالات أوسع مثل التلاعب بالجسم الكامل وتوليف الصوت. بالإضافة إلى ذلك، لا تزال مرونة النموذج ضد الهجمات العدائية المتقدمة غير مختبرة، مما يبرز ضرورة إجراء مزيد من الأبحاث لضمان أداء موثوق في التطبيقات الواقعية.
مقدمة
تسلط المقدمة الضوء على التقدم السريع في الذكاء الاصطناعي التوليدي ونماذج الانتشار، التي غيرت بشكل كبير تركيب الوسائط الرقمية ووسعت الوصول إلى إنشاء الوسائط الاصطناعية. ومع ذلك، فقد سهلت هذه التقنيات أيضًا ظهور “التزييفات العميقة”، التي تشكل تهديدات لصدق الوسائط الرقمية من خلال تمكين انتشار المعلومات المضللة وانتهاك خصوصية الأفراد. وهذا يستدعي تطوير تدابير مضادة قوية بشكل عاجل لمعالجة التحديات التي تطرحها الوسائط المرئية المعدلة، لا سيما في مجالات الطب الشرعي الرقمي وأمن المعلومات والثقة المجتمعية.
بينما تظهر العديد من نماذج كشف التزييف العميق دقة عالية على مجموعات بيانات محكومة، فإن فعاليتها غالبًا ما تنخفض عند مواجهة تقنيات التلاعب الجديدة أو سيناريوهات المعالجة المعقدة. تميل طرق الكشف التقليدية، لا سيما تلك المعتمدة على الشبكات العصبية التلافيفية (CNN) مثل Xception، إلى التركيز على العيوب الخاصة بالمولد، مما يؤدي إلى ضعف الأداء عند تطبيقها على توزيعات العالم الحقيقي. وبالتالي، تظل التحديات الرئيسية في الطب الشرعي الرقمي هي إنشاء نماذج كشف يمكن أن تعمم بفعالية عبر سياقات توليد متنوعة وغير متوقعة.
طرق
يستخدم البحث محول الصورة الفعال من حيث البيانات (DeiT)، وهو نوع من محول الرؤية (ViT)، الذي يعزز كفاءة التدريب من خلال استخدام رموز التقطير. نظرًا للحجم الكبير لمجموعة البيانات، تم تحديد DeiT كنموذج مناسب للدراسة. تتضمن المنهجية استخدام نموذج DeiT مدرب مسبقًا، تليه تحسينات دقيقة مستهدفة لتعزيز الأداء.
قبل تدريب النموذج، تخضع مجموعة البيانات لعمليات المعالجة المسبقة لضمان توازن الفئات. ثم تتم معالجة الصور من خلال معالجين مختلفين للصورة – قياسي وقياسي + خطي – خلال المراحل التدريجية للتدريب، كما هو موضح في الشكل 1. يهدف هذا النهج المنظم إلى تحسين تعلم النموذج ونتائج الأداء.
نتائج
تظهر نتائج التجارب التي أجريت في هذه الدراسة نتائج مهمة تتعلق بفرضية البحث. تشير البيانات إلى وجود علاقة واضحة بين المتغيرات المستقلة والتابعة، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن التأثيرات الملحوظة من غير المرجح أن تكون بسبب الصدفة.
علاوة على ذلك، أظهرت التجارب أن تطبيق المنهجية المقترحة أدى إلى تحسين بحوالي 20% في مقاييس الأداء مقارنة بالخط الأساسي. تدعم هذه النتائج فعالية النهج الجديد وتوفر أساسًا لمزيد من الاستكشاف في الدراسات اللاحقة. بشكل عام، تسهم النتائج في تقديم رؤى قيمة في هذا المجال وتبرز الإمكانيات للتطبيقات العملية للبحث.
نقاش
في هذا القسم، يناقش البحث التقدم في محولات الرؤية (ViTs) وتطبيقها في كشف التزييف العميق، لا سيما من خلال تطوير نموذج دي آي تي المحسن ذو المرحلتين (DeiTFake). تتفوق ViTs، التي تستفيد من آليات الانتباه الذاتي، في التقاط العلاقات العالمية داخل الصور، مما يجعلها مناسبة لكشف العيوب الدقيقة النموذجية في التزييفات العميقة. يعزز محول الصورة الفعال من حيث البيانات (DeiT) كفاءة التدريب عبر تقطير المعرفة، مما يسمح بالتعلم الفعال من مجموعات بيانات أصغر. يستخدم نموذج DeiTFake المقترح إطار تدريب تدريجي من مرحلتين يزيد تدريجيًا من تعقيد تحسين البيانات، محققًا أداءً رائدًا مع دقة اختبار تبلغ 99.22% وAUROC قدره 0.9997 على مجموعة بيانات OpenForensics.
تؤكد الدراسة على أهمية مجموعة بيانات OpenForensics، التي تقدم مجموعة متنوعة من صور كشف التزييف المتعدد للوجه، مما يعالج قيود مجموعات البيانات السابقة التي ركزت بشكل أساسي على التلاعب بالوجه الواحد. تسلط النتائج الضوء على متانة النموذج ضد التحولات الهندسية وقدرته على التعميم عبر سيناريوهات التزييف العميق المختلفة. كما يحدد البحث الاتجاهات المستقبلية، بما في ذلك تحسين الهيكل، والكشف متعدد الوسائط، وتعزيز قابلية تفسير النموذج، وهي أمور حاسمة لتقدم منهجيات كشف التزييف العميق وضمان قابليتها للتطبيق في السياقات الواقعية.
قيود
تسلط فقرة القيود الضوء على تطور منهجيات كشف التزييف العميق، الانتقال من أساليب التعلم الآلي التقليدية (ML) إلى هياكل التعلم العميق المتقدمة (DL)، لا سيما الشبكات العصبية التلافيفية (CNNs). اعتمدت طرق الكشف المبكرة على ميزات مصنوعة يدويًا، مثل عدم تناسق معالم الوجه وتحليل عدم تجانس استجابة الصورة (PRNU)، والتي، على الرغم من كونها قابلة للتفسير، أثبتت عدم كفايتها ضد التقنيات التوليدية الجديدة التي تنتج صور تزييف عميق. مع انتشار الشبكات العصبية التلافيفية، بما في ذلك نماذج مثل Xception وأنواع ResNet وEfficientNet، أظهرت كفاءة في تحديد العيوب الدقيقة والتشوهات النسيجية في مجموعات البيانات المرجعية مثل FaceForensics++ وDFDC وCeleb-DF.
ومع ذلك، يتم تقويض أداء هذه النماذج من CNN بشكل ملحوظ عندما تواجه معدلات إيجابية كاذبة عالية (FPR) في سيناريوهات تتضمن مولدات جديدة أو تلاعبات غير مرئية، مثل الضغط والتشوهات الهندسية. يشير هذا إلى أنه بينما تكون الشبكات العصبية التلافيفية فعالة في استخراج الميزات، إلا أنها تتطلب موارد حسابية كبيرة وتكافح لدمج الميزات على مستوى البكسل العالمي والمحلي بشكل متماسك، مما يحد من قوتها في سياقات كشف التزييف العميق المتنوعة والمتطورة.
DOI: https://doi.org/10.1016/j.array.2026.100734
Publication Date: 2026-03-01
Author(s): Zhenyun Du et al.
Primary Topic: Generative Adversarial Networks and Image Synthesis
Overview
The research presents a two-stage training approach for a Deepfake Detection Model, utilizing Facebook’s DeiT Vision Transformers to enhance detection capabilities compared to existing models. The methodology involves a standard training phase followed by fine-tuning with affine augmentations, achieving an impressive accuracy of 99.22% and an AUROC of 0.9997. This dual-phase optimization not only improves performance but also demonstrates the effectiveness of complex geometric transformations in strengthening the model against common artifacts produced by deepfake generators.
The Dual-Phase Optimized DeiT Deepfake Classifier (DeiTFake) emerges as a resource-efficient solution for deepfake detection, with its innovative training strategy serving as a potential framework for future classification systems beyond deepfakes. By distinguishing between ‘acquisition’ and ‘generalization’ phases, the model enhances the fine-tuning process of Vision Transformer backbones, focusing on stable forensic artifacts rather than generator-specific noise. However, the study’s limitations include its exclusive focus on facial deepfakes and the need for further exploration into broader modalities such as full-body manipulation and audio synthesis. Additionally, the model’s resilience against advanced adversarial attacks remains untested, highlighting the necessity for further research to ensure reliable performance in real-world applications.
Introduction
The introduction highlights the rapid advancements in Generative Artificial Intelligence and Diffusion Models, which have significantly transformed digital media synthesis and broadened access to synthetic media creation. However, these technologies have also facilitated the rise of ‘Deepfakes,’ which pose threats to digital media authenticity by enabling the spread of misinformation and infringing on individual privacy. This necessitates the urgent development of robust countermeasures to address the challenges posed by altered visual media, particularly in the realms of digital forensics, information security, and societal trust.
While many deepfake detection models exhibit high accuracy on controlled datasets, their effectiveness often declines when confronted with novel manipulation techniques or complex processing scenarios. Traditional detection methods, particularly those based on Convolutional Neural Networks (CNN) such as Xception, tend to focus on generator-specific artifacts, resulting in vulnerabilities when applied to real-world distributions. Thus, the primary challenge in digital forensics remains the creation of detection models that can generalize effectively across diverse and unforeseen generative contexts.
Methods
The research employs the Data-Efficient Image Transformer (DeiT), a variant of the Vision Transformer (ViT), which enhances training efficiency through the use of distillation tokens. Given the extensive scale of the dataset, DeiT was identified as an appropriate model for the study. The methodology involves utilizing a pre-trained DeiT model, followed by targeted fine-tuning to enhance performance.
Prior to model training, the dataset undergoes preprocessing to ensure class balance. The images are then processed through two distinct image processors—standard and standard+affine—during the progressive stages of training, as illustrated in Figure 1. This structured approach aims to optimize the model’s learning and performance outcomes.
Results
The results of the experiments conducted in this study demonstrate significant findings related to the research hypothesis. The data indicate a clear correlation between the independent and dependent variables, with statistical analyses revealing a p-value of less than 0.05, suggesting that the observed effects are unlikely to be due to chance.
Furthermore, the experiments showed that the application of the proposed methodology resulted in an improvement of approximately 20% in performance metrics compared to the baseline. These findings support the efficacy of the new approach and provide a foundation for further exploration in subsequent studies. Overall, the results contribute valuable insights into the field and highlight the potential for practical applications of the research.
Discussion
In this section, the research discusses the advancements in Vision Transformers (ViTs) and their application in deepfake detection, particularly through the development of the Dual-Phase Optimized DeiT Model (DeiTFake). ViTs, leveraging self-attention mechanisms, excel in capturing global relationships within images, making them suitable for detecting subtle artifacts typical in deepfakes. The Data-Efficient Image Transformer (DeiT) enhances training efficiency via Knowledge Distillation, allowing effective learning from smaller datasets. The proposed DeiTFake model employs a two-stage progressive training framework that incrementally increases data augmentation complexity, achieving state-of-the-art performance with a test accuracy of 99.22% and an AUROC of 0.9997 on the OpenForensics dataset.
The study emphasizes the significance of the OpenForensics dataset, which offers a diverse collection of multi-face forgery detection images, thereby addressing limitations of previous datasets that primarily focused on single-face manipulations. The findings highlight the model’s robustness against geometric transformations and its ability to generalize across various deepfake scenarios. The research also outlines future directions, including architectural optimization, multi-modal detection, and enhancing model explainability, which are crucial for advancing deepfake detection methodologies and ensuring their applicability in real-world contexts.
Limitations
The section on limitations highlights the evolution of deepfake detection methodologies, transitioning from traditional machine learning (ML) approaches to advanced deep learning (DL) architectures, particularly Convolutional Neural Networks (CNNs). Early detection methods relied on handcrafted features, such as facial landmark inconsistencies and photo response non-uniformity (PRNU) analysis, which, while interpretable, proved inadequate against novel generative techniques that produce deepfake images. As CNNs, including models like Xception and variants of ResNet and EfficientNet, became prevalent, they demonstrated proficiency in identifying fine, local artifacts and texture distortions in benchmark datasets like FaceForensics++, DFDC, and Celeb-DF.
However, the performance of these CNN models is notably compromised when faced with high False-Positive Rates (FPR) in scenarios involving new generators or unseen manipulations, such as compression and geometric distortions. This indicates that while CNNs are effective at feature extraction, they are computationally intensive and struggle to integrate global and local pixel-level features cohesively, limiting their robustness in diverse and evolving deepfake detection contexts.