DOI: https://doi.org/10.1007/s44227-026-00102-6
تاريخ النشر: 2026-06-16
المؤلف: Taras Fedynyshyn وآخرون
الموضوع الرئيسي: الكشف الجنائي عن الوسائط الرقمية
نظرة عامة
يتناول قسم ورقة البحث تطبيق نماذج اللغة الكبيرة متعددة الوسائط (LLMs) في الطب الشرعي الرقمي، وخاصة لتحليل الصور من الأجهزة المحمولة لتحديد الأفراد العسكريين وسط خلفيات معقدة، مثل الدمى. تواجه الطرق التقليدية تحديات في التمييز بدقة بين هذه الكيانات، مما يؤدي إلى معدلات إيجابية خاطئة مرتفعة. تقيم الدراسة ثلاثة نماذج LLMs—جيميني 1.5 برو من جوجل، وLLAVA مفتوحة المصدر، وGPT-4o—عبر 434 صورة، كاشفة عن معدلات استرجاع قوية (0.99 لجيميني، 0.98 لـLLAVA، و0.91 لـGPT-4o) ولكن بدقة معتدلة فقط (0.69 لكل نموذج). عانت النماذج بشكل خاص من تصنيف سياقي، خاصة في تحديد البلدان وأسماء الوحدات، حيث كانت الأخطاء في التصنيف ناتجة بشكل أساسي عن ارتباك الدمى.
لمعالجة هذه القيود، قدم المؤلفون طبقة تنسيق وكيل باستخدام CrewAI وLangGraph، مما عزز التفكير متعدد الوسائط من خلال وكلاء فرعيين متخصصين لمهام مثل التحقق من المصدر والتمييز بين الدمى. حسنت هذه التكامل بشكل كبير من موثوقية الطب الشرعي، حيث حققت CrewAI دقة قدرها 0.88 ومعدل إيجابية خاطئة للدمى قدره 0.12، بينما وصلت LangGraph إلى دقة 0.90 مع معدل إيجابية خاطئة منخفض قدره 0.08. على الرغم من وجود انخفاض طفيف في الاسترجاع (0.74 لـCrewAI و0.73 لـLangGraph)، إلا أن هذا التبادل أدى إلى زيادة الثقة في الطب الشرعي والقدرة على إنتاج آثار قرار قابلة للتكرار وجاهزة للتدقيق. تؤكد النتائج على إمكانيات الهياكل الوكيلة لتحويل نماذج LLMs إلى أدوات شفافة مدفوعة بالأدلة للتحقيقات الجنائية، مما يعزز كل من الدقة التحليلية والدفاعية للأدلة.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الأهمية المتزايدة للطب الشرعي الرقمي في سياق زيادة البيانات الرقمية والجرائم الإلكترونية المعقدة. تم تحديد الأجهزة المحمولة كمصادر مهمة للأدلة، خاصة في شكل بيانات الصور، مما يطرح تحديات لمحللي الطب الشرعي بسبب حجم وتعقيد الصور. غالبًا ما تكافح تقنيات تحليل الصور التقليدية، على الرغم من فائدتها، مع التغيرات الواقعية مثل الإضاءة والاحتجاب، خاصة عند التمييز بين الأفراد العسكريين الحقيقيين والدمى. تقدم التطورات الأخيرة في الذكاء الاصطناعي (AI)، وخاصة في نماذج اللغة الكبيرة (LLMs) ونماذج LLMs متعددة الوسائط، فرصًا جديدة لتعزيز قدرات تحليل الصور، على الرغم من أنها أظهرت قيودًا في الدقة.
تقدم الورقة طبقة تنسيق وكيل تدمج نماذج LLMs متعددة الوسائط ضمن سير عمل تفكير منظم لتحسين التحليل الجنائي. يهدف هذا الإطار إلى معالجة تحديات الإيجابيات الخاطئة وتعزيز موثوقية تحديد الأفراد العسكريين في الصور. تقيم الدراسة أداء نماذج مثل جيميني 1.5 برو وLLAVA وGPT-4o في الكشف عن الأفراد العسكريين، كاشفة عن معدلات استرجاع عالية ولكن دقة معتدلة، خاصة في التمييز بين الأفراد الحقيقيين والدمى. يظهر دمج CrewAI وLangGraph أنه يحسن الشفافية التحليلية والدفاعية للأدلة، مما يقلل من الإيجابيات الخاطئة المتعلقة بالدمى ويعزز دقة تحديد السمات. تشير النتائج إلى تحول في التفكير الجنائي المنظم، مع إمكانية تطبيقات في العالم الحقيقي في انتظار مزيد من التحسين.
الطرق
يحدد قسم المنهجية النهج المتبع لتقييم أداء نماذج اللغة الكبيرة متعددة الوسائط (LLMs) في تحديد الأفراد العسكريين ضمن الصور. استخدمت الدراسة سير عمل منظم يسهل من خلال طبقة تنسيق وكيل، تم تنفيذها عبر CrewAI وLangGraph، لتعزيز القابلية للتكرار وقابلية التتبع الجنائي. يتكون سير العمل من عدة مراحل فرعية قابلة للتحقق: المصدر، الإدراك، التمييز بين الدمى، النسبة، التحقق المتبادل، والتقارير.
في الإعداد التجريبي، تمت معالجة الصور من خلال سلسلة من الخطوات. في البداية، تم تقديم كل صورة إلى ثلاثة نماذج LLMs—جيميني 1.5 برو من جوجل، وLLAVA مفتوحة المصدر، وGPT-4o من OpenAI—مع مطالبات محددة مصممة لاستنباط أوصاف مفصلة للأفراد العسكريين والسمات ذات الصلة. تطلبت المطالبات من النماذج تحليل العناصر المرئية مثل الزي الرسمي والمعدات والشعارات دون إجراء افتراضات. ثم تم تحويل أوصاف النص المولدة إلى تنسيق JSON منظم باستخدام نموذج OpenAI o3-mini-2025-01-31، والذي تم تخزينه بعد ذلك في جدول CSV لمزيد من التحليل. بالإضافة إلى ذلك، تم اختبار نوعين من الوكلاء: CrewAI، الذي سهل توجيه التعاون للقطع الأثرية مع مطالبات محددة حسب الدور، وLangGraph، الذي نفذ رسمًا بيانيًا موجهًا حتميًا (DAG) للمعالجة، مما يضمن التحقق من صحة ضد مخططات JSON ومعالجة الأخطاء المحلية.
النتائج
تكشف نتائج التجارب التي تقيم أداء نماذج جوجل جيميني 1.5 برو وLLAVA وGPT-4o من OpenAI في تحديد الأفراد العسكريين في الصور عن رؤى هامة حول قدراتهم. أظهرت جميع النماذج معدلات استرجاع عالية (0.99 لجيميني، 0.98 لـLLAVA، و0.91 لـGPT-4o) ولكنها أظهرت دقة معتدلة (0.67-0.69)، مما يشير إلى ميلها لتصنيف الدمى بشكل خاطئ كأفراد حقيقيين. حققت جيميني 1.5 برو وLLAVA درجات دقة شاملة متقاربة قدرها 0.793، بينما تأخرت GPT-4o قليلاً عند 0.770. من الجدير بالذكر أن جيميني 1.5 برو تفوقت في تحديد السمات، حيث حققت درجات دقة قدرها 0.787 لدقة البلد و0.2544 لدقة اسم الوحدة، بينما أظهرت LLAVA وGPT-4o أداءً أقل في هذه المقاييس.
أظهر التحليل الإضافي لأطر التنسيق الوكيلة، CrewAI وLangGraph، فعاليتها في تعزيز أداء النماذج. حسنت كلا الإطارين بشكل كبير من الدقة الجنائية العامة وقللت من الإيجابيات الخاطئة المرتبطة بصور الدمى، حيث حققت CrewAI دقة قدرها 0.88 وحققت LangGraph 0.90. انخفض معدل الإيجابيات الخاطئة من متوسط 0.27 إلى 0.12 لـCrewAI و0.08 لـLangGraph. بالإضافة إلى ذلك، تحسنت دقة النسبة للبلد إلى 0.58 و0.62، على التوالي. استفاد إطار CrewAI من الحوار بين الوكلاء، مما عزز التفكير النوعي، بينما قدم LangGraph مخرجات أكثر استقرارًا. زادت كلا الإطارين أيضًا من معدل الامتناع، وهو أمر مفيد في التطبيقات الجنائية لتقليل مخاطر سوء التفسير بسبب الثقة المفرطة.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على دمج نماذج اللغة الكبيرة متعددة الوسائط (LLMs) في الطب الشرعي الرقمي، وخاصة لتحديد الأفراد العسكريين في الصور. يستعرض الأدبيات الحالية حول الطب الشرعي الرقمي التقليدي، وتطبيقات الذكاء الاصطناعي في التحليل الجنائي، وقدرات نماذج LLMs متعددة الوسائط. غالبًا ما تكافح الطرق التقليدية مع زيادة تعقيد تلاعب الصور وتكون محدودة في تحليل المحتوى الدلالي. أظهرت التطورات الأخيرة في الذكاء الاصطناعي، بما في ذلك الهياكل الوكيلة، وعدًا في تعزيز موثوقية التحليل الجنائي من خلال التفكير المنظم وأنظمة متعددة الوكلاء.
تؤكد الدراسة على إمكانيات نماذج LLMs متعددة الوسائط، مثل جيميني 1.5 برو وLLAVA وGPT-4o، في تحديد الأفراد العسكريين، بينما تكشف أيضًا عن تحديات كبيرة، خاصة في التمييز بين الأفراد الحقيقيين والدمى. على الرغم من تحقيق معدلات استرجاع عالية، أظهرت النماذج دقة معتدلة بسبب الأخطاء المتكررة في تصنيف الدمى كأفراد عسكريين. أدى إدخال أطر التنسيق الوكيلة، CrewAI وLangGraph، إلى تحسين الدقة وتقليل الإيجابيات الخاطئة من خلال هيكلة عملية التفكير إلى مراحل قابلة للتحقق. يعزز هذا التحول من التركيز على الاسترجاع إلى الدقة وقابلية التتبع الدفاعية للأدلة في التحقيقات المدعومة بالذكاء الاصطناعي، مما يجعل دمج نماذج LLMs متعددة الوسائط أكثر ملاءمة للتطبيقات الجنائية. بشكل عام، تعالج الدراسة فجوة حاسمة في الأدبيات من خلال استكشاف فعالية نماذج LLMs متعددة الوسائط في سياق جنائي محدد، مما يمهد الطريق للتقدم المستقبلي في هذا المجال.
DOI: https://doi.org/10.1007/s44227-026-00102-6
Publication Date: 2026-06-16
Author(s): Taras Fedynyshyn et al.
Primary Topic: Digital Media Forensic Detection
Overview
The research paper section discusses the application of multimodal Large Language Models (LLMs) in digital forensics, specifically for analyzing images from mobile devices to identify military personnel amidst complex backgrounds, such as mannequins. Traditional methods face challenges in accurately distinguishing between these entities, leading to high false positive rates. The study evaluates three LLMs—Google’s Gemini 1.5 Pro, open-source LLAVA, and GPT-4o—across 434 images, revealing strong recall rates (0.99 for Gemini, 0.98 for LLAVA, and 0.91 for GPT-4o) but only moderate precision (0.69 for each model). The models struggled particularly with contextual classification, especially in identifying countries and unit names, with misclassifications primarily stemming from mannequin confusion.
To address these limitations, the authors introduced an agentic orchestration layer using CrewAI and LangGraph, which enhanced multimodal reasoning through specialized sub-agents for tasks such as provenance validation and mannequin discrimination. This integration significantly improved forensic reliability, with CrewAI achieving a precision of 0.88 and a mannequin false-positive rate of 0.12, while LangGraph reached 0.90 precision with a reduced false-positive rate of 0.08. Although there was a slight decrease in recall (0.74 for CrewAI and 0.73 for LangGraph), the trade-off resulted in higher forensic confidence and the ability to produce reproducible, audit-ready decision traces. The findings underscore the potential of agentic architectures to transform LLMs into transparent, evidence-driven tools for forensic investigations, enhancing both analytic precision and evidentiary defensibility.
Introduction
The introduction of this research paper highlights the growing importance of digital forensics in the context of increasing digital data and sophisticated cybercrimes. Mobile devices are identified as significant sources of evidence, particularly in the form of image data, which poses challenges for forensic analysts due to the volume and complexity of the images. Traditional image analysis techniques, while useful, often struggle with real-world variabilities such as lighting and occlusion, especially when distinguishing between actual military personnel and mannequins. Recent advancements in Artificial Intelligence (AI), particularly in Large Language Models (LLMs) and multimodal LLMs, present new opportunities to enhance image analysis capabilities, although they have shown limitations in precision.
The paper introduces an agentic orchestration layer that integrates multimodal LLMs within structured reasoning workflows to improve forensic analysis. This framework aims to address the challenges of false positives and enhance the reliability of identifying military personnel in images. The study evaluates the performance of models like Gemini 1.5 Pro, LLAVA, and GPT-4o in detecting military personnel, revealing high recall rates but moderate precision, particularly in differentiating between real individuals and mannequins. The integration of CrewAI and LangGraph is shown to improve analytic transparency and evidentiary defensibility, reducing mannequin-related false positives and enhancing attribute identification accuracy. The findings suggest a paradigm shift towards structured forensic reasoning, with the potential for real-world applications pending further refinement.
Methods
The methodology section outlines the approach taken to assess the performance of multimodal Large Language Models (LLMs) in identifying military personnel within images. The study utilized a structured workflow facilitated by an agentic orchestration layer, implemented through CrewAI and LangGraph, to enhance reproducibility and forensic traceability. The workflow comprised several verifiable sub-stages: provenance, perception, mannequin discrimination, attribution, cross-check, and reporting.
In the experimental setup, images were processed through a series of steps. Initially, each image was submitted to three LLMs—Google’s Gemini 1.5 Pro, the open-source LLAVA, and OpenAI’s GPT-4o—with specific prompts designed to elicit detailed descriptions of military personnel and related attributes. The prompts required the models to analyze visible elements such as uniforms, equipment, and insignia without making assumptions. The generated text descriptions were then converted into a structured JSON format using the OpenAI o3-mini-2025-01-31 model, which was subsequently stored in a CSV table for further analysis. Additionally, two agentic variants were tested: CrewAI, which facilitated collaborative routing of artifacts with role-specific prompts, and LangGraph, which implemented a deterministic directed acyclic graph (DAG) for processing, ensuring validation against JSON schemas and local error handling.
Results
The results of the experiments evaluating the performance of Google’s Gemini 1.5 Pro, LLAVA, and OpenAI’s GPT-4o models for identifying military personnel in images reveal significant insights into their capabilities. All models demonstrated high recall rates (0.99 for Gemini, 0.98 for LLAVA, and 0.91 for GPT-4o) but exhibited moderate precision (0.67-0.69), indicating a tendency to misclassify mannequins as real personnel. Gemini 1.5 Pro and LLAVA achieved comparable overall accuracy scores of 0.793, while GPT-4o lagged slightly at 0.770. Notably, Gemini 1.5 Pro excelled in attribute identification, achieving accuracy scores of 0.787 for country correctness and 0.2544 for unit name correctness, while LLAVA and GPT-4o showed lower performance on these metrics.
Further analysis of agentic orchestration frameworks, CrewAI and LangGraph, demonstrated their effectiveness in enhancing model performance. Both frameworks significantly improved overall forensic accuracy and reduced false positives associated with mannequin images, with CrewAI achieving a precision of 0.88 and LangGraph reaching 0.90. The false positive rate decreased from an average of 0.27 to 0.12 for CrewAI and 0.08 for LangGraph. Additionally, country attribution accuracy improved to 0.58 and 0.62, respectively. The CrewAI framework benefited from inter-agent dialogue, enhancing qualitative reasoning, while LangGraph provided more stable outputs. Both frameworks also increased the abstain rate, which is advantageous in forensic applications to mitigate the risks of misinterpretation due to overconfidence.
Discussion
The discussion section of the research paper highlights the integration of multimodal Large Language Models (LLMs) in digital forensics, particularly for identifying military personnel in images. It reviews existing literature on traditional digital image forensics, AI applications in forensic analysis, and the capabilities of multimodal LLMs. Traditional methods often struggle with the increasing sophistication of image manipulation and are limited in analyzing semantic content. Recent advancements in AI, including agentic architectures, have shown promise in enhancing the reliability of forensic analysis through structured reasoning and multi-agent systems.
The study emphasizes the potential of multimodal LLMs, such as Gemini 1.5 Pro, LLAVA, and GPT-4o, in identifying military personnel, while also revealing significant challenges, particularly in distinguishing between real individuals and mannequins. Despite achieving high recall rates, the models exhibited moderate precision due to frequent misclassifications of mannequins as military personnel. The introduction of agentic orchestration frameworks, CrewAI and LangGraph, improved precision and reduced false positives by structuring the reasoning process into verifiable stages. This shift from a focus on recall to precision and traceability enhances the evidentiary defensibility of AI-assisted investigations, making the integration of multimodal LLMs more suitable for forensic applications. Overall, the research addresses a critical gap in the literature by exploring the effectiveness of multimodal LLMs in a specific forensic context, paving the way for future advancements in this field.