DOI: https://doi.org/10.1038/s41598-026-41862-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41776252
تاريخ النشر: 2026-03-03
المؤلف: Yihan DONG وآخرون
الموضوع الرئيسي: المعلومات المضللة وتأثيراتها
نظرة عامة
تقدم ورقة البحث إطار عمل للتحقق من الحقائق متعدد الوكلاء (MAFC) يهدف إلى تعزيز اكتشاف وتصنيف المعلومات المضللة في خدمات الشبكات الاجتماعية (SNS). مع الاعتراف بحدود طرق التحقق من الحقائق الحالية، وخاصة الثقة المفرطة في نماذج اللغة الكبيرة (LLMs) وعدم كفاية التحقق الثنائي من الحقائق، يقترح المؤلفون نهجًا جديدًا يستخدم عدة وكلاء، كل منهم لديه مصادر معلومات متميزة، لتقييم مصداقية النصوص. تم تطوير آلية تسجيل فريدة لتحويل الأحكام الثنائية من المطالبات الفردية إلى تقييمات مصداقية متعددة العلامات للنص الأصلي.
من خلال التجارب المقارنة، يظهر إطار عمل MAFC أداءً متفوقًا في كل من مهام التحقق من الحقائق الثنائية ومتعددة العلامات مقارنة بالطرق الحالية، بما في ذلك الوكلاء المعتمدين على LLM واحد وأنظمة الوكلاء المتعددة السابقة. تسلط النتائج الضوء على فعالية الإطار في معالجة تعقيدات المعلومات المضللة، بينما تحدد أيضًا التحديات في تحديد المعايير وإنشاء مجموعات بيانات للتحقق من الحقائق متعددة العلامات. تختتم الورقة بوضع إطار عمل MAFC كإسهام كبير في هذا المجال، مما يوفر أساسًا للبحث المستقبلي في منهجيات التحقق من الحقائق متعددة العلامات.
مقدمة
تسلط المقدمة الضوء على الأهمية المتزايدة للنقاشات عبر الإنترنت التي يسهلها الإنترنت، مما أدى إلى زيادة انتشار الشائعات والمعلومات المضللة مقارنة بطرق الاتصال التقليدية. تشير الأبحاث إلى أن المعلومات المضللة تنتشر بسرعة أكبر من المعلومات الواقعية على منصات الوسائط الاجتماعية، مما يبرز الحاجة الملحة لآليات تحقق فعالة. يتم تحديد عملية التحقق التلقائي من الحقائق على أنها تتكون من ثلاث خطوات رئيسية: اكتشاف المطالبات، استرجاع الأدلة، والتحقق من المطالبات. يتم تصنيف الخطوة الأخيرة إلى توقع الحكم، الذي يتضمن تصنيف المطالبات بعلامات صادقة، وإنتاج التبريرات، الذي يتطلب توليد تفسيرات لهذه التصنيفات.
تشير المقدمة أيضًا إلى عدة مبادرات تستفيد من التقدم في نماذج اللغة الكبيرة (LLMs) لمواجهة تحديات التحقق من الحقائق. تشمل الأمثلة البارزة FacTool، الذي يركز على التحقق من الحقائق في الذكاء الاصطناعي التوليدي مع معلومات إضافية؛ Chain-of-Verification (CoVE)، الذي يقيم مصداقية الاستجابات التي تم إنشاؤها بواسطة LLM دون معلومات خارجية؛ وSelfCheckGPT، الذي يقيم الدقة الواقعية من خلال مقارنة مخرجات متعددة من LLM. بالإضافة إلى ذلك، يتم الإشارة إلى ظهور أنظمة الوكلاء المتعددة المعتمدة على LLM لمهام التحقق من الحقائق، مما يدل على اتجاه نحو أساليب أكثر تعقيدًا في هذا المجال.
طرق
في قسم “الطرق”، يوضح المؤلفون التقييم التجريبي الذي تم إجراؤه لتقييم النهج المقترح. شمل التقييم سلسلة من التجارب المضبوطة المصممة لقياس فعالية وكفاءة الطريقة تحت ظروف مختلفة. تم تحديد مقاييس رئيسية لتQuantify الأداء، بما في ذلك الدقة، ووقت الحساب، والقدرة على التحمل ضد الضوضاء.
تم هيكلة التجارب لمقارنة الطريقة المقترحة مع المعايير الحالية، باستخدام مجموعة متنوعة من مجموعات البيانات لضمان تعميم النتائج. تم إجراء تحليلات إحصائية للتحقق من دلالة النتائج، حيث تشير النتائج إلى أن الطريقة المقترحة تفوقت على الأساليب التقليدية من حيث الدقة وسرعة المعالجة. يبرز القسم المنهجية الدقيقة المستخدمة لضمان نتائج موثوقة وقابلة للتكرار، مما يسلط الضوء على أهمية هذه النتائج في تقدم المجال.
مناقشة
ت outlines قسم المناقشة في الورقة تطوير وتقييم إطار عمل للتحقق من الحقائق متعدد الوكلاء الذي يدمج نماذج اللغة الكبيرة (LLMs) لتعزيز دقة وموثوقية التحقق من المطالبات عبر الإنترنت. يعالج الإطار المقترح ثلاثة تحديات حاسمة في أنظمة التحقق من الحقائق الحالية: الاعتماد على مصادر موثوقة واحدة، والثقة المفرطة في أحكام LLM، وعدم كفاية التصنيف الثنائي في النصوص المعقدة عبر الإنترنت. للتخفيف من هذه القضايا، يستخدم الإطار عدة وكلاء، كل منهم يستمد الأدلة من قنوات معلومات متميزة، مما يوفر مستويات ثقة متنوعة لكل مطالبة. يهدف هذا التصميم إلى تقليل الثقة المفرطة وتحسين قوة تقييمات الحقائق.
يقدم الإطار آلية تسجيل تقيم مصداقية المطالبات والنصوص، مميزًا بين مصداقية مستوى المطالبة ومصداقية مستوى النص. يتم تقييم كل مطالبة بواسطة وكلاء ينتجون أحكامًا ثنائية (صحيحة أو خاطئة) مع درجات ثقة، والتي يتم تجميعها بعد ذلك للحصول على درجة التحقق من الحقائق متعددة الوكلاء (MAFC) تتراوح من 0 إلى 1. تعكس هذه الدرجة موثوقية النص بشكل عام وتسمح بتصنيف دقيق (صحيح، صحيح جزئيًا، خاطئ) بناءً على تركيبة المطالبات. تقارن الورقة أيضًا آلية التسجيل المقترحة بأساليب التجميع الأبسط، مما يوضح فعاليتها من خلال سلسلة من التجارب عبر مجموعات بيانات متعددة، بما في ذلك SciFact وFEVER، التي تشمل كل من المطالبات العلمية والعامة. تشير النتائج إلى أن النهج متعدد الوكلاء يعزز بشكل كبير دقة مهام التحقق من الحقائق، خاصة في السيناريوهات التي تتضمن مطالبات مختلطة.
القيود
تتعدد قيود إطار عمل التحقق من الحقائق متعدد الوكلاء (MAFC)، وتنبع بشكل أساسي من اعتماده على بنية نموذج متجانسة، وبالتحديد العمود الفقري لـ GPT-4-turbo. بينما يستفيد النظام من مصادر أدلة متنوعة، يمكن أن تؤدي الوحدة في بنية التفكير إلى انتشار التحيزات والهلاوس المتأصلة في نموذج العمود الفقري. ينعزل هذا الاختيار التصميمي عن آثار تجميع الأدلة ولكنه يخاطر بتضخيم الأخطاء النظامية، خاصة إذا أساء العمود الفقري تفسير مطالبات معينة. على الرغم من أن استخدام LLMs متنوعة يمكن أن يقلل من هذا الخطر، إلا أنه لا يقضي على الهلاوس تمامًا بسبب القواسم المشتركة في بنية المحولات، وقد يهدد أيضًا استقرار المطالبات.
بالإضافة إلى ذلك، يقتصر التقييم التجريبي لـ MAFC على طبيعة مجموعات البيانات المستخدمة، مثل SciFact وSciFact-Mixed، التي تركز على المطالبات العلمية التي تختلف بشكل كبير عن المحتوى المحادثي والسياسي المشحون السائد على وسائل التواصل الاجتماعي. يحد الاعتماد على النصوص الاصطناعية في SciFact-Mixed من قابلية تطبيق الإطار على المشاركات ذات الحقيقة المختلطة التي تحدث بشكل طبيعي. علاوة على ذلك، يواجه إطار عمل MAFC صعوبات مع المطالبات الحساسة للوقت، حيث يتحقق من التأكيدات السابقة باستخدام الأدلة الحالية، مما يؤدي غالبًا إلى أخطاء في الحكم. قد لا تكون مصادر الأدلة—بحث Google، ويكيبيديا، وLLM—على الرغم من كونها شاملة، الأكثر موثوقية دائمًا لمهام التحقق من الحقائق المحددة. يكون أداء النظام مثاليًا عندما تكون الأدلة واضحة ومتسقة، ولكنه يميل إلى الفشل في السيناريوهات الغامضة. أخيرًا، تتطلب الطبيعة الذاتية لإعدادات العتبة لمهام التحقق من الحقائق متعددة العلامات مزيدًا من التحسين لتعزيز الدقة في التمييز بين درجات مختلفة من الصدق.
DOI: https://doi.org/10.1038/s41598-026-41862-z
PMID: https://pubmed.ncbi.nlm.nih.gov/41776252
Publication Date: 2026-03-03
Author(s): Yihan DONG et al.
Primary Topic: Misinformation and Its Impacts
Overview
The research paper introduces a multi-agent fact-checking (MAFC) framework aimed at enhancing the detection and classification of misinformation in social networking services (SNS). Recognizing the limitations of existing fact-checking methods, particularly the overconfidence of large language models (LLMs) and the inadequacy of binary fact-checking, the authors propose a novel approach that employs multiple agents, each with distinct information sources, to assess the credibility of texts. A unique scoring mechanism is developed to convert binary judgments from individual claims into multi-label credibility assessments for the original text.
Through comparative experiments, the MAFC framework demonstrates superior performance in both binary and multi-label fact-checking tasks compared to existing methods, including single LLM-based agents and previous multi-agent systems. The findings highlight the framework’s effectiveness in addressing the complexities of misinformation, while also identifying challenges in defining standards and creating datasets for multi-label fact-checking. The paper concludes by positioning the MAFC framework as a significant contribution to the field, offering a foundation for future research in multi-label fact-checking methodologies.
Introduction
The introduction highlights the growing significance of online discussions facilitated by the Internet, which has led to an increased prevalence of rumors and misinformation compared to traditional communication methods. Research indicates that misinformation spreads more rapidly than factual information on social media platforms, underscoring the critical need for effective fact-checking mechanisms. The process of automatic fact-checking is outlined as comprising three key steps: Claims Detection, Evidence Retrieval, and Claims Verification. The latter step is further categorized into Verdict Prediction, which involves classifying claims with truthful labels, and Justification Production, which requires generating explanations for these classifications.
The introduction also references several initiatives that leverage advancements in large language models (LLMs) to tackle the challenges of fact-checking. Notable examples include FacTool, which focuses on factuality verification in generative AI with supplementary information; Chain-of-Verification (CoVE), which assesses the credibility of LLM-generated responses without external information; and SelfCheckGPT, which evaluates factual accuracy by comparing multiple LLM outputs. Additionally, the emergence of LLM-based multi-agent systems (MAS) for fact-checking tasks is noted, indicating a trend towards more sophisticated approaches in this domain.
Methods
In the “Methods” section, the authors detail the experimental evaluation conducted to assess the proposed approach. The evaluation involved a series of controlled experiments designed to measure the effectiveness and efficiency of the method under various conditions. Key metrics were established to quantify performance, including accuracy, computational time, and robustness against noise.
The experiments were structured to compare the proposed method with existing benchmarks, utilizing a diverse set of datasets to ensure generalizability of the results. Statistical analyses were performed to validate the significance of the findings, with results indicating that the proposed method outperformed traditional approaches in terms of both accuracy and processing speed. The section emphasizes the rigorous methodology employed to ensure reliable and reproducible outcomes, highlighting the importance of these findings in advancing the field.
Discussion
The discussion section of the paper outlines the development and evaluation of a multi-agent fact-checking framework that integrates large language models (LLMs) to enhance the accuracy and reliability of online claim verification. The proposed framework addresses three critical challenges in existing fact-checking systems: reliance on single authoritative sources, overconfidence in LLM judgments, and the inadequacy of binary classification in complex online texts. To mitigate these issues, the framework employs multiple agents, each sourcing evidence from distinct information channels, thereby providing varied confidence levels for each claim. This design aims to reduce overconfidence and improve the robustness of factuality assessments.
The framework introduces a scoring mechanism that quantifies the credibility of claims and texts, distinguishing between claim-level factuality and text-level credibility. Each claim is evaluated by agents that produce binary judgments (true or false) along with confidence scores, which are then aggregated to yield a Multi-Agent Fact-Checking (MAFC) Score ranging from 0 to 1. This score reflects the overall trustworthiness of the text and allows for nuanced labeling (TRUE, PARTLY TRUE, FALSE) based on the composition of the claims. The paper also compares the proposed scoring mechanism with simpler aggregation methods, demonstrating its effectiveness through a series of experiments across multiple datasets, including SciFact and FEVER, which encompass both scientific and general-domain claims. The results indicate that the multi-agent approach significantly enhances the accuracy of fact-checking tasks, particularly in scenarios involving mixed claims.
Limitations
The limitations of the Multi-Agent Fact-Checking (MAFC) framework are multifaceted, primarily stemming from its reliance on a homogeneous model architecture, specifically the GPT-4-turbo backbone. While the system benefits from diverse evidence sources, the uniformity in reasoning architecture can lead to the propagation of biases and hallucinations inherent to the backbone model. This design choice isolates the effects of evidence aggregation but risks amplifying systematic errors, particularly if the backbone misinterprets specific claims. Although employing varied LLMs could mitigate this risk, it does not eliminate hallucinations entirely due to the commonalities in transformer architecture, and it may also compromise prompt stability.
Additionally, the experimental evaluation of MAFC is constrained by the nature of the datasets used, such as SciFact and SciFact-Mixed, which focus on scientific claims that differ significantly from the conversational and politically charged content prevalent on social media. The reliance on synthetic texts in SciFact-Mixed limits the framework’s applicability to naturally occurring mixed-veracity posts. Furthermore, the MAFC framework struggles with time-sensitive claims, as it verifies past assertions using current evidence, often leading to misjudgments. The choice of evidence sources—Google search, Wikipedia, and the LLM—while comprehensive, may not always be the most reliable for specific fact-checking tasks. The system’s performance is optimal when evidence is clear and consistent, but it tends to falter in ambiguous scenarios. Lastly, the subjective nature of threshold settings for multi-label fact-checking tasks necessitates further refinement to enhance accuracy in distinguishing between varying degrees of truthfulness.