DOI: https://doi.org/10.1109/mc.2025.3592765
تاريخ النشر: 2026-02-01
المؤلف: Dominik Macko وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
تناقش ورقة البحث المخاوف المتزايدة بشأن إساءة استخدام نماذج اللغة الكبيرة (LLMs) في توليد المعلومات المضللة. تبرز الصعوبة التي يواجهها البشر في التمييز بين النصوص التي تم إنشاؤها بواسطة LLM والنصوص المكتوبة بواسطة البشر، مما يساهم في نقاش أكاديمي مقسم حول تداعيات LLMs. تقدم الدراسة أدلة تجريبية على وجود LLM في مجموعات بيانات المعلومات المضللة في العالم الحقيقي، مع ملاحظة زيادة في المحتوى الذي تم إنشاؤه بواسطة الآلات بعد إصدار ChatGPT. تحدد أنماطًا كبيرة عبر لغات ومنصات وفترات زمنية مختلفة، مما يشير إلى أنه بينما توجد نصوص تم إنشاؤها بواسطة LLM، إلا أنها ليست بالضرورة مستخدمة في المعلومات المضللة بكميات أكبر من المحتوى الشرعي.
تشير النتائج إلى أن النصوص التي تم إنشاؤها بواسطة LLM قد تم دمجها بالفعل في مجموعات بيانات المعلومات المضللة الموجودة، مثل MultiClaim، التي تتكون من ادعاءات تم التحقق من صحتها. ومع ذلك، فإن القدرة المحدودة لمراجعي الحقائق على التحقق من الكمية الهائلة من المعلومات تؤدي إلى عدم توازن بين الادعاءات الصحيحة والخاطئة. تعقد هذه الحالة المقارنات النظامية وتثير القلق بشأن إمكانية إساءة استخدام LLMs للدعاية في سياقات مثل الانتخابات أو الحروب. تؤكد الدراسة على الحاجة إلى الشفافية بشأن المحتوى الذي تم إنشاؤه بواسطة LLM لتعزيز الثقة في المعلومات عبر الإنترنت وتدعو إلى مزيد من البحث لاستكشاف العوامل التي تؤثر على انتشار المعلومات المضللة التي تم إنشاؤها بواسطة LLM. كما تؤكد على أهمية تحسين قدرات الكشف مع تطور تكنولوجيا الذكاء الاصطناعي، خاصة للغات ومنصات الضعيفة، لحماية نزاهة نظم المعلومات.
الطرق
في هذه الدراسة، تم استخدام مجموعتين متميزتين من مجموعات البيانات لتقييم قوة طرق الكشف عن النصوص التي تم إنشاؤها بواسطة الآلات وتقدير انتشار مثل هذه النصوص. تتكون المجموعة الأولى من مجموعات بيانات معيارية متعددة اللغات توفر حقائق موثوقة مصنفة للتفريق بين النصوص التي تم إنشاؤها بواسطة الآلات والنصوص المكتوبة بواسطة البشر، بينما تتضمن المجموعة الثانية بيانات من العالم الحقيقي تهدف إلى تقييم انتشار المحتوى الذي تم إنشاؤه بواسطة الآلات. تم ضبط كاشفين متعددين اللغات، Gemma_GenAI وGemma_MultiDomain، باستخدام تقنية QLoRA على مجموعات بيانات تدريب مختلفة لتعزيز قدرات الكشف الخاصة بهم.
تم تقييم الكاشفين في البداية على تقسيمات اختبار مجموعات البيانات المعيارية لضمان قوتهم ضد البيانات خارج التوزيع. بعد هذا التقييم، تم تطبيقهم على أربع مجموعات بيانات يُشتبه في احتوائها على معلومات مضللة أو دعاية. لقياس انتشار النصوص التي تم إنشاؤها بواسطة الآلات، تم استخدام مقياس متوسط الدرجات، مما يوفر درجة احتمال (تتراوح من 0.0 إلى 1.0) تشير إلى احتمال أن يكون النص قد تم إنشاؤه بواسطة آلة. تم تنفيذ نهج كشف مشترك، حيث تم إجراء توقع إيجابي إذا أشار كاشف واحد على الأقل إلى احتمال مرتفع للفئة الإيجابية بينما لم يتوقع الآخر بثقة الفئة السلبية. من الجدير بالذكر أنه تم استبعاد التوقعات من كاشف Gemma_GenAI لبعض اللغات (العربية، الألمانية، الإيطالية، والروسية) إذا تجاوزت معدل إيجابية خاطئة بنسبة 0.1 على مجموعات البيانات المصنفة، مما يضمن موثوقية عملية الكشف.
النتائج
في هذا القسم، يقدم المؤلفون نتائجهم بشأن انتشار النصوص التي تم إنشاؤها بواسطة الآلات في سياق المعلومات المضللة. في البداية، يقدرون الانتشار العام لمثل هذه النصوص، مع معالجة أسئلة البحث الموضحة في المقدمة. بعد ذلك، تتعمق التحليل في التباينات في الانتشار بناءً على عوامل مختلفة، والتي قد تشمل نوع المعلومات المضللة أو الوسيلة التي يتم من خلالها نشرها. أخيرًا، يمدد المؤلفون تحقيقهم لتقييم انتشار النصوص التي تم إنشاؤها بواسطة الآلات في مجموعات بيانات ذات صلة أخرى، مما يضع نتائجهم في إطار أوسع من الأدبيات الموجودة حول المعلومات المضللة.
المناقشة
يتناول قسم المناقشة في هذه الدراسة انتشار وتداعيات النصوص التي تم إنشاؤها بواسطة الآلات ضمن مجموعات بيانات المعلومات المضللة، مع التركيز على ثلاثة أسئلة بحثية رئيسية. تشير النتائج إلى زيادة كبيرة في وجود المحتوى الذي تم إنشاؤه بواسطة الآلات في المعلومات المضللة، خاصة بعد إصدار نماذج اللغة المتقدمة (LLMs) مثل ChatGPT. تكشف الدراسة أن نسبة مثل هذه النصوص في مجموعة بيانات MultiClaim ارتفعت من 0.93% في 2021 إلى 1.85% في 2023، مما يبرز اتجاهًا مقلقًا يتطلب مراقبة استباقية وتدخلات مستهدفة، خاصة في اللغات والمنصات ذات معدلات الانتشار الأعلى، مثل البولندية والفرنسية.
علاوة على ذلك، يختلف توزيع النصوص التي تم إنشاؤها بواسطة الآلات عبر لغات ومنصات وسائل التواصل الاجتماعي المختلفة، مع تفاوتات ملحوظة في الانتشار. على سبيل المثال، بينما تمتلك الإنجليزية والإسبانية أعلى الأرقام المطلقة، تظهر البولندية والفرنسية أعلى النسب النسبية. تؤكد الدراسة على الحاجة إلى تقييمات قائمة على الأدلة لإبلاغ التدابير المضادة ضد المعلومات المضللة التي تم إنشاؤها بواسطة الذكاء الاصطناعي، داعية إلى تحسين طرق الكشف وأنظمة تقييم المصداقية للحفاظ على نزاهة المعلومات. بشكل عام، تؤكد الأبحاث على ضرورة معالجة التحديات المتطورة التي تطرحها LLMs في مشهد المعلومات المضللة، داعية إلى استمرار التحقيق في العوامل التي تؤثر على إساءتها.
DOI: https://doi.org/10.1109/mc.2025.3592765
Publication Date: 2026-02-01
Author(s): Dominik Macko et al.
Primary Topic: Topic Modeling
Overview
The research paper addresses the growing concerns surrounding the misuse of large language models (LLMs) in generating disinformation. It highlights the difficulty humans face in distinguishing between LLM-generated and human-written texts, contributing to a divided scholarly debate on the implications of LLMs. The study provides empirical evidence of LLM presence in real-world disinformation datasets, particularly noting an increase in machine-generated content following the release of ChatGPT. It identifies significant patterns across various languages, platforms, and time periods, suggesting that while LLM-generated texts are present, they are not necessarily used for disinformation at a higher volume than legitimate content.
The findings indicate that LLM-generated texts are already integrated into existing disinformation datasets, such as MultiClaim, which consists of fact-checked claims. However, the limited capacity of fact-checkers to verify the vast amount of information leads to an imbalance between true and false claims. This situation complicates systematic comparisons and raises concerns about the potential misuse of LLMs for propaganda in contexts like elections or warfare. The study emphasizes the need for transparency regarding LLM-generated content to enhance trust in online information and calls for future research to explore the factors influencing the prevalence of LLM-generated disinformation. It also stresses the importance of improving detection capabilities as AI technology evolves, particularly for vulnerable languages and platforms, to safeguard the integrity of information ecosystems.
Methods
In this study, two distinct groups of datasets were employed to evaluate the robustness of machine-generated text detection methods and to estimate the prevalence of such texts. The first group consists of multilingual benchmark datasets that provide labeled ground truth for differentiating between machine-generated and human-written texts, while the second group includes real-world data aimed at assessing the prevalence of machine-generated content. Two multilingual detectors, Gemma_GenAI and Gemma_MultiDomain, were fine-tuned using the QLoRA technique on different training datasets to enhance their detection capabilities.
The detectors were initially evaluated on test splits of the benchmark datasets to ensure their robustness against out-of-distribution data. Following this evaluation, they were applied to four datasets suspected of containing disinformation or propaganda. To measure the prevalence of machine-generated texts, the Mean Score metric was utilized, providing a probability score (ranging from 0.0 to 1.0) indicating the likelihood of a text being machine-generated. A combined detection approach was implemented, where a positive prediction was made if at least one detector indicated a high probability of the positive class while the other did not confidently predict the negative class. Notably, predictions from the Gemma_GenAI detector were excluded for certain languages (Arabic, German, Italian, and Russian) if they exceeded a 0.1 false positive rate on labeled datasets, ensuring the reliability of the detection process.
Results
In this section, the authors present their findings regarding the prevalence of machine-generated texts within the context of disinformation. Initially, they estimate the overall prevalence of such texts, addressing the research questions outlined in the introduction. Following this, the analysis delves into the variations in prevalence based on different factors, which may include the type of disinformation or the medium through which it is disseminated. Lastly, the authors extend their investigation to assess the prevalence of machine-generated texts in other relevant datasets, thereby contextualizing their findings within a broader framework of existing literature on disinformation.
Discussion
The discussion section of this study addresses the prevalence and implications of machine-generated texts within disinformation datasets, focusing on three primary research questions. The findings indicate a significant increase in the presence of machine-generated content in disinformation, particularly following the release of advanced language models (LLMs) like ChatGPT. The study reveals that the proportion of such texts in the MultiClaim dataset rose from 0.93% in 2021 to 1.85% in 2023, highlighting a concerning trend that necessitates proactive monitoring and targeted interventions, especially in languages and platforms with higher prevalence rates, such as Polish and French.
Moreover, the distribution of machine-generated texts varies across different languages and social media platforms, with notable disparities in prevalence. For instance, while English and Spanish have the highest absolute numbers, Polish and French exhibit the highest relative proportions. The study emphasizes the need for evidence-based assessments to inform countermeasures against AI-generated disinformation, advocating for enhanced detection methods and credibility assessment systems to maintain information integrity. Overall, the research underscores the urgency of addressing the evolving challenges posed by LLMs in the disinformation landscape, calling for continued investigation into the factors influencing their misuse.