شبكة تكامل قائمة على الرسوم البيانية الهرمية لاكتشاف الدعاية في المقالات الإخبارية النصية على وسائل التواصل الاجتماعي
Hierarchical graph-based integration network for propaganda detection in textual news articles on social media

شارك:
المجلة: Scientific Reports، المجلد: 15، العدد: 1
DOI: https://doi.org/10.1038/s41598-024-74126-9
PMID: https://pubmed.ncbi.nlm.nih.gov/39805893
تاريخ النشر: 2025-01-13
المؤلف: Pir Noman Ahmad وآخرون
الموضوع الرئيسي: المعلومات المضللة وتأثيراتها

نظرة عامة

تقدم البحث شبكة تكامل قائمة على الرسوم البيانية الهرمية (H-GIN) تهدف إلى اكتشاف الدعاية في النصوص خلال جائحة كوفيد-19، مستفيدة من ارتفاع وسائل التواصل الاجتماعي كقناة للمعلومات المضللة. تستخدم H-GIN هيكل رسم بياني ذو طبقتين يدمج تعزيز المعالجة المدفوع بالبقايا (RDEP) ودمج الميزات المتعددة القنوات المدفوع بالانتباه (ADMF) لتسهيل التصنيف متعدد التسميات. يعزز RDEP تبادل المعلومات بين العقد البعيدة، بينما يقوم ADMF بتوحيد ثلاث قنوات—التسلسل، الدلالي، والنحوي—مما يسمح بنشر فعال لكل من المعلومات ذات الصلة وغير ذات الصلة إلى مصنف. حقق النموذج دقة بلغت 82%، متفوقًا على النماذج الرائدة الحالية ومظهرًا قدرته على تحديد أمثلة غير مرئية عبر سيناريوهات متنوعة.

على الرغم من نتائجه الواعدة، يعترف الدراسة بالقيود، خصوصًا ندرة مجموعات بيانات الدعاية المعلّمة، مما يعقد تدريب أنظمة الكشف القوية. تشمل اتجاهات البحث المستقبلية تطوير نماذج التعلم الآلي الآلي لتوصيف مجموعات البيانات، والتوسع في اكتشاف الدعاية متعددة اللغات، واستكشاف طرق التعلم التدريجي للتكيف مع تقنيات الدعاية المتطورة. معالجة هذه التحديات أمر حاسم لتعزيز قابلية التعميم وفعالية أنظمة كشف الدعاية عبر سياقات ولغات متنوعة.

طرق

في هذا القسم، يصف المؤلفون نهجهم المبتكر لاكتشاف الدعاية في النصوص من خلال شبكة تكامل قائمة على الرسوم البيانية الهرمية (H-GIN)، التي تستخدم تقنيات التصنيف متعدد التسميات. تستخدم H-GIN هياكل رسومية ذات طبقتين مع اتصالات بين القنوات وداخلها، مدمجةً طرقًا مثل RDEP (بروتوكول تبادل البيانات عن بُعد) وADMF (إطار إدارة البيانات التكيفية). يعزز هذا الإطار التصنيفي ذو المستويين تبادل المعلومات بين العقد البعيدة ويجمع بين ثلاث قنوات—التسلسل، الدلالي، والنحوي—لنشر المعلومات ذات الصلة بشكل فعال إلى مصنف، مما يحسن من اكتشاف الدعاية.

توضح تكوين التجربة الإعداد المستخدم للتحقق، بما في ذلك مجموعات البيانات (ProText، Qprop، وPTC) والموارد الحاسوبية، تحديدًا وحدات معالجة الرسوميات Nvidia GTX 1070Ti مع 16 جيجابايت من الذاكرة العشوائية على نظام Windows 10 بعمق 64 بت. استخدم المؤلفون نموذجًا مجمعًا باستخدام مكتبة Hugging-Face ضمن بيئة Python 3.60 وإطار PyTorch، مطبقين تقنية تحسين الانتروبيا المتقاطعة بعد معالجة البيانات. تهدف هذه المنهجية الشاملة إلى تعزيز دقة التنبؤ وتوفير رؤى قيمة لدعم اتخاذ القرار في اكتشاف الدعاية.

نتائج

في هذا القسم، يقدم المؤلفون تحليلًا شاملاً للإعداد التجريبي، مجموعات البيانات، ومقاييس الأداء المستخدمة لتقييم نموذج H-GIN لاكتشاف الدعاية في المقالات الإخبارية. استخدمت التجارب مجموعة بيانات ProText، حيث تفوق نموذج H-GIN على الطرق الحالية، محققًا أعلى درجة F1 بلغت 83.6%. بالمقارنة، حققت الشبكات العصبية التقليدية مثل LSTM وTCNN دقة بلغت 80.6% و81.3%، على التوالي، لكنها كانت محدودة في التقاط الاعتماديات طويلة الأمد. بينما حقق نموذج RoBERTa، الذي حصل على أعلى درجة F1 مرجحة بلغت 0.8011، ميلًا للتكيف الزائد مع مجموعة بيانات ProText، مما يشير إلى تحديات مع البيانات المحدودة.

كشف تحليل إضافي على مجموعة بيانات PTC أن النماذج القائمة على الرسوم البيانية، بما في ذلك PEGCN وGIFT وGBCA، أدت أداءً أفضل من النماذج التقليدية، حيث حقق GIFT استرجاعًا بلغ 85.1%. ومع ذلك، واجهت هذه النماذج تحديات بسبب عدم توازن مجموعة البيانات، مما أثر على دقتها ودرجات F1 الخاصة بها. يشير المؤلفون إلى أن نموذج H-GIN الخاص بهم، المعزز بآلية RDEP، يدمج بشكل فعال المعلومات المحلية والعالمية، متفوقًا على ALBERT بحوالي 5% على مجموعة بيانات Qprop. بشكل عام، تؤكد النتائج على قوة نموذج H-GIN في اكتشاف الدعاية، خاصة في سياق البيانات المعلّمة المحدودة، بينما تسلط الضوء على قيود النماذج الحالية في التعامل مع العلاقات المعقدة داخل البيانات النصية.

مناقشة

في هذا القسم، يناقش المؤلفون الدوافع والمساهمات لبحثهم حول اكتشاف الدعاية في النصوص باستخدام شبكة عصبية قائمة على الرسوم البيانية الهرمية (H-GIN). تتناول الدراسة قيود المنهجيات الحالية، مثل HMIGCN وHGCL، التي تكافح لالتقاط العلاقات المعقدة بين العقد بشكل فعال بسبب الطبيعة الخطية لوظائف التضمين. للتغلب على هذه التحديات، يقدم المؤلفون هيكلًا متعدد الطبقات يعزز من انتشار معلومات العقد من خلال الاتصالات داخل الطبقات وبينها، مما يسهل دمج البيانات العالمية والمحلية. يستخدم هذا النهج تقنيات مثل RDEP (انتشار حافة المسافة المنقحة) وADMF (انتشار قائم على الانتباه للميزات متعددة الوسائط) لتحسين اكتشاف الدعاية من خلال دمج المعلومات التسلسلية والدلالية والنحوية عبر ثلاث قنوات متميزة.

يقدم البحث إطارًا شاملاً لاكتشاف الدعاية يستخدم الرسوم البيانية ذات الطبقتين والتصنيف متعدد التسميات. لا يعزز إطار H-GIN المقترح فقط من انتشار إحصائيات العقد، بل يقلل أيضًا من وقت التدريب من خلال هيكل النموذج المحسن وضبط المعلمات. يتحقق المؤلفون من منهجيتهم مقابل نماذج أساسية متنوعة، مما يظهر أداءً متفوقًا، خاصة في سياق خطاب كوفيد-19. بالإضافة إلى ذلك، يقومون بتجميع مجموعة بيانات قوية من النصوص المتعلقة بالدعاية، مما يضع معيارًا عاليًا للبحوث المستقبلية في هذا المجال. بشكل عام، تسهم الدراسة بشكل كبير في فهم واكتشاف الدعاية في البيانات النصية، مستفيدة من تقنيات الرسوم البيانية المتقدمة لالتقاط الاعتماديات المعقدة للكلمات وتحسين دقة التصنيف.

Journal: Scientific Reports, Volume: 15, Issue: 1
DOI: https://doi.org/10.1038/s41598-024-74126-9
PMID: https://pubmed.ncbi.nlm.nih.gov/39805893
Publication Date: 2025-01-13
Author(s): Pir Noman Ahmad et al.
Primary Topic: Misinformation and Its Impacts

Overview

The research presents a Hierarchical Graph-based Integration Network (H-GIN) aimed at detecting propaganda in text during the Covid-19 pandemic, leveraging the rise of social media as a conduit for misinformation. The H-GIN employs a bi-layer graph structure that integrates Residual-driven Enhancement and Processing (RDEP) and Attention-driven Multichannel feature Fusing (ADMF) to facilitate multilabel classification. RDEP enhances information exchange between distant nodes, while ADMF standardizes three channels—sequence, semantic, and syntactic—allowing effective propagation of both related and unrelated information into a classifier. The model achieved an accuracy of 82%, outperforming existing leading models and demonstrating its capability to identify unseen examples across various scenarios.

Despite its promising results, the study acknowledges limitations, particularly the scarcity of labeled propaganda datasets, which complicates the training of robust detection systems. Future research directions include the development of automated machine learning models for dataset annotation, expansion into multilingual propaganda detection, and exploration of incremental learning methods to adapt to evolving propaganda techniques. Addressing these challenges is crucial for enhancing the generalizability and effectiveness of propaganda detection systems across diverse contexts and languages.

Methods

In this section, the authors describe their innovative approach to detecting propaganda in text through a Hierarchical Graph-based Integration Network (H-GIN), which employs multilabel classification techniques. The H-GIN utilizes bi-layer graph structures with both inter- and intra-channel connections, integrating methods such as RDEP (Remote Data Exchange Protocol) and ADMF (Adaptive Data Management Framework). This dual-level classification framework enhances information exchange between distant nodes and combines three channels—sequence, semantic, and syntactic—to effectively propagate relevant information into a classifier, thereby improving the detection of propaganda.

The experimental configuration details the setup used for validation, including the datasets (ProText, Qprop, and PTC) and the computational resources, specifically Nvidia GTX 1070Ti GPUs with 16 GB of RAM on a 64-bit Windows 10 system. The authors employed an ensemble model using the Hugging-Face library within a Python 3.60 environment and the PyTorch framework, applying a cross-entropy improvement technique following data preprocessing. This comprehensive methodology aims to enhance predictive accuracy and provide valuable insights for decision-making in propaganda detection.

Results

In this section, the authors present a comprehensive analysis of the experimental setup, datasets, and performance metrics used to evaluate the H-GIN model for detecting propaganda in news articles. The experiments utilized the ProText dataset, where the H-GIN model outperformed existing methods, achieving the highest F1 score of 83.6%. In comparison, traditional neural networks like LSTM and TCNN achieved accuracies of 80.6% and 81.3%, respectively, but were limited in capturing long-term dependencies. The RoBERTa model, while achieving a top-weighted F1 score of 0.8011, tended to overfit the ProText dataset, indicating challenges with limited data.

Further analysis on the PTC dataset revealed that graph-based models, including PEGCN, GIFT, and GBCA, performed better than traditional models, with GIFT achieving a recall of 85.1%. However, these models faced challenges due to dataset imbalance, affecting their precision and F1 scores. The authors note that their H-GIN model, enhanced by the RDEP mechanism, effectively integrates local and global information, outperforming ALBERT by approximately 5% on the Qprop dataset. Overall, the results underscore the H-GIN model’s robustness in detecting propaganda, particularly in the context of limited labeled data, while highlighting the limitations of existing models in handling complex relationships within textual data.

Discussion

In this section, the authors discuss the motivation and contributions of their research on propaganda detection in text using a novel Hierarchical Graph-based Integration Neural Network (H-GIN). The study addresses the limitations of existing methodologies, such as HMIGCN and HGCL, which struggle to effectively capture complex relationships among nodes due to the linear nature of embedding functions. To overcome these challenges, the authors introduce a multilayer structure that enhances node information propagation through intra- and inter-layer connections, facilitating the integration of global and local data. This approach employs techniques like RDEP (Refined Distance Edge Propagation) and ADMF (Attention-based Diffusion for Multimodal Features) to improve the detection of propaganda by consolidating sequence, semantic, and syntactic information across three distinct channels.

The research presents a comprehensive framework for propaganda detection that utilizes bi-layer graphs and multilabel classification. The proposed H-GIN framework not only enhances the propagation of node statistics but also reduces training time through optimized model structure and parameter tuning. The authors validate their methodology against various baseline models, demonstrating superior performance, particularly in the context of COVID-19 discourse. Additionally, they curate a robust dataset of propaganda-related texts, establishing a high standard for future research in the field. Overall, the study contributes significantly to the understanding and detection of propaganda in textual data, leveraging advanced graph-based techniques to capture intricate word dependencies and improve classification accuracy.