DistilBERT-GNN: نهج قوي لاكتشاف أحداث وسائل التواصل الاجتماعي DistilBERT-GNN: a powerful approach to social media event detection

شارك:
المجلة: International Journal of Data Science and Analytics، المجلد: 22، العدد: 1
DOI: https://doi.org/10.1007/s41060-026-01113-w
تاريخ النشر: 2026-04-16
المؤلف: Asres Temam Abagissa وآخرون
الموضوع الرئيسي: نمذجة الموضوعات

نظرة عامة

تتناول هذه الدراسة تحدي اكتشاف الأحداث في تدفقات بيانات وسائل التواصل الاجتماعي، وهو أمر حاسم للاستجابة في الوقت المناسب للحوادث مثل الحوادث، والاحتجاجات، أو الانتخابات. تواجه الطرق الحالية صعوبات بسبب الطبيعة الديناميكية لوسائل التواصل الاجتماعي، والحجم الهائل من البيانات، وغموض المحتوى الذي ينشئه المستخدمون. لتعزيز اكتشاف الأحداث، يقترح المؤلفون “DistilBERT-GNN”، وهو إطار عمل تدريجي يجمع بين الفهم السياقي لـ DistilBERT وشبكات الأعصاب البيانية (GNNs) لتتبع وتحديد الأحداث الناشئة بشكل فعال. يتم تقييم أداء الإطار مقابل الطرق المتطورة باستخدام مجموعة بيانات تويتر من العالم الحقيقي، مما يظهر نتائج متفوقة مع درجات المعلومات المتبادلة المعيارية (NMI)، والمعلومات المتبادلة المعدلة (AMI)، ومؤشر راند المعدل (ARI) بقيم 0.72، 0.53، و0.24، على التوالي.

في الختام، تسلط الدراسة الضوء على تعقيدات التعرف على الأحداث الاجتماعية في الوقت الحقيقي مع تحديث مستمر لمعرفتها. يستفيد إطار عمل DistilBERT-GNN من كل من المعلومات الهيكلية والدلالية من وسائل التواصل الاجتماعي ليتعلم بشكل تكيفي من البيانات الواردة. تؤكد النتائج التجريبية فعالية النموذج، متجاوزة النماذج الأساسية من حيث الدقة. تسهم هذه العمل بشكل كبير في مجال اكتشاف الأحداث وتقترح طرقًا للبحث المستقبلي، بما في ذلك استكشاف أوضاع مختلفة لتعزيز التقاط بيانات وسائل التواصل الاجتماعي المتنوعة.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على الأهمية المتزايدة لمنصات وسائل التواصل الاجتماعي مثل تويتر، وفيسبوك، وويبو، ووي شات في الحياة اليومية، خاصة في الإبلاغ عن الأحداث المهمة. مع ارتفاع استخدام الهواتف الذكية وخدمات البيانات الميسورة، يشارك المستخدمون بشكل متزايد في مناقشات في الوقت الحقيقي حول حوادث مختلفة، مما يجعل وسائل التواصل الاجتماعي مصدرًا حاسمًا لاكتشاف الأحداث. تتضمن هذه العملية تحديد الأحداث الملحوظة من التدفق الهائل وغالبًا الفوضوي من المحتوى الذي ينشئه المستخدمون، والذي يمكن أن يوفر تحذيرات مبكرة ورؤى حول المشاعر العامة. ومع ذلك، تكافح طرق اكتشاف الأحداث التقليدية مع التحديات الفريدة التي تطرحها وسائل التواصل الاجتماعي، بما في ذلك مفردات تتطور بسرعة، وقصر وعدم رسمية المنشورات، والطبيعة الديناميكية للأحداث.

لمعالجة هذه التحديات، يقترح المؤلفون إطار عمل جديد يسمى “DistilBERT-GNN”، الذي يدمج DistilBERT، وهو نسخة مكررة من نموذج BERT، مع شبكات الأعصاب البيانية (GNNs). يهدف هذا الإطار إلى تعزيز اكتشاف الأحداث التدريجي من خلال إدارة حجم وسرعة بيانات وسائل التواصل الاجتماعي بشكل فعال مع تقليل الضوضاء وتحسين الفهم السياقي. يستخدم النموذج تمثيلات الكلمات لالتقاط العلاقات الدلالية والتكيف مع اللغة المتطورة المستخدمة على منصات مثل تويتر. يؤكد المؤلفون على أهمية التكيف في الوقت الحقيقي والتعلم التدريجي، مما يسمح للنموذج بتحديث فهمه للأحداث مع ظهور بيانات جديدة. يحددون مساهماتهم، بما في ذلك تصفية فعالة للعقد المهمة وتقليل الضوضاء، ويشيرون إلى أن فعالية نموذج DistilBERT-GNN سيتم التحقق منها من خلال التقييم التجريبي. تم هيكلة الورقة لمراجعة الأدبيات ذات الصلة، وتقديم بيانات المشكلة، وتفصيل المنهجية، ومناقشة النتائج التجريبية في الأقسام التالية.

طرق

في هذا القسم، يوضح المؤلفون إعداد التجربة لدراستهم، باستخدام نماذج ومعلمات مختلفة لتحليل البيانات المتعلقة بالأحداث. بالنسبة لنموذج توزيع ديريشليت الكامن (LDA)، قاموا بتحديد العدد الإجمالي للمواضيع إلى 50، موسعين على 10 مواضيع استخدمها ماثيوداكيس وكوداس (2010). في سياق الطرق المعتمدة على الرسوم البيانية، مثل KPGNN وQSGNN، قاموا بتكوين النماذج مع 4 رؤوس انتباه، وأبعاد تمثيل الكلمات 64، وطبقتين، ومعدل تعلم 0.001، مستخدمين مُحسِّن آدم. كانت عملية التدريب تتكون من 200 دورة مع معيار إيقاف مبكر يعتمد على صبر 5 لتخفيف الإفراط في التكيف.

أجرى المؤلفون خمس تكرارات من تجاربهم، مع الإبلاغ عن المتوسط والانحراف المعياري للنتائج. من الجدير بالذكر أنهم يبرزون أن نموذج DistilBERT-GNN المقترح لا يتطلب مجموعة محددة مسبقًا من أنواع الأحداث، مما يتناقض مع النماذج الأساسية مثل WMD وLDA وWord2vec وBiLSTM وBERT وKPGNN، التي تتطلب مثل هذه التصنيفات. هذه المرونة في التعامل مع أنواع الأحداث هي ميزة كبيرة في نهجهم. بالإضافة إلى ذلك، يتم تلخيص إحصائيات بيانات تدفق وسائل التواصل الاجتماعي المستخدمة في التجارب في الجدول 2، مما يوفر رؤى حول توزيع الرسائل عبر كتل مختلفة.

نتائج

يقدم قسم النتائج تحليلًا شاملاً لأداء النموذج، مع تسليط الضوء على فعاليته ومرونته عبر سيناريوهات مختلفة. يتضمن التقييم كل من المقاييس الكمية والرؤى النوعية، مما يوفر رؤية شاملة لمساهمات الطريقة في المجال وإمكاناتها للتطورات المستقبلية.

يتضمن التقييم كل من التقييمات غير المتصلة بالإنترنت والمتصلة بالإنترنت، مع مقارنات للنماذج الأساسية، وتحديثات للتمثيلات الرسومية للنتائج. بالإضافة إلى ذلك، تم إجراء دراسة إلغاء و تحليل حساسية المعلمات الفائقة لاستكشاف تأثير المعلمات المختلفة على أداء النموذج. تناقش المناقشة أيضًا جوانب حاسمة مثل وقت التنفيذ وسلوك التقارب، مما يوفر فهمًا شاملًا لخصائص تشغيل النموذج.

مناقشة

في قسم المناقشة من الورقة، يقوم المؤلفون بتقييم نقدي للطرق الحالية لاكتشاف الأحداث (ED) على وسائل التواصل الاجتماعي، مصنفين إياها إلى نماذج محورية للميزات ونماذج محورية للمستندات. غالبًا ما تفتقر نماذج المحور الميزات، مثل تلك التي تستخدم تجميع العبارات المتفجرة، إلى أساس احتمالي قوي وتفشل في حساب المستخدمين المؤثرين أو المنشورات الحرجة. تركز الأساليب المحورية للمستندات، بما في ذلك التحليل الدلالي الكامن الاحتمالي (pLSA) وتوزيع ديريشليت الكامن (LDA)، على التشابهات الدلالية ولكنها تكافح أيضًا مع تحديد المنشورات المهمة وتحديد عدد المواضيع. يبرز المؤلفون أن هذه الطرق تتعامل بشكل غير كافٍ مع تعقيدات بيانات وسائل التواصل الاجتماعي، مما يؤدي إلى تحديات في مراقبة الأحداث في الوقت الحقيقي.

لمعالجة هذه النواقص، يقترح المؤلفون نهجًا يعتمد على شبكة الأعصاب البيانية (GNN) يستفيد من علاقات المنشورات لتعزيز دقة اكتشاف الأحداث. يهدف هذا النموذج إلى تحديد المنشورات المهمة تلقائيًا وسط بيانات ضوضائية وتحسين الفعالية العامة لاكتشاف الأحداث. يؤكد المؤلفون أن إطار عملهم المعتمد على GNN، الذي يدمج DistilBERT للتمثيل الدلالي، يقدم فهمًا أكثر دقة للتفاعلات على وسائل التواصل الاجتماعي، مما يؤدي في النهاية إلى تحسين تحديد الأحداث الحرجة. تُعتبر التقنيات المقترحة تقدمًا كبيرًا على الطرق الحالية، مما يعد بتحسين الدقة في اكتشاف الأحداث الاجتماعية ذات الصلة.

Journal: International Journal of Data Science and Analytics, Volume: 22, Issue: 1
DOI: https://doi.org/10.1007/s41060-026-01113-w
Publication Date: 2026-04-16
Author(s): Asres Temam Abagissa et al.
Primary Topic: Topic Modeling

Overview

The research addresses the challenge of detecting events in social media data streams, which is crucial for timely responses to incidents such as accidents, protests, or elections. Current methods face difficulties due to the dynamic nature of social media, the sheer volume of data, and the ambiguity of user-generated content. To enhance event detection, the authors propose “DistilBERT-GNN,” an incremental framework that combines DistilBERT’s contextual understanding with Graph Neural Networks (GNNs) to effectively track and identify emerging events. The framework’s performance is evaluated against state-of-the-art methods using a real-world Twitter dataset, demonstrating superior results with Normalized Mutual Information (NMI), Adjusted Mutual Information (AMI), and Adjusted Rand Index (ARI) scores of 0.72, 0.53, and 0.24, respectively.

In conclusion, the study highlights the complexities of recognizing social events in real-time while continuously updating the model’s knowledge. The DistilBERT-GNN framework leverages both structural and semantic information from social media to adaptively learn from incoming data. The experimental results affirm the model’s effectiveness, surpassing baseline models in precision. This work contributes significantly to the field of event detection and suggests avenues for future research, including the exploration of different modalities to enhance the capture of diverse social media data.

Introduction

The introduction of this research paper highlights the growing significance of social media platforms such as Twitter, Facebook, Weibo, and WeChat in daily life, particularly for reporting significant events. With the rise of smartphones and affordable data services, users increasingly engage in real-time discussions about various incidents, making social media a critical source for event detection. This process involves identifying noteworthy occurrences from the vast and often chaotic stream of user-generated content, which can provide early warnings and insights into public sentiment. However, traditional event detection methods struggle with the unique challenges posed by social media, including a rapidly evolving vocabulary, the brevity and informality of posts, and the dynamic nature of events.

To address these challenges, the authors propose a novel framework called “DistilBERT-GNN,” which integrates DistilBERT, a distilled version of the BERT model, with Graph Neural Networks (GNNs). This framework aims to enhance incremental event detection by effectively managing the volume and velocity of social media data while reducing noise and improving contextual understanding. The model employs word embeddings to capture semantic relationships and adapt to the evolving language used on platforms like Twitter. The authors emphasize the importance of real-time adaptation and incremental learning, allowing the model to update its understanding of events as new data emerges. They outline their contributions, including the efficient filtering of significant nodes and noise reduction, and indicate that the effectiveness of the DistilBERT-GNN model will be validated through empirical evaluation. The paper is structured to review related literature, present problem statements, detail the methodology, and discuss experimental results in subsequent sections.

Methods

In this section, the authors detail the experimental setup for their study, utilizing various models and parameters to analyze event-related data. For the Latent Dirichlet Allocation (LDA) model, they set the total number of topics to 50, expanding upon the 10 topics used by Mathioudakis & Koudas (2010). In the context of graph-based methods, such as KPGNN and QSGNN, they configured the models with 4 attention heads, a word embedding dimension of 64, 2 layers, and a learning rate of 0.001, employing the Adam optimizer. The training process consisted of 200 epochs with an early stopping criterion based on a patience of 5 to mitigate overfitting.

The authors conducted five iterations of their experiments, reporting the mean and standard deviation of the results. Notably, they highlight that their proposed DistilBERT-GNN model does not necessitate a predefined set of event types, contrasting with baseline models like WMD, LDA, Word2vec, BiLSTM, BERT, and KPGNN, which require such classifications. This flexibility in event type handling is a significant advantage of their approach. Additionally, the statistics of the social stream data used in the experiments are summarized in Table 2, providing insights into the distribution of messages across various blocks.

Results

The Results section presents a thorough analysis of the model’s performance, highlighting its effectiveness and robustness across different scenarios. The evaluation incorporates both quantitative metrics and qualitative insights, offering a comprehensive view of the method’s contributions to the field and its potential for future developments.

The assessment includes both offline and online evaluations, with comparisons to baseline models, and updates to the graphical representations of the results. Additionally, an ablation study and hyper-parameter sensitivity analysis were conducted to explore the impact of various parameters on the model’s performance. The discussion also addresses critical aspects such as execution time and convergence behavior, providing a holistic understanding of the model’s operational characteristics.

Discussion

In the discussion section of the paper, the authors critically evaluate existing methods for event detection (ED) on social media, categorizing them into feature-pivot and document-pivot models. Feature-pivot models, such as those utilizing bursty phrase grouping, often lack a robust probabilistic foundation and fail to account for influential users or critical posts. Document-pivot approaches, including probabilistic latent semantic analysis (pLSA) and Latent Dirichlet Allocation (LDA), focus on semantic similarities but also struggle with identifying significant posts and determining the number of topics. The authors highlight that these methods inadequately handle the complexities of social media data, leading to challenges in real-time event monitoring.

To address these shortcomings, the authors propose a Graph Neural Network (GNN)-based approach that leverages post relationships to enhance event detection accuracy. This model aims to automatically identify significant posts amidst noisy data and improve the overall effectiveness of event detection. The authors assert that their GNN-based framework, which incorporates DistilBERT for semantic representation, offers a more nuanced understanding of social media interactions, ultimately leading to better identification of critical events. The proposed techniques are positioned as a significant advancement over existing methods, promising improved precision in detecting relevant social media events.