DOI: https://doi.org/10.1002/widm.70029
تاريخ النشر: 2025-06-27
المؤلف: Jose A. Diaz-Garcia وآخرون
الموضوع الرئيسي: كشف خطاب الكراهية والتنمر الإلكتروني
نظرة عامة
تقدم الورقة تحليلًا شاملاً للإساءة عبر الإنترنت على منصات وسائل التواصل الاجتماعي، مع تحديد أشكال مختلفة مثل خطاب الكراهية، التنمر الإلكتروني، الإساءة العاطفية، الاستدراج، والمراسلات الجنسية. تؤكد على دور التقنيات الناشئة، وخاصة نماذج اللغة (LMs) ونماذج اللغة الكبيرة (LLMs)، في كل من اكتشاف وتوليد المحتوى المسيء. يستكشف المؤلفون التأثيرات النفسية والاجتماعية لهذه الإساءة مع تسليط الضوء على الطبيعة المزدوجة لنماذج اللغة المتقدمة، التي يمكن أن تعزز أنظمة الكشف الآلي ولكن يمكن أن تنتج أيضًا محتوى ضار. تهدف الدراسة إلى المساهمة في النقاش حول السلامة والأخلاقيات عبر الإنترنت من خلال دراسة المشهد المتطور للإساءة الإلكترونية والابتكارات التكنولوجية التي تؤثر عليه.
في الختام، تستعرض الورقة الأبحاث الحديثة حول اكتشاف الإساءة النصية عبر الإنترنت، مع التركيز على الدراسات التي تستخدم LMs وLLMs. هذه الدراسة ملحوظة لأنها تمتد إلى ما هو أبعد من المجالات التقليدية مثل خطاب الكراهية والتنمر الإلكتروني لتشمل مجموعة أوسع من أنواع الإساءة الإلكترونية. من خلال تحليل 68 ورقة، يصنف المؤلفون هذه الأوراق بناءً على أشكال مختلفة من الإساءة الإلكترونية وأهدافها الضارة. تكشف النتائج الرئيسية أن الأساليب المعتمدة على BERT تهيمن على هذا المجال، خاصة في اكتشاف خطاب الكراهية، محققة نتائج متقدمة. بالإضافة إلى ذلك، تظهر نماذج LLM الناشئة مثل GPT وFLAN-T5 وعدًا في البيئات ذات الموارد المنخفضة وسيناريوهات التعلم القليل، متفوقة في التقاط الفروق اللغوية. تقدم النماذج التوليدية مثل GPT أيضًا إمكانيات لتكبير البيانات، مما يساعد في إنشاء مجموعات بيانات اصطناعية ومعالجة قضايا عدم التوازن في الفئات.
مقدمة
في العصر الرقمي، أصبحت الشبكات الاجتماعية أساسية للتواصل والتفاعل، لكنها تسهل أيضًا أشكالًا مختلفة من الإساءة الإلكترونية، بما في ذلك خطاب الكراهية، والتنمر الإلكتروني، والكشف عن المعلومات الشخصية، والتي تؤثر بشكل كبير على الصحة النفسية والرفاهية (Kwan et al., 2020; Fisher et al., 2016). اعتمدت الأساليب التقليدية لمكافحة الإساءة الإلكترونية على الإبلاغ اليدوي وطرق الكشف الاستدلالية (Vandebosch & Van Cleemput, 2009). ومع ذلك، فإن التقدم في الذكاء الاصطناعي، وخاصة من خلال نماذج اللغة الكبيرة (LLMs) مثل GPT وBERT، يقدم فرصًا جديدة لتحليل وتخفيف هذه القضايا. تهدف هذه الورقة إلى استكشاف التجليات المتنوعة للإساءة الإلكترونية باستخدام تقنيات الذكاء الاصطناعي المتطورة، مع التأكيد على إمكانيات LLMs لتعزيز استراتيجيات الكشف والتصنيف والتدخل.
تسلط الأبحاث الضوء على الحاجة الملحة لمعالجة أشكال الإساءة الإلكترونية التي لم يتم تمثيلها بشكل كافٍ، مثل الكشف عن المعلومات الشخصية والتعليقات السلبية، والتي تم تجاهلها إلى حد كبير في الأدبيات الحالية. تهدف إلى تقديم نظرة شاملة على أحدث التطورات في الذكاء الاصطناعي لاكتشاف الإساءة الإلكترونية، بما في ذلك تحليل متعمق لمقاييس التقييم والتحديات التي تطرحها عدم التوازن في الفئات في مهام الكشف. تم هيكلة الورقة لفحص أشكال مختلفة من الإساءة النصية عبر الإنترنت، تليها تحليل لدور LLMs في الكشف وتوليد المحتوى الضار، وتختتم بمناقشة حول تداعيات هذه النتائج على الأبحاث والممارسات المستقبلية.
الطرق
في هذه الدراسة، استخدم المؤلفون منهجية PRISMA لإجراء مراجعة منهجية للأدبيات المتعلقة بفعالية نماذج اللغة (LMs) ونماذج اللغة الكبيرة (LLMs) في اكتشاف الإساءة النصية عبر الإنترنت. ركزت المراجعة على سؤالين بحثيين رئيسيين: تمثيل LMs وLLMs مقارنة بالطرق التقليدية، وملاءمة معالجة تحديات التصنيف غير المتوازن في مقاييس التقييم. كشفت التحليلات أن BERT هو النموذج الأكثر استخدامًا، متفوقًا بشكل كبير على الآخرين، بما في ذلك تقنيات التعلم الآلي التقليدية. بينما تظهر LLMs مثل GPT إمكانيات، إلا أنها أقل استخدامًا. تشير النتائج إلى أن الهياكل المعتمدة على المحولات تحقق أداءً متفوقًا باستمرار في مهام اكتشاف الإساءة الإلكترونية عبر مجموعات بيانات متنوعة.
علاوة على ذلك، سلطت المراجعة الضوء على زيادة الاعتراف بين الباحثين بالتحديات التي تطرحها التصنيفات غير المتوازنة في اكتشاف الإساءة الإلكترونية. تستخدم العديد من الدراسات الآن مقاييس تقييم مثل الدقة، والاسترجاع، ودرجة F1، التي تقدم فهمًا أكثر دقة لأداء النموذج مقارنة بالدقة فقط. ومع ذلك، لا يزال بعض الأبحاث يعتمد على الدقة العامة، مما قد يخفي فعالية النماذج في اكتشاف الفئات الأقل تمثيلًا. تم ملاحظة اعتماد طرق المعالجة المسبقة، بما في ذلك زيادة العينات والتعلم الحساس للتكلفة، كاستراتيجية لمعالجة عدم التوازن في الفئات. على الرغم من هذه التقدمات، لا يزال نقص التوحيد في المنهجيات ومقاييس التقييم يشكل حاجزًا كبيرًا أمام مقارنة النتائج وتأسيس أفضل الممارسات في هذا المجال. إن تحسين التوحيد ضروري لتعزيز قوة وقابلية مقارنة نتائج الأبحاث المستقبلية.
المناقشة
في هذا القسم، يفحص المؤلفون أشكالًا مختلفة من الإساءة النصية الشائعة على الشبكات الاجتماعية، مصنفين إياها إلى ستة أنواع رئيسية: خطاب الكراهية، التنمر الإلكتروني، الكشف عن المعلومات الشخصية، الإحراج، ثقافة الإلغاء، والتعليقات السلبية، بالإضافة إلى أشكال إضافية مثل انتحال الشخصية والإساءة العاطفية. تسلط المناقشة الضوء على الآثار الضارة لهذه الإساءة، بما في ذلك مشاكل الصحة النفسية مثل القلق والاكتئاب، خاصة بين الفئات الضعيفة. يؤكد المؤلفون على دور معالجة اللغة الطبيعية (NLP) ونماذج اللغة المتقدمة (LMs) في اكتشاف هذه الأشكال من الإساءة، مشيرين إلى أن التقدمات الأخيرة قد حسنت بشكل كبير من قدرات الكشف.
تتوسع الفقرة أكثر في أنواع معينة من الإساءة الإلكترونية. يتميز خطاب الكراهية بلغة تسيء إلى الأفراد بناءً على سمات شخصية، مما يشكل تهديدات للاستقرار الاجتماعي وكرامة الأفراد. يُعتبر التنمر الإلكتروني تهديدًا كبيرًا للصحة العامة، وغالبًا ما يظهر من خلال اتصالات عدوانية متكررة. يتضمن الكشف عن المعلومات الشخصية الإفصاح الخبيث عن المعلومات الشخصية، مما يؤدي إلى انتهاكات الخصوصية والضيق العاطفي. يتم وصف التعليقات السلبية على أنها سلوكيات استفزازية عبر الإنترنت تهدف إلى تعطيل المحادثات، بينما تتضمن ثقافة الإلغاء والإحراج الإدانة العامة التي يمكن أن تؤدي إلى ضرر عاطفي وتأثير مخيف على حرية التعبير. يختتم المؤلفون بتحديد أسئلة بحثية تهدف إلى استكشاف فعالية LMs في اكتشاف هذه الإساءة وتحديد المجالات التي لم يتم استكشافها بشكل كافٍ في هذا المجال.
DOI: https://doi.org/10.1002/widm.70029
Publication Date: 2025-06-27
Author(s): Jose A. Diaz-Garcia et al.
Primary Topic: Hate Speech and Cyberbullying Detection
Overview
The paper provides a comprehensive analysis of online abuse on social media platforms, identifying various forms such as hate speech, cyberbullying, emotional abuse, grooming, and sexting. It emphasizes the role of emerging technologies, particularly Language Models (LMs) and Large Language Models (LLMs), in both detecting and generating abusive content. The authors explore the psychological and social impacts of these abuses while highlighting the dual nature of advanced language models, which can enhance automated detection systems yet also produce harmful content. The study aims to contribute to the discourse on online safety and ethics by examining the evolving landscape of cyberabuse and the technological innovations that influence it.
In the conclusion, the paper reviews recent research on textual cyber abuse detection, focusing on studies utilizing LMs and LLMs. This survey is notable for extending beyond traditional areas like hate speech and cyberbullying to encompass a wider range of cyber abuse typologies. Analyzing 68 papers, the authors categorize them based on different forms of cyber abuse and their harmful objectives. Key findings reveal that BERT-based approaches dominate the field, particularly in hate speech detection, achieving state-of-the-art results. Additionally, emerging LLMs such as GPT and FLAN-T5 show promise in low-resource settings and few-shot learning scenarios, excelling in capturing linguistic nuances. Generative models like GPT also offer potential for data augmentation, aiding in the creation of synthetic datasets and addressing class imbalance issues.
Introduction
In the digital era, social networks have become essential for communication and interaction, yet they also facilitate various forms of cyber abuse, including hate speech, cyberbullying, and doxxing, which significantly impact mental health and well-being (Kwan et al., 2020; Fisher et al., 2016). Traditional approaches to combatting cyber abuse have relied on manual reporting and heuristic detection methods (Vandebosch & Van Cleemput, 2009). However, advancements in artificial intelligence, particularly through large language models (LLMs) like GPT and BERT, present new opportunities for analyzing and mitigating these issues. This paper aims to explore the diverse manifestations of cyber abuse using cutting-edge AI techniques, emphasizing the potential of LLMs to enhance detection, classification, and intervention strategies.
The research highlights the urgent need to address underrepresented forms of cyber abuse, such as doxing and trolling, which have been largely overlooked in existing literature. It aims to provide a comprehensive overview of the latest advancements in AI for cyber abuse detection, including an in-depth analysis of evaluation metrics and the challenges posed by class imbalance in detection tasks. The paper is structured to first examine various forms of textual cyber abuse, followed by an analysis of LLMs’ roles in detection and generation of harmful content, and concludes with a discussion on the implications of these findings for future research and practice.
Methods
In this study, the authors employed the PRISMA methodology to conduct a systematic review of literature regarding the effectiveness of Language Models (LMs) and Large Language Models (LLMs) in detecting textual cyber abuse. The review focused on two primary research questions: the representativeness of LMs and LLMs compared to traditional methods, and the adequacy of addressing imbalanced classification challenges in evaluation metrics. The analysis revealed that BERT is the most widely utilized model, significantly outperforming others, including traditional machine learning techniques. While LLMs like GPT show potential, they are less frequently adopted. The findings indicate that transformer-based architectures consistently yield superior performance in cyber abuse detection tasks across various datasets.
Furthermore, the review highlighted an increasing recognition among researchers of the challenges posed by imbalanced classification in cyber abuse detection. Many studies now utilize evaluation metrics such as precision, recall, and F1-score, which offer a more nuanced understanding of model performance than accuracy alone. However, some research still relies on overall accuracy, potentially masking the effectiveness of models in detecting minority classes. The adoption of pre-processing methods, including oversampling and cost-sensitive learning, has been noted as a strategy to address class imbalance. Despite these advancements, the lack of standardization in methodologies and evaluation metrics remains a significant barrier to comparing results and establishing best practices in the field. Improved standardization is essential for enhancing the robustness and comparability of future research findings.
Discussion
In this section, the authors examine various forms of textual cyberabuse prevalent on social networks, categorizing them into six primary types: hate speech, cyberbullying, doxing, shaming, cancel culture, and trolling, along with additional forms such as impersonation and emotional abuse. The discussion highlights the detrimental impacts of these abuses, including mental health issues like anxiety and depression, particularly among vulnerable populations. The authors emphasize the role of Natural Language Processing (NLP) and advanced language models (LMs) in detecting these forms of abuse, noting that recent advancements have improved detection capabilities significantly.
The section further elaborates on specific types of cyberabuse. Hate speech is characterized by language that demeans individuals based on personal attributes, posing threats to social stability and individual dignity. Cyberbullying is identified as a significant public health threat, often manifesting through repeated aggressive communications. Doxing involves the malicious disclosure of personal information, leading to privacy violations and emotional distress. Trolling is described as provocative online behavior intended to disrupt conversations, while shaming and cancel culture involve public condemnation that can lead to emotional harm and a chilling effect on free expression. The authors conclude by outlining research questions aimed at exploring the effectiveness of LMs in detecting these abuses and identifying underexplored areas within the field.