DOI: https://doi.org/10.1017/s1475676525100546
تاريخ النشر: 2026-01-23
المؤلف: Natalia Umansky وآخرون
الموضوع الرئيسي: كشف خطاب الكراهية والتنمر الإلكتروني
نظرة عامة
تتناول ورقة البحث الدور الحاسم لضبط نماذج اللغة الكبيرة (LLMs) للكشف الفعال عن خطاب الكراهية عبر الإنترنت. وتبرز أنه بينما تظهر نماذج LLM مثل GPT-4o-mini قدرات تصنيف قوية بدون تدريب مسبق، يمكن تحسين أدائها بشكل كبير من خلال الضبط الدقيق المتعلق بالمجال. تؤكد الدراسة على أن جودة بيانات التوضيح المستخدمة في الضبط الدقيق هي أمر بالغ الأهمية؛ فقط التوضيحات من مصادر عالية الجودة، مثل المساعدين البحثيين المدربين، تحسن دقة النموذج دون المساس بالاسترجاع. على العكس، يمكن أن تؤدي التوضيحات ذات الجودة المنخفضة إلى تدهور أداء النموذج، مما يبرز ضرورة وجود تسميات بشرية عالية الجودة لتحقيق حساسية محددة للمهام في الكشف عن خطاب الكراهية.
في الختام، تؤكد الورقة أن معالجة خطاب الكراهية عبر الإنترنت تتطلب ليس فقط طرق كشف قابلة للتوسع ولكن أيضًا اعتبارًا دقيقًا للأطر السياسية والمعيارية التي تحدد الخطاب الضار. تشير النتائج إلى أن نماذج LLM المضبوطة بدقة يمكن أن تعزز بشكل كبير من تحديد خطاب الكراهية، شريطة أن يتم تدريبها على بيانات عالية الجودة. هذه المقاربة تحول التركيز من الحجم الهائل للتوضيحات إلى جودة تلك التوضيحات، مما يشير إلى أن كمية صغيرة نسبيًا من البيانات عالية الجودة يمكن أن تحسن أداء النموذج بشكل فعال. بينما تعترف الدراسة بالقيود المتعلقة بالنماذج الملكية، تقترح أن منهجيات مماثلة يمكن تطبيقها على النماذج مفتوحة المصدر، والتي قد تقدم مزايا في القابلية للتكرار والشفافية. تمتد تداعيات هذا البحث إلى ما هو أبعد من الكشف عن خطاب الكراهية، مما يشير إلى تطبيقات محتملة في سياقات تعديل المحتوى الأوسع.
مقدمة
تتناول مقدمة الورقة التفاعل المعقد بين تنظيم الخطاب عبر الإنترنت، وخاصة خطاب الكراهية، والتقدم في معالجة اللغة الطبيعية (NLP) من خلال نماذج اللغة الكبيرة (LLMs). تؤكد على أنه بينما تظهر نماذج LLM، مثل GPT-4o-mini، وعدًا في الكشف عن المحتوى الضار بسبب قدراتها بدون تدريب مسبق، لا يزال التعرف الموثوق على خطاب الكراهية يمثل تحديًا بسبب طبيعته الدقيقة وإمكانية وجود تحيزات نظامية في النماذج المدربة مسبقًا. يعرف المؤلفون خطاب الكراهية بأنه محتوى يستهدف الأفراد بناءً على هويتهم الجماعية ويميزه عن الفئات الأوسع من الخطاب الضار.
تساهم الدراسة في النقاش من خلال ضبط نموذج GPT-4o-mini على مجموعة متنوعة من التعليقات الألمانية عبر الإنترنت التي تم توضيحها من قبل مجموعات مختلفة، بما في ذلك المساعدين البحثيين المدربين وعلماء المواطنين. تكشف النتائج عن تباينات كبيرة في جودة التوضيح عبر هذه المجموعات، والتي تؤثر مباشرة على أداء النموذج. من الجدير بالذكر أن الضبط الدقيق باستخدام توضيحات عالية الجودة من المساعدين البحثيين المدربين يعزز أداء تصنيف النموذج، خاصة في الدقة، دون المساس بالاسترجاع. يجادل المؤلفون بضرورة التحول من التركيز على الكمية إلى جودة البيانات المعلّمة في تدريب نماذج LLM، مشددين على أهمية التوضيحات الخبيرة في معالجة تحديات الكشف عن خطاب الكراهية بشكل فعال. لا تهدف هذه الأبحاث فقط إلى تحسين تصنيف خطاب الكراهية ولكنها تقدم أيضًا رؤى أوسع حول تداعيات جودة التوضيح في تطبيقات التعلم الآلي حيث تكون الحساسية السياقية أمرًا حاسمًا.
الطرق
تحدد هذه الفقرة المنهجيات المستخدمة في البحث، موضحة الإطار المفاهيمي، ومصادر البيانات، والتقنيات التحليلية المستخدمة. تستند الدراسة إلى مفاهيم نظرية راسخة، والتي توجه صياغة الفرضيات وتفسير النتائج. شملت جمع البيانات كل من الأساليب الكمية والنوعية، مما يضمن تحليلًا شاملاً لأسئلة البحث.
تضمنت الأساليب التحليلية النمذجة الإحصائية والتقنيات الحسابية، مما يسمح باختبار قوي للفرضيات المقترحة. تعزز دمج مجموعات البيانات المتنوعة من صحة النتائج، بينما يضمن تطبيق الأطر التحليلية الصارمة أن الاستنتاجات المستخلصة موثوقة وذات دلالة. بشكل عام، تم تصميم الطرق المستخدمة لتوفير فهم شامل للظواهر قيد التحقيق.
النتائج
تقدم فقرة النتائج النتائج الرئيسية الموضحة في شكلين. الشكل 1 يقارن أداء مجموعات المعلقين المختلفة إلى جانب النسخ بدون تدريب والنسخ المضبوطة من نموذج GPT-4o-mini في مهمة تصنيف ثنائية تميز بين المحتوى الضار وغير الضار. الشكل 2 يوسع هذا التحليل إلى مهمة تصنيف متعددة الفئات، مميزًا بين خطاب الكراهية، والخطاب السام، والخطاب غير الضار. تؤكد المناقشة على أداء النموذج GPT-4o-mini بدون تدريب قبل تقييم التحسينات التي تم تحقيقها من خلال الضبط الدقيق.
المناقشة
تتناول فقرة المناقشة في ورقة البحث تعقيدات تعريف وتشغيل خطاب الكراهية، مشددة على طبيعته المتنازع عليها والتداعيات الفلسفية لأفعال الخطاب التي تعزز الهياكل الاجتماعية. يقترح المؤلفون تعريفًا شاملاً لخطاب الكراهية، يتماشى مع إطار الأمم المتحدة، ويحدد بروتوكول ترميز من خطوتين للتمييز بين الخطاب الضار وغير الضار، بالإضافة إلى خطاب الكراهية المستهدف والخطاب السام غير المستهدف. تعتبر هذه المقاربة الدقيقة ضرورية لتوضيح مجموعة بيانات من التعليقات عبر الإنترنت من وسائل الإعلام السويسرية، والتي تشمل كل من المحتوى المرئي والمعتدل، مما يعكس الطبيعة التعددية للمجتمع السويسري.
تسلط الورقة الضوء على التباين في جودة التوضيح بين مجموعات المبرمجين المختلفة، كاشفة أن المساعدين البحثيين المدربين أنتجوا أكثر التسميات موثوقية، بينما أظهر عمال الحشود تناسقًا أقل. تؤكد النتائج على أهمية التوضيحات عالية الجودة لضبط نماذج اللغة الكبيرة (LLMs) مثل GPT-4o-mini. تظهر الدراسة أن الضبط الدقيق باستخدام بيانات عالية الجودة يعزز بشكل كبير من أداء النموذج في الكشف عن خطاب الكراهية، مما يحسن الدقة ويقلل من الإيجابيات الكاذبة. على العكس، يمكن أن يؤدي استخدام التوضيحات ذات الجودة المنخفضة إلى تدهور الأداء، مما يبرز الحاجة إلى اعتبار دقيق لجودة التوضيح في مهام معالجة اللغة الطبيعية. بشكل عام، تدعو الأبحاث إلى التحول نحو عدد أقل من التوضيحات عالية الجودة لتحقيق تصنيف فعال لخطاب الكراهية، مع تداعيات على جهود تعديل المحتوى الأوسع.
DOI: https://doi.org/10.1017/s1475676525100546
Publication Date: 2026-01-23
Author(s): Natalia Umansky et al.
Primary Topic: Hate Speech and Cyberbullying Detection
Overview
The research paper discusses the critical role of fine-tuning large language models (LLMs) for the effective detection of online hate speech. It highlights that while LLMs like GPT-4o-mini demonstrate strong zero-shot classification capabilities, their performance can be significantly enhanced through domain-specific fine-tuning. The study emphasizes that the quality of the annotation data used for fine-tuning is paramount; only annotations from high-quality sources, such as trained research assistants, improve the model’s precision without compromising recall. Conversely, low-quality annotations can degrade the model’s performance, underscoring the necessity of high-quality human labels for achieving task-specific sensitivity in hate speech detection.
In conclusion, the paper asserts that addressing online hate speech requires not only scalable detection methods but also careful consideration of the political and normative frameworks that define harmful speech. The findings suggest that fine-tuned LLMs can substantially enhance hate speech identification, provided they are trained on high-quality data. This approach shifts the focus from the sheer volume of annotations to the quality of those annotations, indicating that a relatively small amount of high-quality data can effectively improve model performance. While the study acknowledges limitations related to proprietary models, it suggests that similar methodologies could be applied to open-source models, which may offer advantages in reproducibility and transparency. The implications of this research extend beyond hate speech detection, indicating potential applications in broader content moderation contexts.
Introduction
The introduction of the paper addresses the complex interplay between the regulation of online speech, particularly hate speech, and the advancements in Natural Language Processing (NLP) through Large Language Models (LLMs). It emphasizes that while LLMs, such as GPT-4o-mini, show promise in detecting harmful content due to their zero-shot capabilities, the reliable identification of hate speech remains challenging due to its nuanced nature and the potential for systemic biases in pre-trained models. The authors define hate speech as content targeting individuals based on their group identity and distinguish it from broader categories of harmful speech.
The study contributes to the discourse by fine-tuning GPT-4o-mini on a diverse corpus of German online comments annotated by various groups, including trained research assistants and citizen scientists. The findings reveal significant variations in annotation quality across these groups, which directly impact the model’s performance. Notably, fine-tuning with high-quality annotations from trained research assistants enhances the model’s classification performance, particularly in precision, without compromising recall. The authors argue for a shift in focus from the quantity to the quality of labeled data in training LLMs, highlighting the importance of expert annotations in effectively addressing the challenges of hate speech detection. This research not only aims to improve hate speech classification but also provides broader insights into the implications of annotation quality in machine learning applications where contextual sensitivity is crucial.
Methods
The section outlines the methodologies employed in the research, detailing the conceptual framework, data sources, and analytical techniques utilized. The study is grounded in established theoretical constructs, which guide the formulation of hypotheses and the interpretation of results. Data collection involved both quantitative and qualitative approaches, ensuring a comprehensive analysis of the research questions.
Analytical methods included statistical modeling and computational techniques, allowing for robust testing of the proposed hypotheses. The integration of diverse data sets enhances the validity of the findings, while the application of rigorous analytical frameworks ensures that the conclusions drawn are both reliable and significant. Overall, the methods employed are designed to provide a thorough understanding of the phenomena under investigation.
Results
The results section presents key findings illustrated in two figures. Figure 1 compares the performance of various annotator groups alongside the zero-shot and fine-tuned versions of the GPT-4o-mini model in a binary classification task distinguishing harmful from non-harmful content. Figure 2 extends this analysis to a multi-class classification task, differentiating between hate speech, toxic speech, and non-harmful speech. The discussion emphasizes the zero-shot performance of the GPT-4o-mini model before evaluating the enhancements achieved through fine-tuning.
Discussion
The discussion section of the research paper delves into the complexities of defining and operationalizing hate speech, emphasizing its contested nature and the philosophical implications of speech acts that reinforce social hierarchies. The authors propose a comprehensive definition of hate speech, aligning with the United Nations’ framework, and outline a two-step coding protocol to differentiate between harmful and non-harmful speech, as well as targeted hate speech and non-targeted toxic speech. This nuanced approach is critical for accurately annotating a dataset of online comments from Swiss media, which includes both visible and moderated content, reflecting the pluralistic nature of Swiss society.
The paper highlights the variability in annotation quality among different coder groups, revealing that trained research assistants produced the most reliable labels, while crowd workers exhibited lower consistency. The findings underscore the importance of high-quality annotations for fine-tuning large language models (LLMs) like GPT-4o-mini. The study demonstrates that fine-tuning with high-quality data significantly enhances the model’s performance in hate speech detection, improving precision and reducing false positives. Conversely, using lower-quality annotations can degrade performance, emphasizing the need for careful consideration of annotation quality in NLP tasks. Overall, the research advocates for a shift towards fewer, high-quality annotations to achieve effective hate speech classification, with implications for broader content moderation efforts.