DOI: https://doi.org/10.62408/ai-ling.v3i1.33
تاريخ النشر: 2026-01-25
المؤلف: Nicola Brocca وآخرون
الموضوع الرئيسي: تقنيات معالجة اللغة الطبيعية
نظرة عامة
تستكشف هذه الدراسة أداء ثلاثة أنظمة تعلم آلي—LadderWeb وChatGPT-4o وLLaMA-3.2—في تصنيف الفئات البراغماتية، مع التركيز بشكل خاص على الإلغاءات بعد الدعوات. أظهر LadderWeb، وهو نموذج مشرف مصمم لتصنيف الإلغاءات، توافقًا كبيرًا مع التقييمات البشرية. في المقابل، حقق ChatGPT-4o، وهو نموذج لغة كبير مدرب مسبقًا (LLM)، أعلى مستويات التوافق، حيث تشير قيم كوهين كابا إلى توافق كبير إلى شبه مثالي. ومع ذلك، كشفت تقييمات لاحقة بعد سبعة أشهر عن تباين في نتائج ChatGPT-4o، مما يشير إلى عدم الاستقرار المحتمل بمرور الوقت مقارنة بـ LadderWeb وLLaMA-3.2، اللذان حافظا على نتائج متسقة.
تؤكد النتائج على وعد نماذج اللغة الكبيرة مثل ChatGPT-4o في تصنيف المجموعات البراغماتية، على الرغم من التحديات في إمكانية إعادة الإنتاج. بينما أظهر LadderWeb اتساقًا داخليًا، إلا أنه محدود بمجموعة التدريب الخاصة به، وكان أداء LLaMA-3.2 معتدلاً، وغالبًا ما يفشل في تصنيف الفئات المحددة بدقة. تسلط الدراسة الضوء على الحاجة إلى مزيد من التجارب مع LLaMA-3.2 لتعزيز دقته واتساقه. بشكل عام، بينما لا تزال هذه الأدوات ليست بديلاً عن التقييم البشري، إلا أنها يمكن أن تحسن بشكل كبير من موثوقية التقييم بين المقيمين عند استخدامها جنبًا إلى جنب مع المقيّمين البشريين، مما يعزز أهداف التحليل البراغماتي. يجب أن تستكشف الأبحاث المستقبلية عوامل مختلفة تؤثر على جودة التقييم المدعوم بالذكاء الاصطناعي، مثل لغة البيانات، وتقنيات التحفيز، وتعقيد الفئات البراغماتية المعنية.
مقدمة
تستكشف مقدمة هذه المقالة فعالية وموثوقية أداة تعلم آلي، LadderWeb، إلى جانب نموذجين بارزين من نماذج اللغة الكبيرة (LLMs)، ChatGPT-4o وLLaMA-3.2، في تصنيف الفئات البراغماتية. تسلط الدراسة الضوء على الإهمال التاريخي للبراغماتية في اللغويات الكمية، والذي يُعزى إلى تعقيد فئاتها الأساسية، التي تقاوم التصنيف المنفصل. أدى هذا التعقيد إلى ندرة مجموعات البيانات الشاملة للتحليل البراغماتي، خاصة في اللغات غير الإنجليزية، مما يحد من إمكانية تعميم نتائج الأبحاث والمقارنات عبر اللغات.
تهدف المقالة إلى تقييم أداء التصنيف لهذه الأنظمة التعليمية الآلية، مع التركيز على الدقة—المعرفة بأنها توافق التقييمات التي أنشأها الذكاء الاصطناعي مع مرجع موثوق—وإمكانية إعادة الإنتاج، التي تشير إلى اتساق النتائج عبر عدة جولات تحت ظروف متطابقة. تم تحديد هيكل المقالة، بدءًا من خلفية حول التحديات في تصنيف البراغماتية، تليها مناقشات حول الأساليب المدعومة بالتكنولوجيا، وأسئلة البحث، والإطار المنهجي. تتناول الأقسام اللاحقة تدريب LadderWeb، وتصميم التحفيزات لنماذج اللغة الكبيرة، وتقييم أدائها، culminating in a discussion of the results and their implications for future research in automatic pragmatic annotation.
النتائج
في قسم النتائج، تقدم الدراسة نتائج كمية من خلال قيم كوهين κ، مقارنة بين ثلاثة أدوات تصنيف مقابل معيار ذهبي عبر ثلاث طبقات. تم إجراء التحليل مرتين، حيث حدثت الجولة الثانية بعد حوالي سبعة أشهر من التصنيف الأول. من الجدير بالذكر أن ردود ChatGPT-4o كانت أبطأ في الجولة الثانية، وتم إجراء تعديلات على نموذج LLaMA-3.2 عن طريق خفض معلمة الحرارة من 0.8 إلى 0.05. أشارت النتائج إلى أنه بينما حقق ChatGPT-4o توافقًا مثاليًا بين المقيمين لفئات الفرعية والاستراتيجيات، انخفض التوافق لفئات المعدلات بشكل كبير إلى κ = 0.584. في المقابل، أظهر LLaMA-3.2 أداءً محسنًا عند درجة حرارة أقل، حيث حقق قيم κ تبلغ 0.678 لفئات الفرعية، و0.552 للاستراتيجيات، و0.392 للمعدلات.
كشفت التحليل النوعي للاختلافات مع الخط الأساسي البشري عن رؤى حاسمة حول المنطق التشغيلي لأنظمة التصنيف. ركز هذا الفحص على التباينات التي لوحظت خلال الجولة الثانية من التصنيف مع ChatGPT-4o، مما يبرز التعقيدات والتحديات التي تواجه نماذج التعلم الآلي في تحقيق تصنيف يشبه البشر بشكل متسق.
مناقشة
تسلط المناقشة الضوء على التحديات الكبيرة في براغماتية المجموعات وتصنيف البراغماتية، مشددة على أن المجموعات الحالية غالبًا ما تكون غير كافية للأبحاث التي تركز على الوظائف البراغماتية بسبب تعقيدات تحديد وتصنيف هذه الوظائف. الوظائف البراغماتية تعتمد على السياق وتتحقق من خلال أشكال لغوية متنوعة، مما يعقد إنشاء قوائم مفردات شاملة. لا يزال التصنيف اليدوي هو الطريقة السائدة لتسمية الفئات البراغماتية، مما يسمح بتفسير دقيق ولكنه يتطلب موارد كبيرة وعرضة للذاتية. وبالتالي، هناك حاجة ملحة لأساليب التصنيف الآلي، مع ظهور نماذج اللغة الكبيرة (LLMs) كأدوات واعدة لمعالجة هذه التحديات.
أظهرت التطورات الأخيرة في التصنيف المدعوم بالتكنولوجيا أن الأدوات شبه الآلية يمكن أن تعزز بشكل كبير من كفاءة تصنيف الفئات اللغوية غير المنفصلة. لقد أظهرت نماذج اللغة الكبيرة المدربة مسبقًا، مثل ChatGPT-4o، أداءً متفوقًا في مهام التصنيف المختلفة، وغالبًا ما تتجاوز المقيّمين البشريين في الدقة والكفاءة. تهدف الدراسة إلى مقارنة أداء ثلاث تقنيات ذكاء اصطناعي—LadderWeb وChatGPT-4o وLLaMA-3.2—في تصنيف فعل الكلام للإلغاء. ستقوم هذه الأبحاث بتقييم الجوانب الكمية والنوعية لدقة التصنيف، واستكشاف نقاط القوة والقيود لكل أداة. من المتوقع أن تساهم النتائج في تطوير منهجيات تصنيف قابلة للتوسع وفعالة في البراغماتية، بينما تعالج أيضًا الاعتبارات الأخلاقية المرتبطة باستخدام النماذج المملوكة مقابل النماذج مفتوحة المصدر.
DOI: https://doi.org/10.62408/ai-ling.v3i1.33
Publication Date: 2026-01-25
Author(s): Nicola Brocca et al.
Primary Topic: Natural Language Processing Techniques
Overview
This study investigates the performance of three machine learning systems—LadderWeb, ChatGPT-4o, and LLaMA-3.2—in annotating pragmatic categories, specifically focusing on cancellations following invitations. LadderWeb, a supervised model tailored for cancellation annotation, demonstrated substantial agreement with human annotations. In contrast, ChatGPT-4o, a pre-trained large language model (LLM), achieved the highest agreement levels, with Cohen’s kappa values indicating substantial to near-perfect alignment. However, a follow-up evaluation after seven months revealed variability in ChatGPT-4o’s results, suggesting potential instability over time compared to LadderWeb and LLaMA-3.2, which maintained consistent outputs.
The findings underscore the promise of LLMs like ChatGPT-4o for pragmatic corpus annotation, albeit with challenges in reproducibility. While LadderWeb showed intrinsic consistency, it is limited by its training set, and LLaMA-3.2’s performance was moderate, often failing to annotate specific categories accurately. The study highlights the need for further experimentation with LLaMA-3.2 to enhance its accuracy and consistency. Overall, while these tools are not yet substitutes for human annotation, they can significantly improve inter-rater reliability when used alongside human annotators, thereby advancing the goals of pragmatic analysis. Future research should explore various factors influencing AI-supported annotation quality, such as data language, prompting techniques, and the complexity of the pragmatic categories involved.
Introduction
The introduction of this article investigates the effectiveness and reliability of a machine learning tool, LadderWeb, alongside two prominent large language models (LLMs), ChatGPT-4o and LLaMA-3.2, in annotating pragmatic categories. The study highlights the historical neglect of pragmatics in quantitative linguistics, attributed to the complexity of its core categories, which resist discrete classification. This complexity has led to a scarcity of comprehensive datasets for pragmatic analysis, particularly in languages other than English, thereby limiting the generalizability of research findings and cross-linguistic comparisons.
The article aims to evaluate the annotation performance of these machine learning systems, focusing on accuracy—defined as the alignment of AI-generated annotations with a trusted reference—and reproducibility, which refers to the consistency of outputs across multiple runs under identical conditions. The structure of the article is outlined, beginning with a background on the challenges in pragmatic annotation, followed by discussions on technology-assisted approaches, research questions, and the methodological framework. Subsequent sections detail the training of LadderWeb, the design of prompts for the LLMs, and the evaluation of their performance, culminating in a discussion of the results and their implications for future research in automatic pragmatic annotation.
Results
In the Results section, the study presents quantitative findings through Cohen’s κ values, comparing three annotation tools against a gold standard across three layers. The analysis was conducted twice, with the second round occurring approximately seven months after the initial annotation. Notably, responses from ChatGPT-4o were slower in the second round, and adjustments were made to the LLaMA-3.2 model by lowering the temperature parameter from 0.8 to 0.05. The results indicated that while ChatGPT-4o achieved perfect inter-rater agreement for Sub-acts and Strategies, the agreement for Modifiers significantly decreased to κ = 0.584. In contrast, LLaMA-3.2 showed improved performance at the lower temperature, yielding κ values of 0.678 for Sub-acts, 0.552 for Strategies, and 0.392 for Modifiers.
The qualitative analysis of misalignments with the human baseline revealed critical insights into the operational logic of the annotation systems. This examination focused on discrepancies observed during the second round of annotation with ChatGPT-4o, highlighting the complexities and challenges faced by the machine learning models in achieving consistent human-like annotation.
Discussion
The discussion highlights significant challenges in corpus pragmatics and pragmatic annotation, emphasizing that existing corpora are often inadequate for research focused on pragmatic functions due to the complexities of identifying and categorizing these functions. Pragmatic functions are context-dependent and realized through diverse linguistic forms, complicating the creation of exhaustive lexical lists. Manual annotation remains the predominant method for labeling pragmatic categories, allowing for nuanced interpretation but is resource-intensive and prone to subjectivity. Consequently, there is a pressing need for automated annotation methods, with large language models (LLMs) emerging as promising tools to address these challenges.
Recent advancements in technology-assisted annotation have shown that semi-automatic tools can significantly enhance the efficiency of annotating non-discrete linguistic categories. Pre-trained LLMs, such as ChatGPT-4o, have demonstrated superior performance in various annotation tasks, often surpassing human annotators in accuracy and efficiency. The study aims to compare the performance of three AI technologies—LadderWeb, ChatGPT-4o, and LLaMA-3.2—in annotating the speech act of cancellation. This research will evaluate both quantitative and qualitative aspects of annotation accuracy, exploring the strengths and limitations of each tool. The findings are expected to contribute to the development of scalable and effective annotation methodologies in pragmatics, while also addressing the ethical considerations associated with the use of proprietary versus open-source models.