DOI: https://doi.org/10.3389/feduc.2026.1764154
تاريخ النشر: 2026-03-06
المؤلف: Wenju Cui وآخرون
الموضوع الرئيسي: طرق التحليل الحاسوبي والنصي
نظرة عامة
تستكشف هذه الورقة البحثية فعالية نماذج اللغة الكبيرة (LLMs)، وبشكل خاص ChatGPT، في ترميز بيانات الاتصال ضمن إطار عمل معقد يتكون من خمس فئات رئيسية وسبعة عشر فئة فرعية. تقارن الدراسة بين استراتيجيتين للتوجيه: نهج هرمي، يقوم بترميز الفئات في خطوتين، ونهج مباشر، يقوم بترميز الفئات الفرعية في خطوة واحدة. تم تقييم دقة الترميز مقابل مقيمين بشريين باستخدام كابا كوهين والانحدار اللوجستي ذو التأثيرات المختلطة، مما يكشف أن كلا الاستراتيجيتين حققتا مستوى من الاتفاق يقارب موثوقية البشر (κ ≈ 0.57-0.59). ومن الجدير بالذكر أن استراتيجية التوجيه المباشر تفوقت على الطريقة الهرمية، حيث أظهرت زيادة تقارب 18% في احتمالات الاتفاق.
تشير النتائج إلى أن ChatGPT يمكنه ترميز بيانات الاتصال بشكل موثوق على مستوى الفئات الفرعية التفصيلية، محققًا نتائج مشابهة للمقيمين البشر المدربين. ومع ذلك، لم يعزز التفكيك الهرمي الأداء؛ حيث كان عرضة لانتشار الأخطاء عندما تم تصنيف الفئات الرئيسية بشكل خاطئ، بينما قدم التوجيه المباشر ترميزًا أكثر استقرارًا للفئات الفرعية. تبرز هذه الدراسة إمكانيات الترميز المعتمد على الذكاء الاصطناعي لإطارات الاتصال المعقدة وتقدم توصيات عملية للباحثين، مشددة على أن التوجيه المباشر هو استراتيجية أكثر فعالية وموثوقية من التوجيه الهرمي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على أهمية الاتصال والتعاون كمهارات أساسية في القرن الحادي والعشرين، كما أكدت التقييمات الدولية مثل PISA 2015. ومع ذلك، تواجه التقييمات واسعة النطاق لهذه المهارات تحديات، لا سيما في العملية التي تتطلب الكثير من الجهد لترميز بيانات الاتصال من المهام التعاونية. تعتمد الطرق التقليدية على مقيمين بشريين مدربين وإطارات ترميز محددة مسبقًا، والتي تتطلب موارد كبيرة وتحد من استكشاف إطارات بديلة. يقدم ظهور نماذج اللغة الكبيرة (LLMs)، مثل ChatGPT، نهجًا جديدًا للترميز الآلي، مما يسمح بالتوجيه المباشر مع إطارات الترميز لتصنيف بيانات الاتصال الخام مع تقليل التدخل البشري.
تهدف الدراسة إلى التحقيق فيما إذا كانت نماذج اللغة الكبيرة يمكن أن تستخدم بفعالية استراتيجية ترميز هرمية، والتي تنظم إطارات الترميز المعقدة إلى طبقات قابلة للإدارة، مما يعزز دقة الترميز. على وجه التحديد، تفحص قدرة ChatGPT على تطبيق إطار هرمي يتكون من خمس فئات رئيسية وسبعة عشر فئة فرعية متداخلة على بيانات الاتصال من ثلاث مهام تعاونية. تقارن البحث بين استراتيجيتين للتوجيه: نهج هرمي، حيث يتم تحديد الفئات الرئيسية قبل الفئات الفرعية، ونهج مباشر، حيث يتم ترميز الفئات الفرعية على الفور. يسعى هذا المقارنة إلى تحديد كيف يؤثر اختيار استراتيجية التوجيه على دقة الترميز عبر مستويات مختلفة من الدقة، مسترشدًا بسؤالين بحثيين محددين.
الطرق
تحدد قسم الطرق الإطار الشامل المستخدم في الدراسة، موضحًا تصميم وتنفيذ المهام التعاونية. يحدد أنواع البيانات المستخدمة، جنبًا إلى جنب مع إطار ترميز يدعم التحليل. بالإضافة إلى ذلك، يناقش القسم نماذج اللغة الكبيرة (LLMs) التي تم تنفيذها في البحث، بما في ذلك تكويناتها والمنطق وراء تصميمات التوجيه المختارة. يضمن هذا النهج المنظم موثوقية وصلاحية النتائج المستمدة من الدراسة.
المناقشة
تتناول قسم المناقشة في الدراسة سؤالين بحثيين رئيسيين بشأن فعالية ChatGPT في ترميز بيانات الاتصال باستخدام إطار عمل معقد متعدد الفئات. يستقصي السؤال الأول توافق الترميز المعتمد على ChatGPT مع الترميز البشري عبر مهام مختلفة. تشير النتائج إلى أن ChatGPT يمكن أن يحقق مستويات اتفاق تقارب تلك الخاصة بالمقيمين البشر، حتى مع إطار ترميز موسع من 17 فئة فرعية. بينما تراوحت اتفاقية البشر من 0.446 إلى 0.637، تراوحت اتفاقية ChatGPT من 0.508 إلى 0.622، مما يظهر أن الذكاء الاصطناعي يمكن أن يحافظ على اتساق الأداء، لا سيما في سيناريوهات الخطاب المعقدة مثل مهمة التفاوض، حيث تفوق على المقيمين البشر.
يستكشف السؤال الثاني ما إذا كان تقسيم إطار الترميز المعقد إلى طبقات هرمية يعزز دقة ترميز ChatGPT. على عكس التوقعات، تكشف النتائج أن التوجيه الهرمي لا يحقق نفس الفوائد لـ ChatGPT كما يفعل للمقيمين البشر. كانت الطريقة الهرمية ذات الخطوتين عرضة بشكل خاص لانتشار الأخطاء، حيث أثرت التصنيفات الخاطئة على مستوى الفئة الرئيسية سلبًا على التعيينات اللاحقة للفئات الفرعية. يشير هذا إلى أنه بينما قد يقلل التفكيك الهرمي من الحمل المعرفي للبشر، فإنه يمكن أن يقدم أخطاء إضافية للذكاء الاصطناعي، لا سيما عندما تكون الاعتماديات الفئوية قوية. في النهاية، ظهرت استراتيجية التوجيه المباشر كالأكثر فعالية، مما سمح لـ ChatGPT بالتقاط وظائف الخطاب الدقيقة بدقة دون قيود التصنيفات الأولية. تبرز الدراسة أهمية خصائص المهام في موثوقية الترميز وتؤكد الحاجة إلى التحقق الدقيق من أنظمة الترميز المعتمدة على البشر والذكاء الاصطناعي عبر سياقات متنوعة.
DOI: https://doi.org/10.3389/feduc.2026.1764154
Publication Date: 2026-03-06
Author(s): Wenju Cui et al.
Primary Topic: Computational and Text Analysis Methods
Overview
This research paper investigates the efficacy of large language models (LLMs), specifically ChatGPT, in coding communication data within a complex framework comprising five main categories and seventeen subcategories. The study compares two prompting strategies: a hierarchical approach, which codes categories in two steps, and a direct approach, which codes subcategories in a single step. The coding accuracy was assessed against human raters using Cohen’s Kappa and mixed-effects logistic regression, revealing that both strategies achieved a level of agreement comparable to human reliability (overall κ ≈ 0.57-0.59). Notably, the direct prompting strategy outperformed the hierarchical method, showing an approximately 18% increase in the odds of agreement.
The findings indicate that ChatGPT can reliably code communication data at a detailed subcategory level, achieving results similar to trained human raters. However, the hierarchical decomposition did not enhance performance; it was prone to error propagation when main categories were misclassified, while direct prompting provided more stable subcategory coding. This study highlights the potential of AI-based coding for complex communication frameworks and offers practical recommendations for researchers, emphasizing that direct prompting is a more effective and reliable strategy than hierarchical prompting.
Introduction
The introduction of this research paper highlights the significance of communication and collaboration as essential 21st-century skills, as emphasized by international assessments like PISA 2015. However, the large-scale assessment of these skills faces challenges, particularly in the labor-intensive process of coding communication data from collaborative tasks. Traditional methods rely on trained human raters and predefined coding frameworks, which are resource-intensive and limit the exploration of alternative frameworks. The advent of large language models (LLMs), such as ChatGPT, presents a novel approach to automated coding, allowing for direct prompting with coding frameworks to classify raw communication data with reduced human intervention.
The study aims to investigate whether LLMs can effectively utilize a hierarchical coding strategy, which organizes complex coding frameworks into manageable layers, thereby enhancing coding accuracy. Specifically, it examines ChatGPT’s ability to apply a hierarchical framework comprising five main categories and seventeen nested subcategories to communication data from three collaborative tasks. The research compares two prompting strategies: a hierarchical approach, where main categories are identified before subcategories, and a direct approach, where subcategories are coded immediately. This comparison seeks to determine how the choice of prompting strategy affects coding accuracy across varying levels of granularity, guided by two specific research questions.
Methods
The Methods section outlines the comprehensive framework employed in the study, detailing the design and execution of collaborative tasks. It specifies the types of data utilized, alongside a coding framework that underpins the analysis. Additionally, the section discusses the large language models (LLMs) implemented in the research, including their configurations and the rationale behind the chosen prompt designs. This structured approach ensures the reliability and validity of the findings derived from the study.
Discussion
The discussion section of the study addresses two primary research questions regarding the effectiveness of ChatGPT in coding communication data using a complex, multi-category framework. The first question investigates the alignment of ChatGPT-based coding with human coding across various tasks. The findings indicate that ChatGPT can achieve agreement levels comparable to human raters, even with an expanded coding framework of 17 subcategories. While human-human agreement ranged from 0.446 to 0.637, ChatGPT’s agreement varied from 0.508 to 0.622, demonstrating that AI can maintain performance consistency, particularly in complex discourse scenarios like the Negotiation task, where it outperformed human raters.
The second question explores whether breaking down a complex coding framework into hierarchical layers enhances ChatGPT’s coding accuracy. Contrary to expectations, the results reveal that hierarchical prompting does not yield the same benefits for ChatGPT as it does for human raters. The two-step hierarchical approach was particularly susceptible to error propagation, where misclassifications at the main-category level adversely affected subsequent subcategory assignments. This suggests that while hierarchical decomposition may reduce cognitive load for humans, it can introduce additional errors for AI, particularly when category dependencies are strong. Ultimately, the direct prompting strategy emerged as the most effective, allowing ChatGPT to accurately capture nuanced discourse functions without the constraints of initial classifications. The study highlights the importance of task characteristics in coding reliability and emphasizes the need for careful validation of both human and AI-based coding systems across diverse contexts.