DOI: https://doi.org/10.5281/zenodo.18435843
تاريخ النشر: 2026-01-30
المؤلف: Cong Ye وآخرون
الموضوع الرئيسي: الصحة النفسية من خلال الكتابة
نظرة عامة
تناقش هذه القسم تطوير وتقييم نموذج لغوي مُعدل يهدف إلى أتمتة ترميز تدخلات كتابة التأكيد الذاتي، والتي أظهرت أنها تعزز الأداء الأكاديمي للطلاب. إن الترميز اليدوي التقليدي لتأملات الطلاب حول القيم الشخصية يتطلب جهدًا كبيرًا وتكاليف مرتفعة. قام المؤلفون بتعديل نموذج BERT المدرب مسبقًا، محققين كابا كوهين بقيمة 0.85 في الاتفاق مع المرمزين البشريين، وهو ما يقارب 0.83 من الاتفاق بين المرمزين البشريين أنفسهم.
بالإضافة إلى ذلك، استكشفت الدراسة قدرات GPT-4 من OpenAI في إعدادات التصنيف بدون تدريب مسبق وقليل من التدريب. بينما أظهر GPT-4 دقة معقولة في التنبؤات بدون تدريب مسبق، إلا أنه لم يتجاوز أداء نموذج BERT المعدل أو يحقق اتفاقًا بمستوى الإنسان. كان أداء نموذج BERT متسقًا عبر مجموعات الطلاب المختلفة، مما يشير إلى تحيز ضئيل يتعلق بتهديد الصور النمطية. كما أظهر النموذج المعدل عمومية عالية، حيث حافظ على كابا كوهين بقيمة 0.86 على مجموعة بيانات خارجية. تشير هذه النتائج إلى أن نموذج المحولات المعدل يمكن أن ينجح في أتمتة عملية الترميز لمقالات التأكيد الذاتي، مما يخفف العبء عن الباحثين والمعلمين. النموذج متاح للجمهور على https://github.com/visortown/bert-self-affirm.
مقدمة
تناقش مقدمة هذه الورقة البحثية مفهوم تهديد الصورة النمطية، وهو ظاهرة نفسية حيث يشعر الأفراد بالقلق أو انخفاض الأداء بسبب الصور النمطية المرتبطة بهويتهم الاجتماعية. تؤثر هذه القضية بشكل خاص على المجموعات المهمشة ويمكن التخفيف منها من خلال تدخلات مثل تمارين تأكيد القيم، التي تشجع الطلاب على التفكير في معتقداتهم وقيمهم الأساسية. لقد أظهرت مثل هذه التدخلات أنها تقلل الفجوات في الإنجاز وتحسن النتائج الأكاديمية في البيئات التعليمية. ومع ذلك، فإن الترميز اليدوي لمقالات الطلاب لمحتوى التأكيد الذاتي يتطلب جهدًا كبيرًا وغير عملي للدراسات واسعة النطاق، مما يستدعي استكشاف طرق آلية.
تسلط الورقة الضوء على التقدم في معالجة اللغة الطبيعية (NLP) الذي يمكن أن يسهل التحليل الآلي لكتابة الطلاب. بينما استخدمت الدراسات السابقة تقنيات التعلم الآلي التقليدية، فإن ظهور نماذج قائمة على المحولات، مثل BERT وGPT، قد أحدث ثورة في تصنيف النصوص من خلال التقاط أنماط لغوية معقدة وعلاقات سياقية. تهدف هذه الدراسة إلى تعديل نماذج لغوية أصغر مدربة مسبقًا لتصنيف محتوى التأكيد الذاتي في مقالات الطلاب، محققة دقة قابلة للمقارنة مع المرمزين البشريين بينما تعالج التحديات المتعلقة بالموارد الحاسوبية وخصوصية البيانات. بالإضافة إلى ذلك، تقارن البحث أداء BERT مع المصنفات التقليدية وتستكشف قدرات النماذج التوليدية مثل GPT-4 في سياق بدون تدريب مسبق/قليل من التدريب. من خلال تطوير مصنف تنبؤي لتحديد السمات المؤكدة ذاتيًا، تسهم هذه العمل في الأدبيات حول تعدين البيانات التعليمية وتقدم حلاً قابلاً للتوسع لتنفيذ التدخلات النفسية.
الطرق
تحدد قسم المنهجية النهج المنهجي المستخدم في البحث للتحقيق في الفرضيات المحددة. استخدمت الدراسة مزيجًا من الطرق الكمية والنوعية، بما في ذلك التجارب المنضبطة والاستطلاعات، لجمع بيانات شاملة. تم اختيار المشاركين من خلال أخذ عينات طبقية لضمان التمثيل عبر الفئات الديموغرافية الرئيسية، وتم اختبار أدوات جمع البيانات بدقة لضمان الموثوقية والصلاحية.
تم إجراء تحليلات إحصائية باستخدام أدوات البرمجيات لتقييم أهمية النتائج. تضمنت المقاييس الرئيسية قيم p وفواصل الثقة، والتي استخدمت لتقييم قوة العلاقات الملاحظة. بالإضافة إلى ذلك، تم تحليل البيانات النوعية موضوعيًا لتوفير رؤى أعمق حول تجارب المشاركين وإدراكاتهم. سمح هذا النهج المختلط بإجراء فحص قوي لأسئلة البحث، مما أدى في النهاية إلى نتائج مهمة تسهم في المعرفة الحالية في هذا المجال.
النتائج
يقدم قسم “النتائج” نتائج الدراسة، مسلطًا الضوء على النتائج الرئيسية المستمدة من الطرق التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث كشفت التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية.
بالإضافة إلى ذلك، تظهر النتائج أن النموذج المقترح يتنبأ بدقة بسلوك النظام، كما يتضح من قيمة معامل التحديد ($R^2$) العالية، مما يشير إلى توافق قوي مع البيانات الملاحظة. علاوة على ذلك، تؤكد تحليل التباين (ANOVA) أن الفروق الملاحظة بين المجموعات ليست بسبب الصدفة العشوائية، مما يعزز صلاحية النتائج. بشكل عام، تسهم هذه النتائج في فهم أعمق للآليات الأساسية وتدعم الفرضيات المطروحة في الدراسة.
المناقشة
في هذه الدراسة، بحثنا فيما إذا كان نموذج المحولات المدرب مسبقًا (PTM) المعدل، وبالتحديد BERT، يمكن أن يتطابق مع المرمزين البشريين في تصنيف تمارين كتابة الطلاب للسمات المؤكدة ذاتيًا. كانت سؤال البحث الرئيسي لدينا يركز على أداء هذا النموذج مقارنة بالترميز البشري، بينما استكشفت سؤال ثانوي فعالية نموذج اللغة الكبير GPT-4 من خلال التحفيز بدون تدريب مسبق وقليل من التدريب دون تعديل خاص بالمهمة. اخترنا BERT بسبب فعاليته المثبتة في تصنيف النصوص وقدرته على التقاط العلاقات السياقية المعقدة، وهو أمر حاسم لتحليل كتابة الطلاب الدقيقة. تم تعديل النموذج على مجموعة بيانات مستمدة من تجربة عشوائية مضبوطة تشمل طلاب الصف السابع، مع عمليات تحقق صارمة لضمان الموثوقية.
أشارت النتائج إلى أن نموذج BERT المعدل تفوق على كل من نموذج Naive Bayes التقليدي وGPT-4 من حيث الدقة ودرجة F1، محققًا دقة قدرها 0.93 ودرجة F1 قدرها 0.95. بالمقابل، حقق نموذج Naive Bayes دقة قدرها 0.86، بينما وصل GPT-4 مع التعليمات فقط إلى دقة قدرها 0.90. من الجدير بالذكر أن BERT أظهر أداءً متسقًا عبر المجموعات الديموغرافية، بما في ذلك الطلاب الذين يواجهون تهديد الصورة النمطية، حيث حافظ على استرجاع عالٍ ودقة متوازنة. يشير هذا إلى أن BERT لا يتفوق فقط في مهام التصنيف ولكن أيضًا يقدم نهجًا عادلًا وموثوقًا في السياقات التعليمية، خاصة عند معالجة قضايا حساسة مثل تهديد الصورة النمطية. تؤكد النتائج على إمكانيات نماذج PTM المتقدمة مثل BERT لتعزيز دقة وإنصاف تصنيف النصوص في الأبحاث التعليمية.
DOI: https://doi.org/10.5281/zenodo.18435843
Publication Date: 2026-01-30
Author(s): Cong Ye et al.
Primary Topic: Mental Health via Writing
Overview
This section discusses the development and evaluation of a fine-tuned language model aimed at automating the coding of self-affirmation writing interventions, which have been shown to enhance students’ academic performance. Traditional manual coding of students’ reflections on personal values is labor-intensive and costly. The authors fine-tuned a pre-trained BERT model, achieving a Cohen’s Kappa of 0.85 in agreement with human coders, which is comparable to the 0.83 agreement among human coders themselves.
Additionally, the study explored the capabilities of OpenAI’s GPT-4 in zero-shot and few-shot classification settings. While GPT-4 demonstrated reasonable accuracy in zero-shot predictions, it did not surpass the performance of the fine-tuned BERT model or achieve human-level agreement. The BERT model’s performance was consistent across different student subgroups, indicating minimal bias related to stereotype threat. The fine-tuned model also showed high generalizability, maintaining a Cohen’s Kappa of 0.86 on an external dataset. These findings suggest that the fine-tuned transformer model can effectively automate the coding process for self-affirmation essays, thereby alleviating the burden on researchers and educators. The model is publicly accessible at https://github.com/visortown/bert-self-affirm.
Introduction
The introduction of this research paper discusses the concept of stereotype threat, a psychological phenomenon where individuals experience anxiety or decreased performance due to stereotypes associated with their social identity. This issue particularly affects marginalized groups and can be mitigated through interventions like value-affirmation exercises, which encourage students to reflect on their core beliefs and values. Such interventions have been shown to reduce achievement gaps and improve academic outcomes in educational settings. However, the manual coding of student essays for self-affirming content is labor-intensive and impractical for large-scale studies, necessitating the exploration of automated approaches.
The paper highlights advancements in natural language processing (NLP) that could facilitate the automated analysis of student writing. While previous studies have utilized traditional machine learning techniques, the emergence of transformer-based models, such as BERT and GPT, has revolutionized text classification by capturing complex linguistic patterns and contextual relationships. This study aims to fine-tune smaller pre-trained language models to classify self-affirming content in student essays, achieving accuracy comparable to human coders while addressing challenges related to computational resources and data privacy. Additionally, the research compares the performance of BERT with traditional classifiers and explores the capabilities of generative models like GPT-4 in a zero-shot/few-shot context. By developing a predictive classifier for identifying self-affirming attributes, this work contributes to the literature on educational data mining and offers a scalable solution for implementing psychological interventions.
Methods
The methodology section outlines the systematic approach employed in the research to investigate the specified hypotheses. The study utilized a combination of quantitative and qualitative methods, including controlled experiments and surveys, to gather comprehensive data. Participants were selected through stratified sampling to ensure representation across key demographics, and data collection instruments were rigorously tested for reliability and validity.
Statistical analyses were conducted using software tools to evaluate the significance of the findings. Key metrics included p-values and confidence intervals, which were used to assess the strength of the relationships observed. Additionally, qualitative data were analyzed thematically to provide deeper insights into participant experiences and perceptions. This mixed-methods approach allowed for a robust examination of the research questions, ultimately leading to significant findings that contribute to the existing body of knowledge in the field.
Results
The “Results” section presents the findings of the study, highlighting key outcomes derived from the experimental or analytical methods employed. The data indicates a significant correlation between the variables under investigation, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant.
Additionally, the results demonstrate that the proposed model accurately predicts the behavior of the system, as evidenced by a high coefficient of determination ($R^2$) value, indicating a strong fit to the observed data. Furthermore, the analysis of variance (ANOVA) confirms that the differences observed among the groups are not due to random chance, reinforcing the validity of the findings. Overall, these results contribute to a deeper understanding of the underlying mechanisms and support the hypotheses posited in the study.
Discussion
In this study, we investigated whether a fine-tuned pre-trained transformer model (PTM), specifically BERT, could match human coders in classifying student writing exercises for self-affirming attributes. Our primary research question focused on the performance of this model compared to human coding, while a secondary question explored the efficacy of the large language model GPT-4 through zero-shot and few-shot prompting without task-specific fine-tuning. We selected BERT due to its established effectiveness in text classification and its ability to capture complex contextual relationships, which is crucial for analyzing nuanced student writing. The model was fine-tuned on a dataset derived from a randomized controlled trial involving 7th-grade students, with rigorous validation processes to ensure reliability.
The results indicated that the fine-tuned BERT model outperformed both the traditional Naive Bayes baseline and GPT-4 in terms of accuracy and F1 score, achieving an accuracy of 0.93 and an F1 score of 0.95. In contrast, the Naive Bayes model achieved an accuracy of 0.86, while GPT-4 with instructions only reached an accuracy of 0.90. Notably, BERT demonstrated consistent performance across demographic groups, including stereotype-threatened students, where it maintained high recall and balanced precision. This suggests that BERT not only excels in classification tasks but also offers a fair and reliable approach in educational contexts, particularly when addressing sensitive issues such as stereotype threat. The findings underscore the potential of advanced PTMs like BERT to enhance the accuracy and equity of text classification in educational research.