DOI: https://doi.org/10.1093/bioinformatics/btaf196
PMID: https://pubmed.ncbi.nlm.nih.gov/40662811
تاريخ النشر: 2025-04-24
المؤلف: Pavlin G. Poličar وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في التعليم
نظرة عامة
يتناول هذا القسم تنفيذ وتقييم نماذج اللغة الكبيرة (LLMs) لتقييم الواجبات المكتوبة في دورة مقدمة في المعلوماتية الحيوية في جامعة ليوبليانا خلال العام الأكاديمي 2024/25. تنبع الدوافع وراء هذه الدراسة من الحاجة إلى تغذية راجعة فردية في الفصول الكبيرة، وهو ما يكون غالبًا غير عملي بسبب قيود الوقت التي يواجهها المعلمون. تسلط الأبحاث الضوء على أن نماذج اللغة الكبيرة يمكن أن تقدم تغذية راجعة شخصية بشكل فعال، مما يعزز رضا الطلاب ونتائج التعلم مع تقليل عبء العمل على هيئة التدريس. شملت الدراسة أكثر من 100 طالب أجابوا على 36 سؤالًا نصيًا، مع تغذية راجعة تم إنشاؤها بواسطة كل من نماذج اللغة الكبيرة ومساعدي التدريس البشريين (TAs) بشكل عمياني.
تشير النتائج إلى أن نماذج اللغة الكبيرة، عندما يتم توجيهها بواسطة مطالبات وهيكليات تقييم جيدة، يمكن أن تحقق دقة في التقييم وجودة في التغذية الراجعة مقارنة بتلك التي يقدمها مساعدو التدريس البشريون. ومن الجدير بالذكر أن نماذج اللغة الكبيرة مفتوحة المصدر أظهرت أداءً يعادل النماذج التجارية، مثل Llama-405Bq4 و GPT-4o، مما يشير إلى أن الجامعات يمكن أن تنشر أنظمة تقييم خاصة بها دون تكبد تكاليف عالية. كما تعترف الدراسة بالقيود، بما في ذلك التباين الفطري في استجابات نماذج اللغة الكبيرة والمشكلات المحتملة مع اختراق المطالبات من قبل الطلاب. على الرغم من هذه التحديات، تدعم النتائج الاعتماد الأوسع على التقييم القائم على نماذج اللغة الكبيرة في البيئات التعليمية، لا سيما في المعلوماتية الحيوية، وتؤكد على أهمية وجود ضمانات قوية لضمان نزاهة عملية التقييم.
مقدمة
تسلط المقدمة الضوء على التأثير الكبير لنماذج اللغة الكبيرة (LLMs) في مجالات متعددة، لا سيما في التعليم. لقد شجعت إمكانية الوصول والقدرات المتقدمة لنماذج اللغة الكبيرة الباحثين على استكشاف فوائدها المحتملة لكل من الطلاب والمعلمين. تشمل التطبيقات الرئيسية التي تم تحديدها التعليم الشخصي للطلاب، والتمارين السياقية التي تهدف إلى زيادة التفاعل، وأنظمة التقييم الآلي لتقييم تقديمات الطلاب. تشير هذه الابتكارات إلى دور تحويلي لنماذج اللغة الكبيرة في تعزيز الممارسات التعليمية والنتائج.
النتائج
في هذا القسم، تبحث الدراسة في الجوانب المزدوجة للتقييم—الدرجات الرقمية والتغذية الراجعة المكتوبة—الضرورية لتقييم أداء الطلاب. تعتمد فعالية نماذج اللغة الكبيرة (LLMs) كمقيمين على قدرتها على تقديم درجات دقيقة تتماشى بشكل وثيق مع تلك التي يقدمها مساعدو التدريس البشريون (TAs). تهدف الدراسة إلى تحديد ما إذا كانت نماذج اللغة الكبيرة يمكن أن تحقق هذا المستوى من الدقة في تقييم تقديمات الطلاب.
بالإضافة إلى ذلك، تؤكد الدراسة على أهمية التغذية الراجعة النوعية، التي تعتبر حاسمة في توجيه الطلاب لتحديد الأخطاء واستكشاف فرص التحسين. ستقوم النتائج بتقييم إمكانية نماذج اللغة الكبيرة ليس فقط لتكرار التقييمات الرقمية ولكن أيضًا لتعزيز تجربة التعلم من خلال التعليقات البناءة على الواجبات.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على مزايا أنظمة التقييم الآلي، لا سيما تلك التي تستخدم نماذج اللغة الكبيرة (LLMs)، في البيئات التعليمية. لا يخفف التقييم الآلي فقط عبء العمل على هيئة التدريس، بل يعزز أيضًا جودة وموثوقية التغذية الراجعة المقدمة للطلاب. تشير الدراسات إلى أن التغذية الراجعة الفورية والبناءة ترتبط بتحسين الأداء الأكاديمي، ويمكن لنماذج اللغة الكبيرة تقديم ذلك بشكل متسق دون التباين المرتبط بالتقييم البشري. تشير الورقة إلى دراسات متنوعة استكشفت نماذج اللغة الكبيرة في سياقات التقييم، مشيرة إلى نتائج مختلطة بشأن فعاليتها، لا سيما في تقييم المقالات.
أجرى المؤلفون دراسة في دورة المعلوماتية الحيوية في جامعة، حيث قارنوا أداء ستة نماذج لغة كبيرة مختلفة ضد مساعدي التدريس البشريين (TAs) في تقييم ردود الطلاب المكتوبة. استخدمت الدراسة تصميمًا عشوائيًا حيث لم يكن الطلاب على علم بما إذا كانت تقديماتهم قد تم تقييمها بواسطة البشر أو نماذج اللغة الكبيرة. تشير النتائج إلى أنه بينما أدت معظم نماذج اللغة الكبيرة بشكل كافٍ، مع دقة تصنيف تتراوح بين 85% إلى 90%، إلا أن نموذج Llama-8B الأصغر أظهر أداءً ضعيفًا بشكل ملحوظ. تشير النتائج إلى أن نماذج اللغة الكبيرة تتماشى عمومًا مع معايير التقييم البشري، لا سيما للأسئلة الأسهل، لكنها تواجه صعوبة مع الردود الأكثر تعقيدًا وذات الطابع المفتوح. يخلص المؤلفون إلى أنه بينما يمكن أن تكون نماذج اللغة الكبيرة أدوات تقييم فعالة، فإن أدائها يختلف حسب حجم النموذج وصعوبة السؤال، مما يشير إلى أن النماذج الأكبر هي المفضلة للتطبيقات التعليمية.
DOI: https://doi.org/10.1093/bioinformatics/btaf196
PMID: https://pubmed.ncbi.nlm.nih.gov/40662811
Publication Date: 2025-04-24
Author(s): Pavlin G. Poličar et al.
Primary Topic: Artificial Intelligence in Education
Overview
This section discusses the implementation and evaluation of large language models (LLMs) for grading written assignments in the Introduction to Bioinformatics course at the University of Ljubljana during the 2024/25 academic year. The motivation behind this study stems from the need for individualized feedback in large classes, which is often impractical due to the time constraints faced by educators. The research highlights that LLMs can effectively provide personalized feedback, thereby enhancing student satisfaction and learning outcomes while reducing the workload for teaching staff. The study involved over 100 students who answered 36 text-based questions, with feedback generated by both LLMs and human teaching assistants (TAs) in a blind format.
The results indicate that LLMs, when guided by well-structured prompts and grading rubrics, can achieve grading accuracy and feedback quality comparable to that of human TAs. Notably, open-source LLMs demonstrated performance on par with commercial models, such as Llama-405Bq4 and GPT-4o, suggesting that universities could feasibly deploy their own grading systems without incurring high costs. The study also acknowledges limitations, including the inherent variability in LLM responses and potential issues with prompt-hacking by students. Despite these challenges, the findings support the broader adoption of LLM-based grading in educational settings, particularly in bioinformatics, and emphasize the importance of robust safeguards to ensure the integrity of the grading process.
Introduction
The introduction highlights the significant impact of large language models (LLMs) in various domains, particularly in education. The accessibility and advanced capabilities of LLMs have encouraged researchers to investigate their potential benefits for both students and educators. Key applications identified include personalized tutoring for students, contextualized exercises aimed at increasing engagement, and automated grading systems for evaluating student submissions. These innovations suggest a transformative role for LLMs in enhancing educational practices and outcomes.
Results
In this section, the research investigates the dual facets of grading—numeric scores and written feedback—essential for evaluating student performance. The effectiveness of large language models (LLMs) as graders hinges on their ability to deliver accurate grades that closely align with those given by human teaching assistants (TAs). The study aims to determine whether LLMs can achieve this level of accuracy in grading student submissions.
Additionally, the research emphasizes the importance of qualitative feedback, which is crucial for guiding students in identifying errors and exploring opportunities for improvement. The findings will assess the potential of LLMs not only to replicate numeric evaluations but also to enhance the learning experience through constructive commentary on assignments.
Discussion
The discussion section of the research paper highlights the advantages of automated grading systems, particularly those utilizing large language models (LLMs), in educational settings. Automated grading not only alleviates the workload of teaching faculty but also enhances the quality and consistency of feedback provided to students. Studies indicate that timely and constructive feedback correlates with improved academic performance, and LLMs can deliver this consistently without the variability associated with human grading. The paper references various studies that have explored LLMs in grading contexts, noting mixed results regarding their effectiveness, particularly in essay grading.
The authors conducted a study in a university bioinformatics course, comparing the performance of six different LLMs against human teaching assistants (TAs) in grading student-written responses. The study employed a randomized design where students were unaware of whether their submissions were graded by humans or LLMs. The findings suggest that while most LLMs performed adequately, with classification accuracies ranging from 85% to 90%, the smaller Llama-8B model exhibited significantly poorer performance. The results indicate that LLMs generally align well with human grading standards, particularly for easier questions, but struggle with more complex, open-ended responses. The authors conclude that while LLMs can serve as effective grading tools, their performance varies with model size and question difficulty, suggesting that larger models are preferable for educational applications.