DOI: https://doi.org/10.18653/v1/2025.naacl-long.520
تاريخ النشر: 2025-01-01
المؤلف: Zheyuan Zhang وآخرون
الموضوع الرئيسي: أنظمة متعددة الوكلاء والتفاوض
نظرة عامة
في هذا البحث، يقدم المؤلفون SimClass، وهو إطار محاكاة فصول دراسية متعدد الوكلاء جديد يستخدم نماذج اللغة الكبيرة (LLMs) لتعزيز التجارب التعليمية. على عكس الدراسات السابقة التي ركزت على تطبيقات LLM المعزولة، يعمل SimClass ضمن إطار تعاوني يحاكي بيئة الفصل الدراسي مع مشاركة حقيقية من المستخدمين. يتضمن الإطار أدوار صفية تمثيلية وآلية تحكم فريدة للفصل للتعليم الآلي. تكشف التجارب التي أجريت مع المستخدمين في دورتين دراسيتين حقيقيتين أن LLMs يمكن أن تخلق بفعالية جو تعلم ديناميكي، مما يسهل التفاعلات النشطة بين المعلمين والطلاب، وكذلك بين الطلاب أنفسهم. تستند النتائج إلى نظام تحليل فlanders التفاعلي وإطارات نظرية مجتمع الاستفسار، مما يبرز إمكانية LLMs في تحسين النتائج التعليمية من خلال تعزيز المشاركة.
تشير النتائج إلى أن وكلاء الزملاء وتفاعلاتهم تعزز بشكل كبير تجربة التعلم داخل SimClass، مما يعزز مشاركة الطلاب ويعزز الإحساس بالوجود المعرفي والاجتماعي. يستنتج المؤلفون أن إعداد الوكلاء المتعددين لا يحسن فقط من تفاعل المستخدمين ولكن يؤدي أيضًا إلى نتائج تعلم أفضل. يدعون إلى مزيد من الاستكشاف لأنظمة التعليم المدعومة بـ LLM، بهدف إلهام الباحثين والممارسين والمعلمين في هذا المجال. تنفيذ SimClass متاح للجمهور على https://github.com/THU-MAIC/SimClass.
مقدمة
تستعرض المقدمة تطور الذكاء الاصطناعي في التعليم، متتبعة جذوره إلى أنظمة التعليم الذكي (ITS) وتسلط الضوء على التقدم في أدوات التعليم الشخصية، مثل أنظمة التوصية والمساعدين التعليميين المدعومين بالذكاء الاصطناعي. تحول التركيز نحو الاستفادة من نماذج اللغة الكبيرة (LLMs) لإنشاء محاكاة فصول دراسية متعددة الوكلاء تعزز كل من التجارب التعليمية المعرفية والاجتماعية. تهدف هذه المقاربة إلى تجاوز النماذج التعليمية التقليدية من خلال تعزيز بيئات التعلم التعاونية.
يحدد المؤلفون أسئلة بحثية حاسمة تتعلق بفعالية هذه الأنظمة متعددة الوكلاء، تحديدًا من حيث أداء المحاكاة، وتجارب تعلم الطلاب، والسلوكيات الجماعية الناشئة. لمعالجة هذه الأسئلة، يقدم البحث SimClass، وهو إطار محاكاة فصول دراسية متعددة الوكلاء، ويستعرض تجارب حقيقية تشمل أكثر من 400 طالب. يتضمن الدراسة تصميم أدوار صفية تمثيلية وآلية تحكم جديدة للفصل، إلى جانب جمع بيانات سلوكية من تفاعلات الطلاب والتقييمات. بالإضافة إلى ذلك، تم إجراء دراسات إلغاء مع 48 طالبًا لاستكشاف إعدادات الفصل المختلفة، مما يساهم في فهم شامل لقدرات الإطار وآثاره على الممارسة التعليمية.
الطرق
في هذا القسم، يحدد المؤلفون إعداد التجربة لدراستهم، والتي تشمل دورتين متميزتين: TAGI (نحو الذكاء العام الاصطناعي) و HSU (كيفية الدراسة في الجامعة). تتكون TAGI من ستة فصول تركز على تطوير الذكاء الاصطناعي ونماذج اللغة، بينما تتضمن HSU سبعة فصول مخصصة للمهارات الأكاديمية، وإدارة الضغوط، والتواصل، وتحقيق الذات. على الرغم من أن كلا الدورتين تستخدمان شرائح منظمة ونصوص تعليمية، فإن TAGI تعطي الأولوية لاكتساب المعرفة، بينما تركز HSU على تطوير المهارات.
يستخدم المؤلفون GLM-4 كنموذج اللغة الكبير الرئيسي (LLM) لكل من أدوار الفصل ووكيل الإدارة، الذي تم اختياره لفعاليته من حيث التكلفة وقدرته على التعامل مع التزامن في بيئة عبر الإنترنت. لاستكشاف آثار أدوار الفصل، يقومون بتنفيذ ثلاثة أنظمة إلغاء حيث يتم استبدال النموذج بـ GPT-4V. يعكس النظام الأول الإعداد الأصلي، بينما يستبعد النظام الثاني وكلاء الزملاء (محتفظًا فقط بالمعلم والمساعد)، ويزيل النظام الثالث كل من وكلاء الزملاء ومدخلات المستخدم، مما يسمح للمعلم بإلقاء محاضرات دون انقطاع. من الجدير بالذكر أن كلا من LLMs قادران على إجراء الدورات بفعالية دون الحاجة إلى تغييرات في مطالبات الوكلاء.
النتائج
يقدم قسم النتائج في ورقة البحث نتائج من نظام SimClass عبر الإنترنت، مع التركيز على تفاعلات الطلاب ونتائج التعلم. تكشف التحليلات أن وجود وكلاء الزملاء يعزز بشكل كبير من تفاعل المستخدم، كما يتضح من الزيادة الملحوظة في طول الكلام أثناء التفاعلات. على وجه التحديد، تشير دراسة الإلغاء إلى أن إزالة هؤلاء الوكلاء تؤدي إلى تقليل طول كلام المستخدم عبر كلا الدورتين، مما يشير إلى دورهم في تعزيز المحادثات الأطول. تتوفر تفاصيل إضافية بشأن أداء الوكلاء الآخرين وأنظمة الإلغاء في الملحق C.3.
علاوة على ذلك، يناقش القسم نتائج التعلم من دورة HSU، التي استخدمت التحليل النوعي من خلال استبيانات ذاتية. على عكس النهج الكمي لدورة TAGI، قدم طلاب HSU تقارير ذاتية عن التعلم مجهولة الهوية تسلط الضوء على ثلاثة مجالات رئيسية للتطوير: تحديد أهداف التطوير الأكاديمي، وحل المشكلات، والتنمية الشخصية. تؤكد هذه النتائج على التأثيرات المتنوعة لاستراتيجيات التعليم المختلفة على تعلم الطلاب وتفاعلهم.
المناقشة
في قسم المناقشة من ورقة البحث، يقيم المؤلفون فعالية نظام SimClass متعدد الوكلاء باستخدام نظام تحليل التفاعل Flanders ونظرية مجتمع الاستفسار. يحددون ثلاث نتائج رئيسية: (1) **الأداء**: يعزز SimClass بيئة تعلم جذابة تتميز بتفاعلات ديناميكية بين المعلمين والطلاب؛ (2) **التجربة**: تؤدي التفاعلات المتزايدة إلى تحسين الاحتفاظ بالمعرفة وتفاعل المستخدم، مع تعزيز عدة وكلاء للإحساس بالوجود؛ (3) **السلوك**: تعزز آلية التحكم بشكل فعال التعليم التعاوني، والمناقشات، والدعم العاطفي، وإدارة الفصل. تشير النتائج إلى أن النظام متعدد الوكلاء القائم على LLM يحمل وعدًا كبيرًا للتطبيقات التعليمية، مما يمثل خطوة رائدة في محاكاة ديناميات الفصل الدراسي.
كما يبرز المؤلفون أهمية التفاعلات الصفية، مشيرين إلى أن وجود وكلاء الزملاء يعزز بشكل كبير من الوجود المعرفي والاجتماعي، مما يحسن تجربة المستخدم. يؤكدون أنه بينما يمكن أن يغني النظام متعدد الوكلاء التعلم، إلا أنه لا يمكن أن يحل محل المعلمين البشريين أو المهارات الاجتماعية التي تتطور من خلال تفاعلات الأقران. يتم تناول الاعتبارات الأخلاقية، بما في ذلك الحاجة إلى الموافقة المستنيرة والانحيازات المحتملة التي قد يقدمها الذكاء الاصطناعي في السياقات التعليمية. بشكل عام، تسلط الدراسة الضوء على إمكانيات أدوات التعليم المدفوعة بالذكاء الاصطناعي مع الاعتراف بالدور الذي لا يمكن الاستغناء عنه للمعلمين البشريين في تعزيز التنمية الشاملة للطلاب.
القيود
تستعرض ورقة البحث عدة قيود للنظام الحالي الذي يتم تطويره لمحاكاة أدوار الفصل باستخدام نماذج اللغة الكبيرة (LLMs). أولاً، تؤدي الاعتماد على LLMs لإدارة أدوار الوكلاء والفصل إلى تأخيرات في الاستجابة، خاصة في السيناريوهات متعددة الوكلاء، مما قد يؤثر سلبًا على تجربة المستخدم. قد تستفيد النسخ المستقبلية من دمج نماذج ذات أداء أعلى للتخفيف من هذه المشكلة. بالإضافة إلى ذلك، تعتمد الإطار على أزواج الشرائح والنصوص المصممة من قبل المعلم، مما يتطلب الأتمتة لتبسيط العملية. كما أن النظام الحالي يحتوي على مجموعة محدودة من وظائف التعليم، مما يقيد فعاليته؛ وبالتالي، يمكن أن تتضمن التحسينات المستقبلية تفاعلات صفية متنوعة وتقنيات متقدمة مثل الجيل المعزز بالاسترجاع (RAG) لتحسين دقة المعرفة وتخصيص استجابات الوكلاء.
علاوة على ذلك، كانت التجارب التي أجريت محدودة في النطاق بسبب قيود التكلفة والوقت، حيث شملت اختيارًا ضيقًا من الدورات والنماذج والاختبارات والمشاركين. هذا يقيد إمكانية تعميم النتائج، التي تستند إلى مجموعة متجانسة من الطلاب على مستوى الجامعة. يجب أن تهدف الأبحاث المستقبلية إلى تقييم أكثر شمولاً من خلال تضمين مجموعة أوسع من الدورات، وشخصيات وكلاء متنوعة، ومجموعة أكبر وأكثر تنوعًا من المشاركين، مع التركيز بشكل خاص على المجموعات المهمشة والأفراد ذوي الإعاقات التعليمية لتعزيز العدالة التعليمية. تهدف هذه الأعمال إلى المساهمة في النقاش المستمر حول تطبيق LLMs في البيئات التعليمية.
DOI: https://doi.org/10.18653/v1/2025.naacl-long.520
Publication Date: 2025-01-01
Author(s): Zheyuan Zhang et al.
Primary Topic: Multi-Agent Systems and Negotiation
Overview
In this research, the authors present SimClass, a novel multi-agent classroom simulation framework that utilizes large language models (LLMs) to enhance educational experiences. Unlike previous studies that focused on isolated LLM applications, SimClass operates within a collaborative framework that simulates a classroom environment with real user participation. The framework incorporates representative class roles and a unique class control mechanism for automated teaching. User experiments conducted in two real-world courses reveal that LLMs can effectively create a dynamic learning atmosphere, facilitating active interactions between teachers and students, as well as among students themselves. The findings are grounded in the Flanders Interactive Analysis System and Community of Inquiry theoretical frameworks, highlighting the potential of LLMs to improve educational outcomes through enriched engagement.
The results indicate that both classmate agents and their interactions significantly enhance the learning experience within SimClass, promoting greater student participation and fostering a sense of Cognitive and Social Presence. The authors conclude that the multi-agent setup not only improves user engagement but also leads to better learning outcomes. They advocate for further exploration of LLM-empowered educational systems, aiming to inspire researchers, practitioners, and educators in the field. The implementation of SimClass is publicly available at https://github.com/THU-MAIC/SimClass.
Introduction
The introduction outlines the evolution of artificial intelligence in education, tracing its roots back to Intelligent Tutoring Systems (ITS) and highlighting advancements in personalized educational tools, such as recommendation systems and AI-driven teaching assistants. The focus has shifted towards leveraging large language models (LLMs) to create multi-agent classroom simulations that enhance both cognitive and social learning experiences. This approach aims to transcend traditional educational paradigms by fostering collaborative learning environments.
The authors identify critical research questions regarding the effectiveness of these multi-agent systems, specifically in terms of simulation performance, student learning experiences, and emergent group behaviors. To address these questions, the paper introduces SimClass, a multi-agent classroom simulation framework, and details real-world experiments involving over 400 students. The study includes the design of representative class roles and a novel class control mechanism, alongside the collection of behavioral data from student interactions and assessments. Additionally, ablation studies with 48 students are conducted to explore various classroom settings, contributing to a comprehensive understanding of the framework’s capabilities and implications for educational practice.
Methods
In this section, the authors outline the experimental setup for their study, which involves two distinct courses: TAGI (Towards Artificial General Intelligence) and HSU (How to Study at University). TAGI consists of six chapters focused on AI development and language models, while HSU includes seven chapters dedicated to academic skills, stress management, communication, and self-fulfillment. Although both courses utilize structured slides and teaching scripts, TAGI prioritizes knowledge acquisition, whereas HSU emphasizes skill development.
The authors employ GLM-4 as the primary large language model (LLM) for both the Class Roles and Manager Agent, chosen for its cost-effectiveness and ability to handle concurrency in an online environment. To investigate the effects of class roles, they implement three ablation systems where the model is substituted with GPT-4V. The first system mirrors the original setup, the second excludes classmate agents (keeping only the teacher and assistant), and the third eliminates both classmate agents and user input, allowing the teacher to deliver uninterrupted lectures. Notably, both LLMs are capable of effectively conducting the courses without necessitating changes to the agent prompts.
Results
The results section of the research paper presents findings from the SimClass online system, focusing on student interactions and learning outcomes. The analysis reveals that the presence of classmate agents significantly enhances user engagement, as evidenced by a marked increase in speech length during interactions. Specifically, the ablation study indicates that removing these agents leads to a reduction in user speech length across both courses, suggesting their role in fostering longer conversations. Additional details regarding the performance of other agents and the ablation systems are available in Appendix C.3.
Furthermore, the section discusses the learning outcomes from the HSU course, which utilized qualitative analysis through self-reported surveys. In contrast to the quantitative approach of the TAGI course, HSU students provided anonymized self-learning reports that highlighted three key areas of development: Setting Academic Development Objectives, Problem Solving, and Personal Development. These findings underscore the varied impacts of different instructional strategies on student learning and engagement.
Discussion
In the discussion section of the research paper, the authors evaluate the effectiveness of the SimClass multi-agent system using the Flanders Interaction Analysis System and the Community of Inquiry theory. They identify three key outcomes: (1) **Performance**: SimClass promotes an engaging learning environment characterized by dynamic interactions among teachers and students; (2) **Experience**: Increased interactions lead to better knowledge retention and user engagement, with multiple agents enhancing the sense of presence; (3) **Behavior**: The control mechanism effectively fosters collaborative teaching, discussions, emotional support, and classroom management. The findings suggest that the LLM-based multi-agent system holds significant promise for educational applications, marking a pioneering step in simulating classroom dynamics.
The authors also highlight the importance of classroom interactions, noting that the presence of classmate agents significantly enhances cognitive and social presence, thereby improving user experience. They emphasize that while the multi-agent system can enrich learning, it cannot fully replace human teachers or the social skills developed through peer interactions. Ethical considerations are addressed, including the need for informed consent and the potential biases introduced by AI in educational contexts. Overall, the study underscores the potential of AI-driven educational tools while acknowledging the irreplaceable role of human educators in fostering holistic student development.
Limitations
The research paper outlines several limitations of the current system being developed for simulating classroom roles using large language models (LLMs). Firstly, the reliance on LLMs for managing agent and class roles results in response delays, particularly in multi-agent scenarios, which can detract from user experience. Future iterations may benefit from integrating higher-performance models to mitigate this issue. Additionally, the framework’s dependence on teacher-designed slide-script pairs necessitates automation to streamline the process. The current system also features a limited array of teaching functions, constraining its effectiveness; thus, future enhancements could incorporate diverse classroom interactions and advanced technologies such as retrieval-augmented generation (RAG) to improve knowledge accuracy and personalize agent responses.
Moreover, the experiments conducted were limited in scope due to constraints in cost and time, involving a narrow selection of courses, models, quizzes, and participants. This restricts the generalizability of the findings, which are based on a homogeneous group of university-level students. Future research should aim for a more comprehensive evaluation by including a wider variety of courses, diverse agent personas, and a larger, more varied participant pool, particularly focusing on marginalized groups and individuals with learning disabilities to promote educational equity. This work aims to contribute to the ongoing discourse on the application of LLMs in educational settings.