DOI: https://doi.org/10.3934/steme.2026024
تاريخ النشر: 2026-01-01
المؤلف: Mahmoud Elkhodr وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في التعليم
نظرة عامة
تدرس هذه الدراسة فعالية إطار تدخل الذكاء الاصطناعي التوليدي (GenAI)، وبالتحديد إطار التعليم الموجه بالذكاء الاصطناعي المنظم (SAGE)، في إنتاج أدلة عملية موثوقة خلال التقييمات المنزلية غير المراقبة. كشف تدقيق لـ 25 تقديم جماعي من مجموعات إدارة الأمن السيبراني باستخدام بروتوكول تدقيق SAGE ذي الخمس خطوات أن 12% فقط من التقديمات قدمت سلاسل أدلة قابلة للتدقيق بشكل كبير، دون أن تحقق أي تقديم تتبعًا كاملاً بين مخرجات الذكاء الاصطناعي ومطالب تقييم البشر. تشير النتائج إلى وجود تفاوتات كبيرة بين المحتوى الذي كتبه البشر والمخرجات التي أنشأها الذكاء الاصطناعي، إلى جانب وجود تدرج في الامتثال حيث واجه الطلاب المجتهدون عبء توثيق غير متناسب مقارنةً بأولئك الذين يحاكون الامتثال.
تخلص الورقة إلى أن التقييمات المنزلية غير المراقبة التقليدية غير كافية كأدوات مستقلة لضمان التعلم في سياق GenAI. وتؤكد أن تدرج الامتثال الملحوظ يعكس عدم توافق هيكلي بين تصميم التقييم ومتطلبات الضمان الحالية بدلاً من فشل قدرة الطلاب. لمعالجة ذلك، تدعو الدراسة إلى تضمين خطوة “الدفاع” ضمن إطار SAGE، مما يعزز نهجًا تربويًا منظمًا يشجع الطلاب على التعبير عن تفكيرهم في سياقات لا يمكن محاكاتها بسهولة. يهدف هذا التدخل التصميمي إلى ضمان بقاء التقييمات ذات قيمة لتطوير الكفاءات العليا مع توفير الضمان اللازم لنتائج التعلم في بيئة تعليمية متكاملة بالذكاء الاصطناعي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي للذكاء الاصطناعي التوليدي (GenAI) على التعليم العالي، مع التأكيد على التطور السريع لأدوات الذكاء الاصطناعي منذ إطلاق ChatGPT في أواخر عام 2022. لقد توسعت هذه الأدوات لتشمل إنشاء الوسائط المتعددة، وتطوير البرمجيات، والبحث عبر الويب في الوقت الحقيقي، مما دفع المؤسسات إلى التكيف بسرعة. يجادل المؤلفون بأن دمج الذكاء الاصطناعي في التعليم سيكون قريبًا شائعًا مثل الآلات الحاسبة في الحساب، مما يثير أسئلة حاسمة حول كيفية استعداد المؤسسات لتمكين الطلاب من استخدام هذه التقنيات بشكل مسؤول. كانت استجابات الجامعات متنوعة، حيث ركزت بعض المؤسسات على الامتثال والمراقبة، بينما طورت أخرى أطر حوكمة أو استراتيجيات تربوية لدمج الذكاء الاصطناعي في التعلم.
تقدم الورقة إطار التعليم الموجه بالذكاء الاصطناعي المنظم (SAGE)، المصمم لتمكين الطلاب من التفاعل مع الذكاء الاصطناعي كمتعاونين بدلاً من مجرد مولدات للمخرجات. يتكون SAGE من دورة من خمس خطوات: توليد، تقييم، تحسين، ناقد الذكاء الاصطناعي، وتأمل، يتم تنفيذها من خلال ممارسة مدعومة وتقييمات مستقلة. يورد المؤلفون نتائج من تدقيق منهجي لـ 25 تقديم جماعي عبر وحدتين لإدارة الأمن السيبراني، كاشفين أن 12% فقط من التقديمات قدمت أدلة كبيرة على المشاركة الحقيقية للطلاب. تحدد الدراسة “تدرج الامتثال”، حيث يواجه الطلاب المجتهدون عبء توثيق أكبر مقارنةً بأولئك الذين يحاكون الامتثال. يسلط هذا الضوء على قضية أوسع في التقييمات غير المراقبة التي تعتمد على أدلة العملية المبلغ عنها ذاتيًا في بيئة مدعومة بالذكاء الاصطناعي. تهدف الورقة إلى المساهمة في النقاش حول دمج الذكاء الاصطناعي في التعليم من خلال اقتراح بروتوكول تدقيق قابل للتكرار ومعالجة التحديات المتعلقة بضمان المشاركة الحقيقية للطلاب في التقييمات.
الطرق
استخدمت الدراسة تصميمًا كميًا للتحقيق في الفرضيات المحددة. تم جمع البيانات من خلال استبيانات منظمة تم إدارتها لعينة تمثيلية من المشاركين، مما يضمن تنوعًا ديموغرافيًا لتعزيز قابلية تعميم النتائج. تم استخدام تحليلات إحصائية، بما في ذلك نماذج الانحدار وتحليل التباين (ANOVA)، لفحص العلاقات بين المتغيرات واختبار دلالة النتائج.
بالإضافة إلى ذلك، نفذت الدراسة بروتوكولات صارمة للتحقق من صحة البيانات وفحوصات الموثوقية، مما يضمن دقة القياسات. تم تصميم الطرق لتقليل التحيز والتحكم في المتغيرات المربكة، مما يعزز صحة الاستنتاجات المستخلصة من التحليل. بشكل عام، قدم الإطار المنهجي أساسًا قويًا لمعالجة أسئلة البحث وساهم في موثوقية النتائج.
النتائج
كشف التدقيق عن خمسة مواضيع رئيسية، مدعومة بأمثلة من مجموعة بيانات غير محددة الهوية، كما هو ملخص في الجدول 1. من بين 125 فحصًا فرديًا تم إجراؤها عبر 25 تقديمًا، تم اجتياز 17 فحصًا (14%) بالكامل، بينما تم اعتبار 44 فحصًا (35%) جزئيًا، وفشل 64 فحصًا (51%). من الجدير بالذكر أن 3 فقط من أصل 25 تقديمًا (12%) أظهرت سلاسل أدلة كانت قابلة للتدقيق بشكل كبير. سلط التحليل الضوء على أن الامتثال للتتبع الكامل (C2) كان ناقصًا بشكل خاص، حيث لم تحقق أي تقديمات درجة اجتياز في هذا البعد.
المناقشة
تنتقد قسم المناقشة في الدراسة فعالية طرق التقييم غير المراقبة الحالية في التعليم العالي، خاصة في سياق دمج أدوات الذكاء الاصطناعي التوليدي (GenAI). بينما تهدف أطر مثل SAGE إلى تعزيز وضوح التفكير المدعوم بالذكاء الاصطناعي من خلال نهج تربوي منظم، تشير النتائج إلى أن الأدلة التي تم إنتاجها تحت هذه الأطر غالبًا ما تكون صعبة التحقق. تبرز الدراسة قضايا كبيرة مثل فشل التتبع، والتناقضات المنطقية بين تقديمات الطلاب ومخرجات الذكاء الاصطناعي، وانتشار النصوص الموجهة نحو الامتثال في التأملات التقييمية. تشير هذه التحديات إلى أن افتراض التقييمات المفتوحة كمؤشرات موثوقة للتعلم الحقيقي للطلاب أصبح بشكل متزايد معيبًا في عصر GenAI.
علاوة على ذلك، تكشف الدراسة عن تدرج مقلق في الامتثال حيث يواجه الطلاب الذين يوثقون تفاعلاتهم مع الذكاء الاصطناعي عبء عمل أكبر وعقوبات محتملة مقارنةً بأولئك الذين يقدمون أعمالًا أقل صرامة. يثير هذا التفاوت أسئلة حول عدالة وفعالية ممارسات التقييم، مما يبرز الحاجة إلى تصميمات تدمج الضمان ضمن عملية التعلم نفسها. تدعو النتائج إلى التحول بعيدًا عن طرق التقييم التقليدية، مما يحث على تطوير نهج مبتكرة تسمح بتفكير الطلاب القابل للرؤية والتفسير والدفاع، مما يعزز نزاهة التقييمات الأكاديمية في مواجهة التحديات التكنولوجية المتطورة.
القيود
تقدم الدراسة عدة قيود يجب أخذها في الاعتبار عند تفسير نتائجها. أولاً، تستند الدراسة إلى مجموعتين صغيرتين من مؤسسة واحدة، تشمل فقط 25 تقديمًا جماعيًا وحوالي 100 طالب. وبالتالي، فإن النتائج خاصة بالمجموعات ويجب تعميمها بحذر. بالإضافة إلى ذلك، يعتمد التحليل فقط على مستندات الأدلة وفحوصات الاتساق الداخلي، مما يحد من القدرة على ملاحظة سلوك المسودة، وتسلسل إنتاج المستندات، أو النية وراء القرارات. للحصول على رؤى أعمق حول الآليات السلوكية المعنية، ستكون هناك حاجة إلى طرق إضافية مثل مقابلات الطلاب أو تسجيلات الشاشة.
علاوة على ذلك، فإن طبيعة العمل الجماعي تعقد نسبة المساهمات الفردية إلى التقديم الكلي. نظرًا لأن كل تقديم يتم إنتاجه بواسطة مجموعة من أربعة طلاب، قد تنشأ التناقضات من انحرافات فردية بدلاً من قرارات جماعية. يقدم الدور المزدوج للمصحح، الذي كان أيضًا مصمم التقييم والمطور الرئيسي لإطار SAGE، تحيزًا محتملاً في التفسير، حيث قد يطبق المصحح تدقيقًا مختلفًا عن مقيم مستقل. أخيرًا، لا تؤسس الدراسة علاقة مباشرة بين موثوقية عملية التوثيق والكفاءة الفردية، حيث إن وجود سلسلة تدقيق كاملة لا يعني بالضرورة قدرة أعلى بين أعضاء المجموعة. يجب أن تعالج الأبحاث المستقبلية هذه القيود من خلال دمج الترميز المستقل، ومقابلات الطلاب، وقياسات الأداء الآمنة لفهم العلاقة بين توثيق العملية والأداء الفردي بشكل أفضل. على الرغم من هذه القيود، فإن أنماط الفشل المحددة هي هيكلية، تنشأ من تفاعل الظروف غير المراقبة، وأدوات الذكاء الاصطناعي المتقدمة، والأدلة المبلغ عنها ذاتيًا.
DOI: https://doi.org/10.3934/steme.2026024
Publication Date: 2026-01-01
Author(s): Mahmoud Elkhodr et al.
Primary Topic: Artificial Intelligence in Education
Overview
This study investigates the effectiveness of a generative artificial intelligence (GenAI) intervention framework, specifically the Structured AI-Guided Education (SAGE) framework, in producing reliable process evidence during unsupervised take-home assessments. An audit of 25 group submissions from cybersecurity management cohorts using the five-check SAGE Audit Protocol revealed that only 12% of submissions provided substantially auditable evidence chains, with no submission achieving full traceability between AI outputs and human evaluation claims. The findings indicate significant discrepancies between human-authored content and AI-generated outputs, alongside a compliance gradient where diligent students faced a disproportionate documentation burden compared to those simulating compliance.
The paper concludes that conventional unsupervised take-home assessments are inadequate as standalone instruments of learning assurance in the GenAI context. It emphasizes that the observed compliance gradient reflects a structural misalignment between assessment design and current assurance requirements rather than a failure of student capability. To address this, the study advocates for embedding a “Defend” step within the SAGE framework, promoting a structured pedagogical approach that encourages students to articulate their reasoning in contexts that cannot be easily simulated. This design intervention aims to ensure that assessments remain valuable for developing higher-order competencies while providing the necessary assurance of learning outcomes in an AI-integrated educational landscape.
Introduction
The introduction of this research paper highlights the transformative impact of generative artificial intelligence (GenAI) on higher education, emphasizing the rapid evolution of AI tools since the launch of ChatGPT in late 2022. These tools have expanded beyond text generation to include multimedia creation, software development, and real-time web searching, prompting institutions to adapt quickly. The authors argue that the integration of AI in education will soon be as commonplace as calculators in arithmetic, raising critical questions about how institutions will prepare students to use these technologies responsibly. Responses from universities have varied, with some focusing on compliance and monitoring, while others have developed governance frameworks or pedagogical strategies to incorporate AI into learning.
The paper introduces the Structured AI-Guided Education (SAGE) framework, designed to empower students to engage with AI as collaborators rather than mere output generators. SAGE consists of a five-step cycle: Generate, Evaluate, Refine, AI Critic, and Reflect, enacted through scaffolded practice and independent assessments. The authors report findings from a systematic audit of 25 group submissions across two cybersecurity management units, revealing that only 12% of submissions provided substantial evidence of authentic student engagement. The study identifies a “compliance gradient,” where diligent students face a heavier documentation burden compared to those who simulate compliance. This highlights a broader issue in unsupervised assessments that rely on self-reported process evidence in an AI-enabled environment. The paper aims to contribute to the discourse on AI integration in education by proposing a replicable audit protocol and addressing the challenges of ensuring authentic student engagement in assessments.
Methods
The research employed a quantitative design to investigate the specified hypotheses. Data collection was conducted through structured surveys administered to a representative sample of participants, ensuring a diverse demographic to enhance the generalizability of the findings. Statistical analyses, including regression models and ANOVA, were utilized to examine the relationships between variables and to test the significance of the results.
Additionally, the study implemented rigorous protocols for data validation and reliability checks, ensuring the accuracy of the measurements. The methods were designed to minimize bias and control for confounding variables, thereby strengthening the validity of the conclusions drawn from the analysis. Overall, the methodological framework provided a robust basis for addressing the research questions and contributed to the reliability of the findings.
Results
The audit revealed five key themes, supported by examples from a de-identified dataset, as summarized in Table 1. Out of 125 individual checks conducted across 25 submissions, only 17 checks (14%) were fully passed, while 44 checks (35%) were deemed partial, and 64 checks (51%) failed. Notably, only 3 out of the 25 submissions (12%) demonstrated evidence chains that were substantially auditable. The analysis highlighted that compliance with Full Traceability (C2) was particularly deficient, with no submissions achieving a passing score in this dimension.
Discussion
The discussion section of the study critiques the effectiveness of current unsupervised assessment methods in higher education, particularly in the context of integrating Generative AI (GenAI) tools. While frameworks like SAGE aim to enhance the visibility of AI-supported reasoning through structured pedagogical approaches, the findings indicate that the evidence produced under these frameworks is often difficult to verify. The study highlights significant issues such as traceability failures, logical inconsistencies between student submissions and AI outputs, and the prevalence of compliance-oriented text in evaluative reflections. These challenges suggest that the assumption of open assessments as reliable indicators of authentic student learning is increasingly flawed in the GenAI era.
Moreover, the study reveals a concerning compliance gradient where students who diligently document their AI interactions face a heavier workload and potential penalties compared to those who submit less rigorous work. This disparity raises questions about the fairness and effectiveness of assessment practices, emphasizing the need for designs that embed assurance within the learning process itself. The findings advocate for a shift away from traditional assessment methods, urging the development of innovative approaches that allow for observable, explainable, and defensible student reasoning, thereby enhancing the integrity of academic evaluations in the face of evolving technological challenges.
Limitations
The study presents several limitations that must be considered when interpreting its findings. Firstly, the research is based on two small cohorts from a single institution, encompassing only 25 group submissions and approximately 100 students. Consequently, the results are cohort-specific and should be generalized with caution. Additionally, the analysis relies solely on document artifacts and internal consistency checks, which limits the ability to observe drafting behavior, sequence of document production, or the intent behind decisions. To gain deeper insights into the behavioral mechanisms at play, supplementary methods such as student interviews or screen recordings would be necessary.
Moreover, the nature of group work complicates the attribution of individual contributions to the overall submission. Since each submission is produced by a group of four students, inconsistencies may stem from individual deviations rather than collective decisions. The dual role of the marker, who was also the assessment designer and lead developer of the SAGE framework, introduces potential bias in interpretation, as the marker may apply scrutiny differently than an independent evaluator. Lastly, the study does not establish a direct correlation between documented process fidelity and individual competence, as the presence of a complete audit chain does not necessarily indicate higher capability among group members. Future research should address these limitations by incorporating independent coding, student interviews, and secure performance measures to better understand the relationship between process documentation and individual performance. Despite these constraints, the identified failure modes are structural, arising from the interplay of unsupervised conditions, advanced AI tools, and self-reported evidence.