هل يقود الذكاء الاصطناعي، أم يقود البشر، أم يتعاونون؟ نتائج تجريبية وخارطة طريق SAGE لدمج الذكاء الاصطناعي التوليدي في تعليم تحليل وتصميم الأنظمة AI leads, humans lead, or collaborate? Empirical findings and the SAGE roadmap for embedding GenAI in systems analysis and design education

شارك:
المجلة: STEM Education، المجلد: 6، العدد: 2
DOI: https://doi.org/10.3934/steme.2026009
تاريخ النشر: 2026-01-01
المؤلف: Mahmoud Elkhodr وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في التعليم

نظرة عامة

تستكشف هذه الورقة البحثية دمج الذكاء الاصطناعي التوليدي ضمن تعليم تحليل وتصميم الأنظمة، مع التركيز على تطوير كفاءات التنسيق – المهارات التي تمكن الطلاب من تقييم وتكييف ودمج مخرجات الذكاء الاصطناعي مع الحكم البشري. باستخدام إطار عمل SAGE (التعليم الموجه بالذكاء الاصطناعي المنظم)، أجريت الدراسة ثلاثة تقييمات تجريبية عبر مجموعات مختلفة، كاشفة أن الغالبية العظمى (84%) من الطلاب أظهرت استخدامًا انتقائيًا ومبررًا للذكاء الاصطناعي، ومع ذلك لم يحقق أي منهم مستوى الخبرة في التركيب. ومن الجدير بالذكر أنه بينما اعترف الطلاب باحتياجات الوصول في متطلبات المستخدم وتصميمات الواجهة، إلا أنهم أغفلوا إلى حد كبير هذه الاعتبارات في مخططات هندسة النظام، مما يشير إلى أن مثل هذه الكفاءات تتطلب تحفيزًا مستمرًا بدلاً من النقل التلقائي بين المهام.

تشير النتائج إلى أن الطلاب غالبًا ما يصلون إلى مستوى متوسط من التنسيق، حيث يمكنهم تحسين مخرجات الذكاء الاصطناعي ولكنهم يكافحون لتحديها بشكل نقدي أو الابتكار بما يتجاوزها. تؤكد الورقة على أن معرفة الذكاء الاصطناعي الفعالة في التعليم المهني تتجاوز مجرد هندسة المطالبات؛ بل تتطلب تعزيز التقييم النقدي المنضبط والثقة في تجاوز مخرجات الذكاء الاصطناعي عند الضرورة. لتعزيز مهارات التنسيق، يوصي المؤلفون بمهام تقييم تعزز التفكير المرئي وتكافئ التعديلات المبررة. كما يسلطون الضوء على مجالات محددة للتحسين في المخرجات التي تم إنشاؤها بواسطة الذكاء الاصطناعي، مثل تصنيف حدود النظام واكتمال دورة حياة البيانات، موصين بإدماج اعتبارات الوصول والهياكل المنظمة في الممارسات التعليمية.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على التكامل السريع للذكاء الاصطناعي التوليدي (GenAI) في التعليم العالي، مع التأكيد بشكل خاص على الحاجة إلى أطر قائمة على الأدلة تعالج كفاءات التنسيق الخاصة بالتخصص. تتضمن هذه الكفاءات القدرة على تقييم وتكييف ودمج المخرجات التي تم إنشاؤها بواسطة الذكاء الاصطناعي مع الحكم البشري، وهو أمر حاسم لمحللي الأنظمة الذين يجب عليهم التنقل بين متطلبات أصحاب المصلحة المعقدة والتفسيرات الخوارزمية. تنتقد الورقة المبادرات الحالية للمعرفة العامة بالذكاء الاصطناعي لعدم كفايتها في معالجة التحديات الفريدة التي تواجه تعليم تحليل وتصميم الأنظمة، حيث تكون المفاوضات الذاتية بين أصحاب المصلحة والأحكام المعتمدة على السياق شائعة.

لمعالجة هذه الفجوات، يقترح المؤلفون إطار عمل SAGE (التعليم الموجه بالذكاء الاصطناعي المنظم)، الذي تم التحقق منه في البداية في تعليم الأمن السيبراني، ويمتد إلى تحليل الأنظمة. يتضمن هذا الإطار مقاييس قابلة للقياس في عمل الطلاب، ويقوم بتوحيد المكونات التعليمية للتكرار عبر الحرم الجامعي، ويختلف مستويات الدعم كاستراتيجية تربوية. توضح الدراسة ثلاثة تقييمات تجريبية – تركيب المتطلبات، تصحيح النمذجة الرسمية، وتقييم التصميم – المدمجة ضمن مهام حقيقية لتطوير كفاءات تنسيق الذكاء الاصطناعي. أسفر تنفيذ SAGE عبر عدة حرم جامعي عن رؤى حول استراتيجيات تربوية فعالة، مما يظهر أن دمج GenAI المنظم يعزز مهارات التقييم النقدي ويضع الذكاء الاصطناعي كشريك تعاوني بدلاً من مجرد أداة. تهدف الورقة إلى تقديم إرشادات قابلة للتنفيذ للمعلمين ومصممي المناهج، مما يساهم في فهم أكثر دقة لدور GenAI في التعليم الفني.

الطرق

تستخدم الدراسة إطار عمل SAGE (التعليم الموجه بالذكاء الاصطناعي المنظم)، الذي تم تطويره في الأصل لتعليم الأمن السيبراني، لتعزيز كفاءات تحليل وتصميم الأنظمة. يتم هيكلة الإطار في تقدم من مرحلتين: تتكون المرحلة الأولى من دروس مدعومة على مدى ستة أسابيع، تركز على التقييم النقدي من خلال دورات متكررة من التوليد والتحليل والتركيب والتفكير. تشمل المرحلة الثانية تقييمات تجريبية تُجرى في الأسابيع 8 و10 و12، والتي تخدم أغراضًا متعددة: تعزيز تطوير المهارات التربوية، وتقديم تقييمات نهائية، وتسهيل البحث التجريبي. تستخدم هذه التقييمات مطالبات موحدة، ومصفوفات قرار منظمة، ومقاييس مضمنة لقياس الكفاءة.

يتم تعريف نموذج الكفاءة عبر ثلاثة أبعاد: التفكيك التحليلي، التطبيق السياقي، والتركيب الانعكاسي، مع توفر تعريفات مفصلة في الملحق أ. تشمل المكونات التجريبية ثلاثة تقييمات مصممة لتجسيد كفاءات SAGE من خلال بروتوكولات محددة المجال التي تعالج تركيب المتطلبات، وتصحيح النمذجة الرسمية، وتقييم التصميم. يتضمن كل تقييم تجارب محكومة ضمن مهام تحليل الأنظمة الحقيقية، مما يمكّن من جمع بيانات منهجية من خلال أدوات قياس موحدة.

النتائج

يقدم قسم “النتائج” في الورقة البحثية النتائج الرئيسية المستمدة من التجارب أو التحليلات التي تم إجراؤها. يوضح نتائج الاختبارات المختلفة، مع تسليط الضوء على الاتجاهات والأنماط المهمة التي لوحظت في البيانات. عادةً ما تكون النتائج مصحوبة بتحليلات إحصائية ذات صلة، بما في ذلك قيم p وفترات الثقة، التي تتحقق من النتائج.

بالإضافة إلى ذلك، قد يتضمن القسم تمثيلات بيانية، مثل المخططات أو الرسوم البيانية، لتوضيح العلاقات بين المتغيرات أو فعالية التدخلات. تعزز هذه المساعدات البصرية من وضوح النتائج وتساعد في فهم أفضل للظواهر الأساسية. بشكل عام، تسهم النتائج في الآثار الأوسع للبحث، مما يشير إلى تطبيقات محتملة أو مجالات لمزيد من التحقيق.

المناقشة

تضع قسم المناقشة في الورقة البحثية إطار عمل SAGE ضمن ثلاثة مجالات بحث رئيسية: أطر معرفة الذكاء الاصطناعي العامة، وطرق الدمج الخاصة بالمجال، وخاصة في الأمن السيبراني، ومنهجيات التقييم كبحث. تسلط الضوء على الفجوات الموجودة في الأدبيات التي تهدف SAGE إلى معالجتها، بما في ذلك الحاجة إلى أدوات قياس كمية، والتحقق عبر الحرم الجامعي، والتحقيق المنهجي في نقل الكفاءة. بينما أنشأت الأطر السابقة كفاءات أساسية لمحو الأمية في الذكاء الاصطناعي، فإنها غالبًا ما تفتقر إلى إرشادات تشغيلية للتطبيقات الخاصة بالتخصص، وهو ما تسعى SAGE إلى توفيره من خلال نهجها المنظم.

تستند SAGE إلى الأبحاث السابقة في تعليم الأمن السيبراني، مما يظهر الفعالية التربوية من خلال التحليلات النوعية ولكنها تترك أسئلة حاسمة حول قابليتها للتطبيق في المجالات الأكثر ذاتية دون إجابة. تقدم هذه الدراسة ابتكارات منهجية، مثل المقاييس الكمية والتحقق عبر الحرم الجامعي، لاستكشاف نقل الكفاءة ودوام المهارات عبر مهام مختلفة. تكشف النتائج عن “منحنى الوصول U”، مما يشير إلى أن كفاءة الطلاب في الوصول تختلف بشكل كبير عبر مستويات التجريد المختلفة لتصميم النظام. وهذا يشير إلى أنه بينما قد يفهم الطلاب الوصول على مستوى التفاعل، فإنهم يكافحون لدمجه ضمن هندسة النظام، مما يبرز ضرورة وجود دعم تربوي مستهدف عند كل مستوى من مستويات التجريد. بشكل عام، تسهم SAGE في الأدبيات من خلال توفير إطار شامل يفعّل محو الأمية في الذكاء الاصطناعي بطريقة تكون تربويًا سليمة ومثبتة تجريبيًا عبر سياقات متعددة.

القيود

تسلط قيود الدراسة الضوء على عدة عوامل حاسمة قد تؤثر على قابلية تعميم وموثوقية النتائج. أولاً، تثير عينة صغيرة من 13 مجموعة من بريسبان، تتكون في الغالب من طلاب دراسات عليا دوليين من شبه القارة الهندية، مخاوف بشأن قابلية تطبيق النتائج على ديموغرافيات وسياقات تعليمية أخرى. بالإضافة إلى ذلك، تم إجراء التحليل النوعي بواسطة باحث واحد، مما يفتقر إلى تقييمات موثوقية بين المقيمين الرسمية، مما قد يهدد تأكيد الأنماط الناشئة. يجب أن تتضمن الأبحاث المستقبلية تصاميم متعددة المقيّمين لتعزيز قوة التفسيرات النوعية.

علاوة على ذلك، فإن النتائج محددة بالأنظمة التي تم استخدامها خلال الدراسة، مما يشير إلى أن النتائج قد تختلف مع التحديثات على هذه النماذج أو استخدام نماذج لغوية كبيرة مختلفة (LLMs). كما أن التركيز على الوصول كمتطلب غير وظيفي (NFR) يحد أيضًا من استكشاف متطلبات غير وظيفية حاسمة أخرى مثل الأمان والأخلاقيات، التي قد تظهر أنماطًا مشابهة. أخيرًا، لم تتضمن الدراسة عمدًا مجموعة ضابطة لمقارنة نهج SAGE مقابل التعليم التقليدي، حيث كان الهدف الرئيسي هو فهم كيفية تطوير كفاءات التنسيق في سياق استخدام الذكاء الاصطناعي الشامل. تؤكد هذه الاختيار التصميمي على الحاجة إلى مزيد من التحقيقات التجريبية لتقييم فعالية SAGE مقارنة بالاستراتيجيات التربوية البديلة، خاصة في مجموعات أكبر وأكثر تنوعًا.

Journal: STEM Education, Volume: 6, Issue: 2
DOI: https://doi.org/10.3934/steme.2026009
Publication Date: 2026-01-01
Author(s): Mahmoud Elkhodr et al.
Primary Topic: Artificial Intelligence in Education

Overview

This research paper investigates the integration of generative AI within systems analysis and design education, focusing on the development of orchestration competencies—skills that enable students to evaluate, adapt, and integrate AI outputs with human judgment. Utilizing the SAGE (Structured AI-Guided Education) framework, the study conducted three experimental assessments across various cohorts, revealing that a significant majority (84%) of students demonstrated selective and justified AI use, yet none achieved expert-level synthesis. Notably, while students recognized accessibility needs in user requirements and interface designs, they largely overlooked these considerations in system architecture diagrams, indicating that such competencies require ongoing prompting rather than automatic transfer between tasks.

The findings suggest that students often plateau at an intermediate level of orchestration, where they can refine AI outputs but struggle to critically challenge or innovate beyond them. The paper emphasizes that effective AI literacy in professional education transcends mere prompt engineering; it necessitates fostering disciplined critical evaluation and the confidence to override AI outputs when necessary. To enhance orchestration skills, the authors advocate for assessment tasks that promote visible reasoning and reward justified modifications. They also highlight specific areas for improvement in AI-generated outputs, such as system boundary classification and data lifecycle completeness, recommending the incorporation of accessibility considerations and structured scaffolding in educational practices.

Introduction

The introduction of this research paper highlights the rapid integration of Generative Artificial Intelligence (GenAI) into higher education, particularly emphasizing the need for evidence-based frameworks that address discipline-specific orchestration competencies. These competencies involve the ability to evaluate, adapt, and integrate AI-generated outputs with human judgment, which is crucial for systems analysts who must navigate complex stakeholder requirements and algorithmic interpretations. The paper critiques existing general AI literacy initiatives for their inadequacy in addressing the unique challenges faced in systems analysis and design education, where subjective stakeholder negotiations and context-dependent judgments are prevalent.

To address these gaps, the authors propose the SAGE (Structured AI-Guided Education) framework, initially validated in cybersecurity education, and extend it to systems analysis. This framework incorporates measurable metrics into student work, standardizes educational components for replication across campuses, and varies support levels as a pedagogical strategy. The study outlines three experimental assessments—requirements synthesis, formal modeling correction, and design evaluation—integrated within authentic tasks to develop AI orchestration competencies. The implementation of SAGE across multiple campuses yielded insights into effective pedagogical strategies, demonstrating that structured GenAI integration fosters critical evaluation skills and positions AI as a collaborative partner rather than a mere tool. The paper aims to provide actionable guidance for educators and curriculum designers, ultimately contributing to a more nuanced understanding of GenAI’s role in technical education.

Methods

The study employs the SAGE (Structured AI-Guided Education) framework, originally developed for cybersecurity education, to enhance systems analysis and design competencies. The framework is structured into a two-stage progression: the first stage consists of scaffolded tutorials over six weeks, focusing on critical evaluation through iterative cycles of generation, analysis, synthesis, and reflection. The second stage includes experimental assessments conducted in Weeks 8, 10, and 12, which serve multiple purposes: fostering pedagogical skill development, providing summative evaluations, and facilitating empirical research. These assessments utilize standardized prompts, structured decision matrices, and embedded metrics to measure competency.

The competency model is defined across three dimensions: Analytical Deconstruction, Contextual Application, and Reflective Synthesis, with detailed definitions available in Appendix A. The experimental component includes three assessments designed to instantiate SAGE competencies through domain-specific protocols that address requirements synthesis, formal modeling correction, and design evaluation. Each assessment incorporates controlled experiments within authentic systems analysis tasks, enabling the collection of systematic data through standardized measurement instruments.

Results

The “Results” section of the research paper presents key findings derived from the conducted experiments or analyses. It details the outcomes of various tests, highlighting significant trends and patterns observed in the data. The results are typically accompanied by relevant statistical analyses, including p-values and confidence intervals, which validate the findings.

In addition, the section may include graphical representations, such as charts or graphs, to illustrate the relationships between variables or the effectiveness of interventions. These visual aids enhance the clarity of the results and facilitate a better understanding of the underlying phenomena. Overall, the findings contribute to the broader implications of the research, suggesting potential applications or areas for further investigation.

Discussion

The discussion section of the research paper situates the SAGE framework within three key research streams: general AI literacy frameworks, domain-specific integration approaches, particularly in cybersecurity, and assessment-as-research methodologies. It highlights existing gaps in the literature that SAGE aims to address, including the need for quantitative instrumentation, cross-campus validation, and a systematic investigation of competency transfer. While previous frameworks have established foundational competencies for AI literacy, they often lack operational guidance for discipline-specific applications, which SAGE seeks to provide through its structured approach.

SAGE builds on prior research in cybersecurity education, demonstrating pedagogical effectiveness through qualitative analyses but leaving critical questions about its applicability in more subjective domains unanswered. This study introduces methodological innovations, such as quantitative metrics and cross-campus validation, to explore competency transfer and the durability of skills across different tasks. The findings reveal an “accessibility U-curve,” indicating that students’ competency in accessibility varies significantly across different abstraction layers of system design. This suggests that while students may understand accessibility at the interaction level, they struggle to embed it within system architecture, highlighting the necessity for targeted pedagogical scaffolding at each level of abstraction. Overall, SAGE contributes to the literature by providing a comprehensive framework that operationalizes AI literacy in a way that is both pedagogically sound and empirically validated across multiple contexts.

Limitations

The limitations of the study highlight several critical factors that may affect the generalizability and reliability of the findings. Firstly, the small sample size of 13 groups from Brisbane, predominantly composed of international postgraduate students from the Indian subcontinent, raises concerns about the applicability of the results to other demographics and educational contexts. Additionally, the qualitative analysis was conducted by a single researcher, lacking formal inter-rater reliability assessments, which may compromise the confirmability of the emergent patterns. Future research should incorporate multi-coder designs to enhance the robustness of qualitative interpretations.

Moreover, the findings are specific to the generative AI systems utilized during the study, suggesting that results may vary with updates to these models or the use of different large language models (LLMs). The focus on accessibility as a non-functional requirement (NFR) also limits the exploration of other critical NFRs such as security and ethics, which may exhibit similar patterns. Lastly, the study intentionally did not include a control group to compare the SAGE approach against traditional instruction, as the primary aim was to understand how to develop orchestration competencies in the context of pervasive AI use. This design choice underscores the need for further empirical investigations to assess the effectiveness of SAGE relative to alternative pedagogical strategies, particularly in diverse and larger cohorts.