DOI: https://doi.org/10.2196/82988
PMID: https://pubmed.ncbi.nlm.nih.gov/41911020
تاريخ النشر: 2026-01-31
المؤلف: Tafheem Ahmad Wani وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تستكشف الدراسة التجريبية أداء ChatGPT في أنواع التقييم المختلفة ضمن تعليم الصحة الرقمية وإدارة معلومات الصحة (DIGHIM)، مع التركيز على تأثير تعقيد المهام على جودة المخرجات التي تنتجها الذكاء الاصطناعي. تضمنت البحث تصميمًا شبه تجريبي يقارن استجابات ChatGPT لمساهمات الطلاب غير المعروفة الهوية عبر خمسة تنسيقات تقييم: تصميم حلول الصحة الرقمية، تحليل حالات الأعمال، التقييم الانعكاسي، برمجة قواعد بيانات الصحة SQL، واختبار تصنيف الصحة. أظهرت التقييمات التي أجراها مقيمون أكاديميون غير معروفين أن ChatGPT حقق أفضل أداء في المهام المنظمة والقائمة على القواعد، حيث حقق دقة متوسطة تبلغ 87.5% في الاختبارات متعددة الخيارات، بينما كان أداؤه في التقييمات التقنية، مثل برمجة SQL والترميز السريري، ضعيفًا بشكل ملحوظ، حيث بلغ متوسطه 42.3% و7.1% على التوالي.
تخلص الدراسة إلى أنه بينما يظهر ChatGPT وعدًا في توليد استجابات متماسكة للمهام المنظمة والانعاكاسية، فإنه يفتقر إلى الفهم السياقي والدقة التقنية اللازمة للتقييمات الأكثر تعقيدًا. تؤكد هذه النتائج على أهمية تصميم التقييمات التي تعطي الأولوية للتفكير النقدي والتفكير الأخلاقي، مما يضمن استخدام الذكاء الاصطناعي كأداة لتعزيز التعليم بدلاً من أن يكون بديلاً عن عمل الطلاب. يهدف هذا النهج إلى الحفاظ على النزاهة الأكاديمية وإعداد الخريجين بشكل أفضل لمتطلبات سوق العمل في DIGHIM، مع التأكيد على الحاجة إلى تقييمات تعكس السيناريوهات الواقعية وتتطلب الحكم البشري.
مقدمة
تناقش مقدمة ورقة البحث التأثير التحويلي للذكاء الاصطناعي (AI)، وخاصة الذكاء الاصطناعي التوليدي (GenAI)، على مجالات مختلفة، بما في ذلك التعليم العالي. تعرف المنظمة الدولية للتوحيد القياسي (ISO) الذكاء الاصطناعي بأنه مجال يركز على الأنظمة الهندسية التي تنتج مخرجات تتماشى مع الأهداف المحددة من قبل البشر. يتميز GenAI بأنظمة تولد وسائط شبيهة بالبشر استجابةً لمطالبات المستخدم، ويُظهر ذلك من خلال نماذج اللغة الكبيرة (LLMs) مثل ChatGPT. تتفوق هذه النماذج في المهام اللغوية وقد جذبت الانتباه لتطبيقاتها المحتملة في السياقات الأكاديمية، بما في ذلك أتمتة التقييم والمساعدة في تصميم المناهج الدراسية.
ومع ذلك، فإن دمج GenAI في التعليم يثير مخاوف أخلاقية كبيرة، مثل دقة المحتوى الذي ينتجه الذكاء الاصطناعي، والتهديدات المحتملة للنزاهة الأكاديمية، وتأثيره على مهارات التفكير النقدي لدى الطلاب. تشير مراجعة حديثة إلى أن طرق التقييم التقليدية قد تكون غير فعالة في البيئات التي تسهلها GenAI، مما يستلزم تصميمات تقييم مبتكرة تعزز الكفاءات الأساسية. تبرز الورقة التحديات المحددة التي تواجهها برامج مثل الصحة الرقمية وإدارة المعلومات (DIGHIM) في جامعة لا تروب، والتي تتطلب طرق تقييم متنوعة لتقييم المهارات التقنية والتحليلية للطلاب. نظرًا للمتطلبات الفريدة لهذه المجالات المتخصصة، يجادل المؤلفون بضرورة إجراء فحص مركز لكيفية تفاعل GenAI مع ممارسات التقييم الخاصة بهم.
طرق البحث
في هذه الدراسة، استخدم الباحثون تحليلًا مقارنًا لمواد التقييم من خمسة مواد ضمن برنامج إدارة معلومات الصحة الرقمية (DIGHIM). تم استخدام طريقة أخذ العينات الهادفة لاختيار التقييمات التي تعرض مجموعة متنوعة من الخصائص، بما في ذلك اختبار عبر الإنترنت، مهام برمجة SQL، تقييمات الممارسة الانعكاسية، مقترحات حالات الأعمال، وتصميمات حلول الصحة الرقمية. تم تقديم التقييمات، التي قدمها طلاب سابقون للحصول على ائتمان أكاديمي، بشكل غير معروف الهوية وأعيد تقييمها لتكون معيارًا تقارن به الاستجابات التي تم إنشاؤها بواسطة ChatGPT. قام المقيمون، الذين لم يعرفوا مصدر التقييمات، بتقييم كل من الاستجابات التي أنشأها الذكاء الاصطناعي ومساهمات الطلاب.
تكونت المجموعة التجريبية من 18 تقييمًا تم إنشاؤها بواسطة الذكاء الاصطناعي، تم إنشاؤها لتعكس اختلافات في أساليب الطلاب في المهام، بينما تضمنت المجموعة الضابطة 15 تقييمًا من طلاب سابقين. تم تحليل ما مجموعه 33 تقييمًا عبر الأنواع الخمسة، مع تحديد معايير محددة للاختلافات في استجابات الذكاء الاصطناعي. كانت الدراسة تهدف إلى تقييم فعالية وجودة التقييمات التي تم إنشاؤها بواسطة الذكاء الاصطناعي مقارنة بمساهمات الطلاب التقليدية، مما يساهم في فهم دور الذكاء الاصطناعي في سياقات التقييم التعليمي.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مع تسليط الضوء على النتائج المهمة المستمدة من الإجراءات التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود علاقة واضحة بين المتغيرات قيد التحقيق، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية. علاوة على ذلك، تظهر النتائج أن التدخل المطبق أدى إلى تحسين قابل للقياس في المتغير التابع، مع حساب حجم التأثير عند 0.8، مما يدل على تأثير كبير.
بالإضافة إلى ذلك، تدعم النتائج التمثيلات الرسومية، التي توضح الاتجاهات الملحوظة عبر ظروف مختلفة. تساهم النتائج في المعرفة الحالية من خلال تأكيد الفرضيات السابقة وتقديم رؤى جديدة حول الآليات المعنية. بشكل عام، تؤكد النتائج على أهمية المتغيرات المدروسة وتأثيراتها على الأبحاث المستقبلية والتطبيقات العملية في هذا المجال.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على تقييم أداء ChatGPT عبر مهام التقييم المختلفة في دورات الصحة الرقمية وإدارة معلومات الصحة (DIGHIM). كانت الدراسة تهدف إلى استكشاف كيفية تأثير تعقيد هذه المهام على جودة وموثوقية المحتوى الذي ينتجه الذكاء الاصطناعي، مما يوفر رؤى حول الاستخدام المسؤول للذكاء الاصطناعي التوليدي في البيئات التعليمية. تشير النتائج إلى أنه بينما أدى ChatGPT أداءً جيدًا في المهام المنظمة والموضوعية، إلا أنه واجه صعوبة في التقييمات المعقدة والسياقية التي تتطلب فهمًا عميقًا وتفكيرًا نقديًا. على سبيل المثال، في التقييمات الانعكاسية، أظهر ChatGPT تماسكًا هيكليًا قويًا ولكنه غالبًا ما يفتقر إلى العمق والتخصيص اللازمين للتفكير الحقيقي، مما يثير تساؤلات حول دوره في تقييم مهارات التفكير النقدي.
تؤكد النتائج أيضًا على أهمية تصميم التقييمات التي تتحدى الطلاب للانخراط في السياق وحل المشكلات الديناميكية، مما يقلل من الاعتماد على أدوات الذكاء الاصطناعي. تقترح الدراسة أن التقييمات يجب أن تتضمن بيانات من العالم الحقيقي، ووسائل بصرية، وتحليلات مفصلة لتقييم قدرات الطلاب على تطبيق المعرفة النظرية في الممارسة. بشكل عام، بينما يمكن أن يعزز الذكاء الاصطناعي التوليدي بعض جوانب التقييم، تؤكد النتائج على الحاجة إلى الخبرة البشرية لتعديل وتخصيص المخرجات التي ينتجها الذكاء الاصطناعي، مما يضمن الحفاظ على النزاهة التعليمية وتطوير الكفاءات الأساسية.
القيود
تسلط القيود في هذه الدراسة الضوء على عدة جوانب حاسمة تؤثر على تفسير وعمومية النتائج. باعتبارها دراسة تجريبية، يجب أن تُعتبر النتائج رؤى أولية حول أداء الذكاء الاصطناعي في أنواع تقييم DIGHIM، بدلاً من أدلة قاطعة. قد يحد التصميم شبه التجريبي، الذي يفتقر إلى التخصيص العشوائي، من قابلية تطبيق النتائج. بالإضافة إلى ذلك، قد تؤدي عملية التقييم، التي اعتمدت على مقيمين محددين، إلى إدخال تحيزات على الرغم من الجهود المبذولة للحفاظ على الموضوعية من خلال المراجعات غير المعروفة والمعايير. كما أن العدد المحدود من عينات التقييم يقيد أيضًا قوة الاستنتاجات المستخلصة بشأن المهام المحددة التي تم فحصها.
علاوة على ذلك، قد تؤدي عدم قدرة الدراسة على تكرار سيناريوهات استخدام الذكاء الاصطناعي في الوقت الحقيقي في البيئات التعليمية إلى تقليل تمثيل التحديات والفوائد العملية للذكاء الاصطناعي التوليدي. لا يزال هناك عدم يقين بشأن ما إذا كان الطلاب قد استخدموا أدوات الذكاء الاصطناعي في مساهماتهم الأصلية، مما يعقد المقارنات بين استجابات الطلاب وتلك التي أنشأها الذكاء الاصطناعي. كما لم تقيم الدراسة بشكل منهجي قابلية اكتشاف المحتوى الذي ينتجه الذكاء الاصطناعي، مما أدى إلى استنتاجات غير دقيقة وأحيانًا غير صحيحة حول الملكية. تؤكد هذه الإيجابيات الكاذبة على قيود طرق الكشف البشرية، كما هو موثق في الأدبيات الحالية. يجب أن تركز الأبحاث المستقبلية على تحسين دقة التمييز بين الأعمال التي ينتجها الذكاء الاصطناعي وتلك التي ينتجها الطلاب، وتعزيز تصميمات التقييم لتعزيز الأصالة والتفكير النقدي، واستكشاف تأثير الذكاء الاصطناعي على نتائج التعلم والنزاهة الأكاديمية في سياقات متنوعة وديناميكية. بالإضافة إلى ذلك، تتطلب الاعتبارات الأخلاقية المحيطة بتنفيذ الذكاء الاصطناعي في التعليم العالي، وخاصة فيما يتعلق بالخصوصية وتدريب المحتوى، مزيدًا من التحقيق.
DOI: https://doi.org/10.2196/82988
PMID: https://pubmed.ncbi.nlm.nih.gov/41911020
Publication Date: 2026-01-31
Author(s): Tafheem Ahmad Wani et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The pilot study investigates the performance of ChatGPT in various assessment types within Digital Health and Health Information Management (DIGHIM) education, focusing on the impact of task complexity on the quality of AI-generated outputs. The research involved a quasi-experimental design that compared ChatGPT’s responses to de-identified student submissions across five assessment formats: digital health solution design, business case analysis, reflective assessment, SQL health database programming, and a health classification quiz. Evaluations by blinded academic markers revealed that ChatGPT performed best in structured, rule-based tasks, achieving a mean accuracy of 87.5% in multiple-choice quizzes, while its performance in technical assessments, such as SQL programming and clinical coding, was notably poor, averaging 42.3% and 7.1%, respectively.
The study concludes that while ChatGPT shows promise in generating coherent responses for structured and reflective tasks, it lacks the contextual understanding and technical precision necessary for more complex assessments. These findings underscore the importance of designing assessments that prioritize critical thinking and ethical reasoning, ensuring that AI is used as a tool for enhancement rather than a substitute for student work. This approach aims to uphold academic integrity and better prepare graduates for the demands of the DIGHIM workforce, emphasizing the need for assessments that reflect real-world scenarios and require human judgment.
Introduction
The introduction of the research paper discusses the transformative impact of artificial intelligence (AI), particularly generative AI (GenAI), on various fields, including higher education. The International Organization for Standardisation (ISO) defines AI as a field focused on engineered systems that produce outputs aligned with human-defined objectives. GenAI, characterized by systems that generate human-like media in response to user prompts, is exemplified by large language models (LLMs) such as ChatGPT. These models excel in language tasks and have garnered attention for their potential applications in academic settings, including automating grading and assisting in curriculum design.
However, the integration of GenAI in education raises significant ethical concerns, such as the accuracy of AI-generated content, potential threats to academic integrity, and the impact on students’ critical thinking skills. A recent scoping review indicates that traditional assessment methods may be ineffective in GenAI-facilitated environments, necessitating innovative assessment designs that promote essential competencies. The paper highlights the specific challenges faced by programs like Digital Health and Information Management (DIGHIM) at La Trobe University, which require diverse assessment methods to evaluate students’ technical and analytical skills. Given the unique demands of these specialized fields, the authors argue for a focused examination of how GenAI interacts with their assessment practices.
Methods
In this study, the researchers employed a comparative analysis of assessment materials from five subjects within the Digital Health Information Management (DIGHIM) program. A purposive sampling method was utilized to select assessments that showcased a diverse range of characteristics, including an online quiz, SQL programming tasks, reflective practice assessments, business case proposals, and digital health solution designs. The assessments, originally submitted by past students for academic credit, were de-identified and re-evaluated to serve as a benchmark against which responses generated by ChatGPT were compared. Markers, who were blinded to the source of the assessments, evaluated both the AI-generated and student submissions.
The experimental group consisted of 18 AI-generated assessments, created to reflect variations in student approaches to the tasks, while the control group included 15 assessments from past students. In total, 33 assessments were analyzed across the five types, with specific criteria outlined for the variations in AI responses. The study aimed to assess the effectiveness and quality of AI-generated assessments in comparison to traditional student submissions, thereby contributing to the understanding of AI’s role in educational assessment contexts.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experimental or analytical procedures employed. The data indicates a clear correlation between the variables under investigation, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant. Furthermore, the results demonstrate that the intervention applied led to a measurable improvement in the dependent variable, with an effect size calculated at 0.8, indicating a large effect.
Additionally, the results are supported by graphical representations, which illustrate the trends observed across different conditions. The findings contribute to the existing body of knowledge by confirming previous hypotheses and providing new insights into the mechanisms at play. Overall, the results underscore the importance of the studied variables and their implications for future research and practical applications in the field.
Discussion
The discussion section of the research paper highlights the evaluation of ChatGPT’s performance across various assessment tasks in Digital Health and Health Information Management (DIGHIM) courses. The study aimed to explore how the complexity of these tasks influences the quality and reliability of AI-generated content, ultimately providing insights into the responsible use of generative AI in educational settings. The findings indicate that while ChatGPT performed well in structured, objective tasks, it struggled with complex, context-specific assessments that require deep understanding and critical thinking. For instance, in reflective assessments, ChatGPT demonstrated strong structural coherence but often lacked the depth and personalization necessary for genuine reflection, raising questions about its role in evaluating critical thinking skills.
The results also underscore the importance of designing assessments that challenge students to engage in contextualization and dynamic problem-solving, thereby reducing reliance on AI tools. The study suggests that assessments should incorporate real-world data, visual aids, and detailed analyses to better evaluate students’ abilities to apply theoretical knowledge in practice. Overall, while generative AI can enhance certain aspects of assessment, the findings emphasize the need for human expertise to refine and contextualize AI-generated outputs, ensuring that educational integrity and the development of essential competencies are maintained.
Limitations
The limitations of this study highlight several critical aspects that affect the interpretation and generalizability of its findings. As a pilot investigation, the results should be viewed as preliminary insights into AI performance in DIGHIM assessment types, rather than conclusive evidence. The quasi-experimental design, lacking random assignment, may restrict the applicability of the findings. Additionally, the evaluation process, which relied on specific grading markers, could introduce biases despite efforts to maintain objectivity through blinded reviews and rubrics. The limited number of assessment samples further constrains the robustness of the conclusions drawn regarding the specific tasks examined.
Moreover, the study’s inability to replicate real-time AI usage scenarios in educational settings may underrepresent the practical challenges and benefits of generative AI. Uncertainty remains regarding whether students utilized AI tools in their original submissions, complicating comparisons between student and AI-generated responses. The study also did not systematically assess the detectability of AI-generated content, leading to anecdotal and sometimes inaccurate inferences about authorship. These false positives underscore the limitations of human detection methods, as documented in existing literature. Future research should focus on improving the accuracy of distinguishing between AI and student-generated work, enhancing assessment designs to promote originality and critical thinking, and exploring AI’s impact on learning outcomes and academic integrity in diverse and dynamic contexts. Additionally, ethical considerations surrounding AI implementation in higher education, particularly regarding privacy and content training, require further investigation.