DOI: https://doi.org/10.1038/s41598-026-36839-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41559279
تاريخ النشر: 2026-01-20
المؤلف: Wiem Boufrikha وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تدرس هذه الدراسة فعالية ثلاثة نماذج من الذكاء الاصطناعي (AI) – ChatGPT وPerplexity وDeepSeek – في توليد أسئلة متعددة الخيارات (MCQs) في علم الدم، مع التركيز على التزامها بالإرشادات السريرية، وتعقيدها المعرفي، وقبول الخبراء. تهدف الدراسة إلى تقييم أداء هذه النماذج بشكل كمي من خلال جعل كل منها يولد 50 سؤالاً متعدد الخيارات عبر خمسة مواضيع في علم الدم، والتي تم تقييمها بعد ذلك من قبل ثلاثة خبراء في علم الدم بشكل مُعمى بناءً على معايير مثل الدقة، والأهمية السريرية، والوضوح، والجودة العامة.
أشارت النتائج إلى أن DeepSeek تفوقت على النماذج الأخرى، محققة أعلى الدرجات في الدقة (4.7±0.4)، والأهمية السريرية (4.8±0.3)، وموثوقية المشتتات (4.7±0.4)، بالإضافة إلى معدل قبول مثالي بنسبة 100% دون الحاجة إلى أي تعديلات. بالمقابل، بينما أنتجت Perplexity وChatGPT أيضاً أسئلة مقبولة، لم يتطابق أداؤهما مع أداء DeepSeek. تسلط هذه الدراسة الضوء على إمكانيات الذكاء الاصطناعي في التعليم الطبي، وخاصة في توليد مواد تقييم عالية الجودة، مع التأكيد أيضاً على أهمية تقييم الخبراء لضمان صلاحية المحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي.
مقدمة
تناقش مقدمة ورقة البحث أهمية أسئلة الاختيار من متعدد (MCQs) في التعليم الطبي، مع تسليط الضوء على استخدامها الواسع لتقييم المعرفة بسبب قدرتها على تضمين محتوى المنهج الدراسي الواسع وتقديم تقييمات موحدة. ومع ذلك، يؤكد المؤلفون على التحديات في إنشاء أسئلة MCQs عالية الجودة، مشيرين إلى أن الأسئلة التي تم بناؤها بشكل سيء يمكن أن تؤثر سلباً على صلاحية التقييم وأداء الطلاب. يتطلب تطوير MCQs الفعالة منهجية صارمة تتماشى مع أهداف تعليمية واضحة ومبادئ كتابة عناصر مثبتة، مدعومة بإرشادات حديثة تدعو إلى أهداف قابلة للملاحظة والقياس.
تستكشف الورقة أيضاً الدور التحويلي للذكاء الاصطناعي (AI) في التعليم الطبي، وخاصة من خلال الدردشات المعتمدة على الذكاء الاصطناعي مثل ChatGPT وPerplexity وDeepSeek، التي يمكن أن تولد أسئلة MCQs. تقدم هذه الأدوات فرصاً لتعزيز تطوير الاختبارات، وتخصيص تجارب التعلم، وتحسين تفاعل الطلاب. على الرغم من الفوائد المحتملة لدمج الذكاء الاصطناعي، يشير المؤلفون إلى الحواجز مثل نقص الوعي والمهارات الرقمية بين المعلمين والطلاب. لمعالجة هذه التحديات، تقترح الدراسة استراتيجيات تعليمية مستهدفة، بما في ذلك ورش العمل والدورات متعددة التخصصات، لتعريف المعنيين بتطبيقات الذكاء الاصطناعي في الرعاية الصحية والتعليم. تهدف الدراسة إلى تقييم فعالية الدردشات المعتمدة على الذكاء الاصطناعي المذكورة في توليد أسئلة MCQs تركز على علم الدم، وتقييم صلاحيتها، وصعوبتها، وتعقيد التفكير.
الطرق
في هذه الدراسة التي أجريت من مارس إلى أبريل 2025، تم تقييم أداء ثلاثة نماذج من الذكاء الاصطناعي – ChatGPT وPerplexity وDeepSeek – في توليد أسئلة متعددة الخيارات (MCQs) حول خمسة مواضيع في علم الدم: نقص الصفيحات، فقر الدم، نقص الصفيحات، المتلازمات التكاثرية النخاعية، والمتلازمات التكاثرية اللمفاوية. تم اختيار هذه المواضيع لصلتها بالامتحانات الطبية، حيث تتطلب كل من المعرفة الأساسية والتفكير السريري. تم تكليف كل نموذج من الذكاء الاصطناعي بتوليد 10 أسئلة MCQs لكل موضوع، مما أدى إلى إجمالي 150 سؤالاً. كانت التعليمات المقدمة للنماذج تؤكد على الالتزام بالإرشادات الحالية لعلم الدم وتهدف إلى تقييم مستويات معرفية متنوعة، بما في ذلك الاسترجاع والتفكير السريري.
شمل تقييم أسئلة MCQs التي تم إنشاؤها بواسطة الذكاء الاصطناعي عملية مراجعة من قبل ثلاثة خبراء في علم الدم، تم اختيارهم بناءً على مؤهلاتهم الأكاديمية وخبرتهم في تعليم علم الدم، وخاصة في إنشاء أسئلة MCQs. قام الخبراء بتقييم الأسئلة بشكل مستقل مع الحفاظ على عدم معرفتهم بمصدر كل سؤال، باستخدام معيار تقييم موحد يتضمن مقياس من 1-5 للصلاحية، والوضوح، والأهمية، بالإضافة إلى أسئلة ثنائية نعم/لا. كانت معايير المراجعة مستندة إلى مبادئ مثبتة لتصميم التقييم الطبي، مما يضمن تقييمًا شاملاً للأسئلة. من الجدير بالذكر أن مستوى الصعوبة المبلغ عنه وقوة التمييز للأسئلة كانت مبنية فقط على رأي الخبراء بدلاً من التحليل النفسي الرسمي أو بيانات أداء الطلاب.
النتائج
في هذه الدراسة، تم بنجاح توليد ما مجموعه 150 سؤالاً متعدد الخيارات (MCQs) بواسطة دردشة الذكاء الاصطناعي، حيث تم إنتاج كل مجموعة في أقل من 30 ثانية. تُظهر هذه السرعة في توليد أسئلة MCQs كفاءة وإمكانات الأدوات المدفوعة بالذكاء الاصطناعي في السياقات التعليمية، وخاصة في إنشاء مواد التقييم. تشير النتائج إلى أن دردشات الذكاء الاصطناعي يمكن أن تبسط بشكل كبير عملية صياغة الأسئلة، مما قد يعزز قابلية توسيع الموارد التعليمية.
المناقشة
تقيّم قسم المناقشة في ورقة البحث أداء ثلاثة نماذج من الذكاء الاصطناعي – ChatGPT وPerplexity وDeepSeek – في توليد أسئلة متعددة الخيارات (MCQs) عالية الجودة لعلم الدم. ضمنت معايير التقييم المنهجية التي استخدمها الخبراء عملية تقييم شفافة ومتسقة، مما أدى إلى نتائج مهمة تتعلق بدقة النماذج، وأهميتها، وتعقيدها المعرفي. برز DeepSeek كنموذج الأكثر فعالية، محققاً معدل قبول مثالي بنسبة 100% لأسئلته، بينما احتاجت ChatGPT وPerplexity إلى تعديلات لبعض الأسئلة. من الجدير بالذكر أن درجات DeepSeek العالية في الدقة (4.5±0.6) وموثوقية المشتتات (4.7±0.5) تبرز توافقه مع الإرشادات السريرية، مما يشير إلى إمكانيته في التقييمات ذات المخاطر العالية.
كشفت تحليل مستويات التفكير استنادًا إلى تصنيف بلوم أن جميع نماذج الذكاء الاصطناعي أنتجت بشكل أساسي أسئلة معرفية من المستوى الأعلى، حيث أنتج DeepSeek أعلى نسبة (92%). تشير هذه الاتجاهات إلى أن نماذج الذكاء الاصطناعي المعاصرة بارعة في إنشاء أسئلة ذات صلة سريرية تتطلب التفكير بدلاً من مجرد الاسترجاع الواقعي. ومع ذلك، تسلط الدراسة الضوء على الحاجة إلى تحسين هندسة التعليمات لضمان توزيع متوازن للأسئلة عبر جميع المستويات المعرفية، حيث تميل المخرجات الحالية إلى تقليل تمثيل الأسئلة ذات المستوى الأدنى. بشكل عام، بينما يمكن أن تعزز أسئلة MCQs التي تم إنشاؤها بواسطة الذكاء الاصطناعي الكفاءة في تطوير التقييم، تظل الحاجة إلى الإشراف البشري أمرًا حاسمًا لضمان الصرامة التعليمية والتغطية الشاملة للمهارات المعرفية في التدريب الطبي.
القيود
تقدم الدراسة تقييمًا كميًا رائدًا لأسئلة الاختيار من متعدد (MCQs) التي تم إنشاؤها بواسطة الذكاء الاصطناعي في مجال علم الدم، مما يبرز جودتها، وأهميتها، وتوافقها مع المستويات المعرفية. يساهم هذا التقييم المنهجي بشكل كبير في فهم إمكانيات الذكاء الاصطناعي في السياقات التعليمية ضمن هذا التخصص.
ومع ذلك، ليست الدراسة خالية من القيود. بينما تمثل نهجًا جديدًا، قد لا تكون النتائج قابلة للتعميم خارج علم الدم، وهناك حاجة إلى مزيد من البحث للتحقق من النتائج عبر تخصصات طبية مختلفة. بالإضافة إلى ذلك، قد تؤدي معايير التقييم والمنهجيات المستخدمة إلى إدخال تحيزات أو قيود في تقييم الفعالية الحقيقية للمحتوى الذي تم إنشاؤه بواسطة الذكاء الاصطناعي.
DOI: https://doi.org/10.1038/s41598-026-36839-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41559279
Publication Date: 2026-01-20
Author(s): Wiem Boufrikha et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the effectiveness of three artificial intelligence (AI) models—ChatGPT, Perplexity, and DeepSeek—in generating multiple-choice questions (MCQs) for hematology, with a focus on their adherence to clinical guidelines, cognitive complexity, and expert acceptability. The research aims to quantitatively assess the performance of these models by having each generate 50 MCQs across five hematology topics, which were then evaluated by three blinded hematology experts based on criteria such as accuracy, clinical relevance, clarity, and overall quality.
The results indicated that DeepSeek outperformed the other models, achieving the highest scores in accuracy (4.7±0.4), clinical relevance (4.8±0.3), and distractor plausibility (4.7±0.4), along with a perfect acceptance rate of 100% without requiring any revisions. In contrast, while Perplexity and ChatGPT also generated acceptable questions, their performance did not match that of DeepSeek. This study highlights the potential of AI in medical education, particularly in generating high-quality assessment materials, while also emphasizing the importance of expert evaluation in ensuring the validity of AI-generated content.
Introduction
The introduction of the research paper discusses the significance of multiple-choice questions (MCQs) in medical education, highlighting their widespread use for assessing knowledge due to their ability to encompass extensive curriculum content and provide standardized assessments. However, the authors emphasize the challenges in creating high-quality MCQs, noting that poorly constructed questions can compromise assessment validity and negatively affect student performance. Effective MCQ development necessitates a rigorous methodology aligned with clear educational objectives and established item-writing principles, supported by recent guidelines that advocate for observable and measurable objectives.
The paper also explores the transformative role of artificial intelligence (AI) in medical education, particularly through AI-powered chatbots like ChatGPT, Perplexity, and DeepSeek, which can generate MCQs. These tools present opportunities for enhancing quiz development, personalizing learning experiences, and improving student engagement. Despite the potential benefits of AI integration, the authors point out barriers such as a lack of awareness and digital literacy among educators and students. To address these challenges, the study proposes targeted educational strategies, including workshops and interdisciplinary courses, to familiarize stakeholders with AI applications in healthcare and education. The research aims to evaluate the effectiveness of the mentioned AI chatbots in generating hematology-focused MCQs, assessing their validity, difficulty, and reasoning complexity.
Methods
In this study conducted from March to April 2025, the performance of three AI models—ChatGPT, Perplexity, and DeepSeek—was evaluated in generating multiple-choice questions (MCQs) on five hematology topics: pancytopenia, anemia, thrombopenia, myeloproliferative syndromes, and lymphoproliferative syndromes. These topics were chosen for their relevance in medical examinations, requiring both foundational knowledge and clinical reasoning. Each AI model was tasked with generating 10 MCQs per topic, leading to a total of 150 questions. The prompts provided to the models emphasized adherence to current hematology guidelines and aimed to assess various cognitive levels, including recall and clinical reasoning.
The evaluation of the AI-generated MCQs involved a review process by three hematology experts, who were selected based on their academic qualifications and experience in hematology education, particularly in MCQ creation. The experts assessed the questions independently while remaining blind to the source of each question, using a standardized scoring rubric that included a 1-5 scale for validity, clarity, and relevance, along with binary Yes/No questions. The review criteria were grounded in established principles of medical assessment design, ensuring a thorough evaluation of the questions. Notably, the reported difficulty level and discrimination power of the questions were based solely on expert opinion rather than formal psychometric analysis or student performance data.
Results
In this study, a total of 150 multiple-choice questions (MCQs) were successfully generated by an AI chatbot, with each set being produced in under 30 seconds. This rapid generation of MCQs demonstrates the efficiency and potential of AI-driven tools in educational contexts, particularly in the creation of assessment materials. The findings suggest that AI chatbots can significantly streamline the process of question formulation, which may enhance the scalability of educational resources.
Discussion
The discussion section of the research paper evaluates the performance of three AI models—ChatGPT, Perplexity, and DeepSeek—in generating high-quality multiple-choice questions (MCQs) for hematology. The structured scoring rubric employed by experts ensured a transparent and consistent evaluation process, leading to significant findings regarding the models’ accuracy, relevance, and cognitive complexity. DeepSeek emerged as the most effective model, achieving a perfect acceptance rate of 100% for its MCQs, while ChatGPT and Perplexity required revisions for some questions. Notably, DeepSeek’s high scores in accuracy (4.5±0.6) and distractor plausibility (4.7±0.5) underscore its alignment with clinical guidelines, suggesting its potential for high-stakes assessments.
The analysis of cognitive levels based on Bloom’s taxonomy revealed that all AI models predominantly generated higher-order cognitive questions, with DeepSeek producing the highest proportion (92%). This trend indicates that contemporary AI models are adept at creating clinically relevant questions that require reasoning rather than mere factual recall. However, the study highlights a need for improved prompt engineering to ensure a balanced distribution of questions across all cognitive levels, as the current output tends to underrepresent lower-order questions. Overall, while AI-generated MCQs can enhance efficiency in assessment development, the necessity for human oversight remains critical to ensure educational rigor and comprehensive coverage of cognitive skills in medical training.
Limitations
The study provides a pioneering quantitative evaluation of AI-generated multiple-choice questions (MCQs) in the field of hematology, highlighting their quality, relevance, and alignment with cognitive levels. This structured assessment contributes significantly to understanding the potential of AI in educational contexts within this specialty.
However, the study is not without its limitations. While it represents a novel approach, the findings may not be generalizable beyond hematology, and further research is needed to validate the results across different medical disciplines. Additionally, the evaluation criteria and methodologies employed may introduce biases or limitations in assessing the true effectiveness of AI-generated content.