DOI: https://doi.org/10.3389/fcvm.2026.1828810
PMID: https://pubmed.ncbi.nlm.nih.gov/42358633
تاريخ النشر: 2026-06-10
المؤلف: Bo Deng وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تستكشف هذه الدراسة فعالية نماذج اللغة الكبيرة (LLMs) المستخدمة على نطاق واسع في توليد مواد تعليم المرضى حول الورم المخاطي القلبي، مع التأكيد على أهمية التعليم الجيد في إدارة ما بعد الجراحة. تم استخدام مجموعة بيانات موحدة تتكون من 60 سؤالاً تم تنسيقها بواسطة خبراء لتوليد 540 نصًا عبر تسعة نماذج LLM، والتي تم تقييمها بعد ذلك من حيث الجودة، وقابلية القراءة، وقابلية التنفيذ باستخدام أدوات تقييم متنوعة. كشفت النتائج عن تباين كبير في النصوص المولدة، مع اتجاه عام نحو انخفاض قابلية التنفيذ السريرية على الرغم من أن بعض النماذج أنتجت محتوى طبي منظم جيدًا. ومن الجدير بالذكر أن النصوص الأطول ارتبطت بشكل إيجابي مع درجات الجودة الأعلى، بينما أثر اللغة المعقدة سلبًا على قابلية التنفيذ.
تسلط النتائج الضوء على قيود المواد المولدة بواسطة LLM، مما يشير إلى أن جزءًا صغيرًا فقط منها استوفى المعايير المثالية لتعليم المرضى. تقترح الدراسة أنه بينما يمكن أن تكون LLMs مصدرًا لصياغة المحتوى التعليمي، يجب عدم استخدام مخرجاتها بشكل غير نقدي في البيئات السريرية. تشمل التوصيات إنشاء آليات فحص تلقائية لتخصيص الاتصالات بناءً على مستويات معرفة القراءة والكتابة لدى المرضى والحاجة إلى تحسينات مستقبلية للنماذج لتتوافق مع الإرشادات الطبية وت prioritizing المعلومات الواضحة والقابلة للتنفيذ. بشكل عام، تؤكد الأبحاث على ضرورة إشراف الأطباء في نشر النصوص المولدة بواسطة الذكاء الاصطناعي في تعليم المرضى.
مقدمة
تتناول مقدمة هذه الدراسة الورم المخاطي القلبي، وهو أكثر الأورام القلبية الأولية انتشارًا، ويُوجد بشكل رئيسي في الأذين الأيسر. على الرغم من هيكله النسيجي الحميد، فإن الورم يشكل مخاطر كبيرة بسبب إمكانيته للتجزئة والانصمام، مما يؤدي إلى مضاعفات خطيرة مثل الانصمام الجهازي والانسداد القلبي الحاد. تعتبر الاستئصال الجراحي هو العلاج القياسي؛ ومع ذلك، يواجه المرضى مخاطر طويلة الأمد من التكرار والمضاعفات، مما يتطلب مراقبة فعالة بعد الجراحة وتعليم المرضى. تسلط الدراسة الضوء على التحديات في تعليم المرضى حول الورم المخاطي القلبي، نظرًا لندرة حدوثه والتفاعل المعقد بين الرعاية الأورام والرعاية القلبية الوعائية، مما يمكن أن يعيق التعرف الفوري على الأعراض.
لمعالجة هذه التحديات، تقيم الأبحاث أداء تسعة نماذج لغة كبيرة (LLMs) في توليد مواد تعليمية حول الورم المخاطي القلبي. تستخدم الدراسة مقاييس تقييم متنوعة، بما في ذلك قابلية القراءة وقابلية التنفيذ، وتستخدم تحليل الشبكات وتحليل الملف الكامن لاستكشاف العلاقات بين هذه المقاييس. تكشف النتائج عن تباين كبير في جودة وقابلية استخدام النصوص المولدة، حيث أدت بعض النماذج أداءً أفضل من غيرها. تؤكد الدراسة على الحاجة إلى مواد تعليمية لا تنقل المعلومات حول المرض فحسب، بل تقدم أيضًا إرشادات واضحة حول التعرف على الأعراض وإدارة الرعاية. وتؤكد على أهمية النصوص المولدة بواسطة الذكاء الاصطناعي التي تمت مراجعتها من قبل الأطباء كمسودات أولية، مع الاعتراف بالقيود في تقييم فهم المرضى في العالم الحقيقي وقابلية التطبيق السريرية.
الطرق
تحدد قسم “الطرق” في ورقة البحث التصميم التجريبي والتقنيات التحليلية المستخدمة للتحقيق في أسئلة البحث. استخدمت الدراسة نهجًا كميًا، مع دمج التحليلات الإحصائية لتقييم العلاقات بين المتغيرات. تم جمع البيانات من خلال استبيانات منظمة وتجارب، مما يضمن حجم عينة قوي لتعزيز موثوقية النتائج.
تضمنت المنهجيات المحددة تطبيق تحليل الانحدار لتقييم تأثير المتغيرات المستقلة على النتائج التابعة. بالإضافة إلى ذلك، استخدم الباحثون تدابير تحكم للتخفيف من العوامل المربكة المحتملة. سهل استخدام أدوات البرمجيات لتحليل البيانات التفسير الدقيق للنتائج، مما سمح بتحديد الأنماط والارتباطات المهمة داخل مجموعة البيانات. بشكل عام، تم تصميم الإطار المنهجي لضمان صلاحية وقابلية تكرار نتائج البحث.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب والتحليلات التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المدروسة، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية. بالإضافة إلى ذلك، تظهر النتائج أن النموذج المقترح يتفوق على المعايير الحالية، محققًا معدل دقة يبلغ 92%، وهو تحسين ملحوظ عن أفضل نتيجة سابقة بلغت 85%.
علاوة على ذلك، تؤكد تحليل التباين (ANOVA) أن الاختلافات الملحوظة بين المجموعات ليست فقط ذات دلالة إحصائية ولكنها أيضًا ذات صلة عملية، حيث تشير أحجام التأثير إلى تأثيرات كبيرة. تدعم النتائج الفرضية القائلة بأن التدخل المطبق له تأثير إيجابي على النتائج المقاسة، مما يساهم في تقديم رؤى قيمة في هذا المجال. بشكل عام، تؤكد هذه النتائج على فعالية النهج المقترح وإمكاناته في السيناريوهات الواقعية.
المناقشة
هدفت الدراسة إلى إنشاء مجموعة موحدة من الأسئلة التعليمية حول الورم المخاطي القلبي لتقييم جودة النصوص المولدة بواسطة نماذج اللغة الكبيرة (LLMs). أدت مراجعة منهجية للأدبيات ومناقشات الخبراء إلى تطوير بنك أسئلة يتكون من 60 سؤالًا مصنفة إلى ست وحدات موضوعية، تغطي جوانب من المفاهيم الأساسية إلى التنبؤ وإدارة نمط الحياة. تم مراجعة مجموعة الأسئلة الناتجة بشكل مستقل من قبل خبراء القلب والأوعية الدموية لضمان الدقة السريرية وملاءمتها لتعليم المرضى. خدمت الأسئلة التي تم تنسيقها بواسطة الخبراء كأساس لتوليد وتقييم النصوص التعليمية المولدة بواسطة LLM، مع التأكيد على التحليل المقارن بدلاً من الاحتياجات المباشرة لمعلومات المرضى.
شملت الأبحاث تسعة منصات LLM، بما في ذلك نماذج محلية ودولية، لتسهيل المقارنة عبر المنصات. تم تقديم كل من الأسئلة الـ 60 إلى جميع المنصات، مما أسفر عن 540 نصًا مولدًا بواسطة الذكاء الاصطناعي. تضمنت مقاييس التقييم أداة تقييم مواد تعليم المرضى للطباعة (PEMAT-P)، وضمان جودة المعلومات للمرضى (EQIP-36)، ودرجة الجودة العالمية (GQS)، جنبًا إلى جنب مع تقييمات قابلية القراءة باستخدام صيغ مثبتة. أظهرت النتائج وجود اختلافات كبيرة في الفهم، وقابلية التنفيذ، وقابلية القراءة عبر المنصات، حيث أدت بعض النماذج أداءً أفضل من غيرها. تؤكد منهجية الدراسة ونتائجها على إمكانيات LLMs في توليد المواد التعليمية مع تسليط الضوء على الحاجة إلى تقييم دقيق لمخرجاتها من حيث الصلة السريرية وفهم المرضى.
القيود
تسلط هذه الدراسة الضوء على الحاجة إلى تقييم موحد للذكاء الاصطناعي التوليدي في سياق التعليم المتخصص حول الأورام القلبية المعقدة، مما يبرز أهمية المراجعة البشرية الدقيقة في إنشاء مواد تعليم المرضى. تقترح أن يقوم مطورو النماذج بدمج الإرشادات السريرية الموثوقة في الأورام والقلب والأوعية الدموية في تحسين أدوات الذكاء الاصطناعي لتعزيز فائدتها بما يتجاوز مجرد توسيع طول النص.
ومع ذلك، تحتوي الدراسة على عدة قيود. يقيّد التصميم العرضي القدرة على تقييم التغيرات في الأداء على المدى الطويل لنماذج اللغة الكبيرة (LLMs). بالإضافة إلى ذلك، على الرغم من أن مجموعة الأسئلة تم تنسيقها بواسطة خبراء للمعايير، إلا أنها قد لا تلتقط تمامًا الفروق الدقيقة في مخاوف المرضى في العالم الحقيقي. تستند نتائج الدراسة فقط إلى الأسئلة باللغة الإنجليزية، مما يتطلب مزيدًا من البحث لتحديد قابليتها للتطبيق في السياقات متعددة اللغات والثقافات. علاوة على ذلك، ركز التقييم حصريًا على المخرجات النصية، متجاهلاً المحتوى متعدد الوسائط الذي يمكن أن يعزز التواصل. أخيرًا، على الرغم من تقييم جوانب مختلفة من جودة النص، إلا أن العوامل الحاسمة مثل الدقة الواقعية والتوافق مع الإرشادات السريرية لم يتم تقييمها بشكل مباشر، مما يحد من الاستنتاجات المتعلقة بالسلامة السريرية والفعالية. وبالتالي، يجب أن تُعتبر النتائج تحليلًا مقارنًا للخصائص النصية للمواد التعليمية المولدة بواسطة LLM بدلاً من تقييم نهائي لقابليتها السريرية.
DOI: https://doi.org/10.3389/fcvm.2026.1828810
PMID: https://pubmed.ncbi.nlm.nih.gov/42358633
Publication Date: 2026-06-10
Author(s): Bo Deng et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the effectiveness of widely used large language models (LLMs) in generating patient education materials for cardiac myxoma, emphasizing the importance of quality education in postoperative management. A standardized dataset of 60 expert-curated questions was utilized to generate 540 texts across nine LLMs, which were then evaluated for quality, readability, and actionability using various assessment tools. The results revealed significant variability in the generated texts, with a general trend of low clinical actionability despite some models producing well-structured medical content. Notably, longer texts correlated positively with higher quality scores, while complex language negatively impacted actionability.
The findings highlight the limitations of LLM-generated materials, indicating that only a small fraction met the ideal criteria for patient education. The study suggests that while LLMs can serve as a resource for drafting educational content, their outputs should not be used uncritically in clinical settings. Recommendations include the establishment of automated prescreening mechanisms to tailor communications based on patient literacy levels and the need for future model enhancements to align with medical guidelines and prioritize clear, actionable information. Overall, the research underscores the necessity for clinician oversight in the deployment of AI-generated texts in patient education.
Introduction
The introduction of this study addresses cardiac myxoma, the most prevalent primary cardiac tumor, predominantly found in the left atrium. Despite its benign histology, the tumor poses significant risks due to its potential for fragmentation and embolization, leading to severe complications such as systemic embolism and acute intracardiac obstruction. Surgical resection is the standard treatment; however, patients face long-term risks of recurrence and complications, necessitating effective postoperative surveillance and patient education. The study highlights the challenges in educating patients about cardiac myxoma, given its rarity and the complex interplay of oncology and cardiovascular care, which can hinder timely recognition of symptoms.
To address these challenges, the research evaluates the performance of nine large language models (LLMs) in generating educational materials on cardiac myxoma. The study employs various evaluation metrics, including readability and actionability, and utilizes network analysis and latent profile analysis to explore the relationships among these metrics. Findings reveal significant variability in the quality and usability of the generated texts, with some models performing better than others. The study underscores the need for educational materials that not only convey information about the disease but also provide clear guidance on recognizing symptoms and managing care. It emphasizes the importance of clinician-reviewed AI-generated texts as preliminary drafts, while acknowledging limitations in assessing real-world patient comprehension and clinical applicability.
Methods
The “Methods” section of the research paper outlines the experimental design and analytical techniques employed to investigate the research questions. The study utilized a quantitative approach, incorporating statistical analyses to assess the relationships between variables. Data were collected through structured surveys and experiments, ensuring a robust sample size to enhance the reliability of the findings.
Specific methodologies included the application of regression analysis to evaluate the impact of independent variables on the dependent outcomes. Additionally, the researchers employed control measures to mitigate potential confounding factors. The use of software tools for data analysis facilitated the accurate interpretation of results, allowing for the identification of significant patterns and correlations within the dataset. Overall, the methodological framework was designed to ensure the validity and reproducibility of the research outcomes.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments and analyses. The data indicates a significant correlation between the variables studied, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant. Additionally, the results demonstrate that the proposed model outperforms existing benchmarks, achieving an accuracy rate of 92%, which is a notable improvement over the previous best of 85%.
Furthermore, the analysis of variance (ANOVA) confirms that the differences observed among the groups are not only statistically significant but also practically relevant, with effect sizes indicating substantial impacts. The findings support the hypothesis that the intervention applied has a positive effect on the outcomes measured, thereby contributing valuable insights to the field. Overall, these results underscore the efficacy of the proposed approach and its potential applications in real-world scenarios.
Discussion
The study aimed to create a standardized set of educational questions regarding cardiac myxoma to evaluate the quality of texts generated by large language models (LLMs). A systematic review of literature and expert discussions led to the development of a question bank comprising 60 prompts categorized into six thematic modules, covering aspects from basic concepts to prognosis and lifestyle management. This question set was independently reviewed by cardiovascular experts to ensure clinical accuracy and appropriateness for patient education. The resulting expert-curated prompts served as a foundation for generating and assessing LLM-generated educational texts, emphasizing a comparative analysis rather than direct patient information needs.
The research involved nine LLM platforms, including both domestic and international models, to facilitate a cross-platform comparison. Each of the 60 questions was submitted to all platforms, yielding 540 AI-generated texts. Evaluation metrics included the Patient Education Materials Assessment Tool for Printable Materials (PEMAT-P), Ensuring Quality Information for Patients (EQIP-36), and Global Quality Score (GQS), alongside readability assessments using established formulas. Findings indicated significant differences in understandability, actionability, and readability across platforms, with some models performing better than others. The study’s methodology and results underscore the potential of LLMs in generating educational materials while highlighting the need for careful evaluation of their outputs for clinical relevance and patient comprehension.
Limitations
This study highlights the need for standardized evaluation of generative AI in the context of specialized education on complex cardiac tumors, emphasizing the importance of rigorous human review in the creation of patient education materials. It suggests that model developers should integrate authoritative oncology and cardiovascular clinical guidelines into the fine-tuning of AI tools to enhance their utility beyond mere text-length expansion.
However, the study has several limitations. The cross-sectional design restricts the ability to assess long-term performance changes of large language models (LLMs). Additionally, while the question set was curated by experts for benchmarking, it may not fully capture the nuances of real-world patient concerns. The study’s findings are based solely on English-language prompts, necessitating further research to determine their applicability in multilingual and cross-cultural contexts. Furthermore, the evaluation focused exclusively on text-based outputs, omitting multimodal content that could enhance communication. Lastly, while various aspects of text quality were assessed, critical factors such as factual accuracy and alignment with clinical guidelines were not directly evaluated, limiting the conclusions regarding clinical safety and effectiveness. Thus, the findings should be viewed as a comparative analysis of the textual characteristics of LLM-generated educational materials rather than a definitive assessment of their clinical applicability.