تحديات استخدام الذكاء الاصطناعي التوليدي في تعليم مرضى السكري: تحليل عبر المنصات لجودة وقابلية قراءة وقابلية تنفيذ النصوص التي تنتجها نماذج اللغة الكبيرة Challenges of using generative artificial intelligence for diabetes patient education: a cross-platform analysis of the quality, readability, and actionability of text generated by large language models

شارك:
المجلة: Frontiers in Public Health، المجلد: 14
DOI: https://doi.org/10.3389/fpubh.2026.1804524
PMID: https://pubmed.ncbi.nlm.nih.gov/41982895
تاريخ النشر: 2026-03-30
المؤلف: Zhiqiang Wang وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم

نظرة عامة

تقدم هذه القسم تحليلًا شاملاً لنصوص تعليم إدارة مرض السكري الذاتي التي تم إنشاؤها بواسطة عشرة نماذج لغوية كبيرة (LLMs)، مع التركيز على جودتها وقابليتها للاستخدام. استخدمت الدراسة مقاييس تقييم متنوعة، بما في ذلك درجة الجودة غرايس (GQS)، وأداة تقييم مواد التعليم للمرضى للطباعة (PEMAT-P)، وEQIP-36، إلى جانب تقييمات قابليتها للقراءة. كشفت النتائج عن اختلافات كبيرة في درجات GQS وPEMAT-P عبر المنصات، مما يشير إلى أن اختيار النموذج يمكن أن يؤثر بشكل كبير على جودة وقابلية تنفيذ المحتوى الناتج. بالمقابل، أظهرت درجات EQIP-36 تباينًا محدودًا، مما يوحي بأن المعايير المتعلقة بعرض المعلومات قد تتأثر أكثر بقواعد الكتابة من النماذج نفسها.

أشارت التحليلات الإضافية إلى أنه بينما ظلت درجات GQS وإجمالي درجة PEMAT-P متسقة عبر مجالات الموضوعات المختلفة، كانت مقاييس القابلية للتنفيذ وقابلية القراءة متغيرة، مما يبرز أن تعقيد الموضوع يؤثر على قابلية استخدام المواد. اقترحت تحليلات الارتباط والانحدار الاستكشافية وجود اتجاه حيث كانت زيادة صعوبة القراءة مرتبطة بانخفاض درجات الجودة والقابلية للتنفيذ. بشكل عام، بينما تستطيع LLMs إنتاج نصوص تعليمية عن مرض السكري قابلة للاستخدام بشكل عام، هناك تباين ملحوظ في الجودة وقابلية القراءة عبر المنصات. يوصي المؤلفون بأن تعطي التطبيقات السريرية والصحية العامة الأولوية لاختيار النموذج بعناية، والتوجيه المنظم، والتعاون بين الإنسان والذكاء الاصطناعي، والمراقبة المستمرة للجودة لضمان تقديم تعليم آمن وفعال للمرضى.

مقدمة

تسلط المقدمة الضوء على العبء المتزايد لمرض السكري على مستوى العالم، حيث يتأثر أكثر من 800 مليون فرد، وتؤكد على الدور الحاسم للتعليم والدعم المنظم لإدارة مرض السكري الذاتي (DSMES) في تحسين التحكم الأيضي وتقليل النتائج السلبية. على الرغم من فوائده، فإن الوصول إلى DSMES يعيقه نقص القوى العاملة والحواجز الجغرافية، مما يدفع العديد من المرضى للبحث عن معلومات صحية عبر الإنترنت. ومع ذلك، غالبًا ما تتجاوز تعقيدات هذه المعلومات مستويات القراءة الموصى بها، مما يؤثر بشكل غير متناسب على الفئات السكانية المحرومة. وبالتالي، أصبح تعزيز إمكانية الوصول وقابلية القراءة لمواد التعليم المتعلقة بمرض السكري أولوية ملحة في الصحة الرقمية.

تناقش هذه القسم إمكانيات النماذج اللغوية الكبيرة (LLMs) كأدوات لتعليم مرض السكري، مشيرة إلى قدرتها على إنتاج استجابات تفاعلية بلغة طبيعية. بينما تشير الدراسات السابقة إلى أن المحتوى الناتج عن LLM يمكن أن يكون دقيقًا وموجزًا، لا تزال هناك مخاوف بشأن قابلية القراءة، والموثوقية، والاستجابة لاحتياجات المرضى. يجادل المؤلفون بأنه يجب تحقيق توازن بين قابلية القراءة والكمال لضمان فعالية تعليم المرضى. يقترحون إجراء تقييم منهجي لمخرجات LLM، باستخدام مؤشرات قابليتها للقراءة وأدوات تقييم الجودة لمقارنة عشرة نماذج مختلفة. تهدف هذه الدراسة إلى تحديد أنماط محددة للمنصة في مخرجات تعليم مرض السكري وتأسيس إطار عمل لتحسين LLMs في التعليم الصحي الرقمي، مما يضمن أنها تقدم إرشادات واضحة وقابلة للتنفيذ دون المساس بالدقة.

طرق

تحدد قسم “المواد والطرق” التصميم التجريبي والإجراءات المستخدمة في الدراسة. يوضح المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، ومعدات، وعينات بيولوجية، لضمان إمكانية تكرار التجارب. تشمل المنهجية التقنيات المطبقة لجمع البيانات وتحليلها، مثل الاختبارات الإحصائية، والضوابط التجريبية، وأي نماذج حسابية مستخدمة.

بالإضافة إلى ذلك، قد تصف هذه القسم طرق أخذ العينات، بما في ذلك معايير اختيار المشاركين أو العينات، فضلاً عن البروتوكولات المتبعة لضمان تلبية المعايير الأخلاقية. بشكل عام، تعتبر هذه القسم دليلًا شاملاً لتكرار الدراسة وفهم الأساس للنتائج المقدمة في الأقسام اللاحقة.

نتائج

قيمت الدراسة جودة نصوص تعليم إدارة مرض السكري الذاتي (DSMES) التي تم إنشاؤها بواسطة عشرة نماذج لغوية كبيرة (LLMs). وُجد تباين كبير عبر المنصات من حيث درجة الجودة العالمية (GQS) ودرجات أداة تقييم مواد التعليم للمرضى (PEMAT-P) (جميعها $p < 0.001$)، بينما لم تظهر درجات EQIP-36 اختلافات كبيرة بشكل عام ($p = 0.062$). من الجدير بالذكر أن DeepSeek-R1 حقق أعلى وسيلة GQS بمقدار 5.00، وكانت درجات EQIP-36 الأعلى مرتبطة بشكل أساسي بـ DeepSeek-R1 وQwen3 وDoubao، التي أنتجت أيضًا نصوصًا أطول. بالمقابل، أظهر ChatGPT 5.1-Thinking قابلية قراءة أفضل، كما يتضح من درجات Flesch Reading Ease Score (FRES) الأعلى ودرجات Flesch-Kincaid Grade Level (FKGL) الأقل، على الرغم من أدائه المتوسط على EQIP-36. تشير النتائج إلى أنه بينما تتفوق بعض النماذج في مقاييس معينة، لم يتفوق أي نموذج واحد على الآخرين عبر جميع المعايير. قد تنجم الاختلافات الملحوظة في قابلية القراءة وتعقيد المحتوى عن اختلافات في بيانات التدريب، وهندسة النموذج، ومدى المعرفة الطبية المدمجة في كل نموذج. وبالتالي، يجب على المؤسسات الصحية أن تأخذ بعين الاعتبار التوازن بين عمق المحتوى وفهمه عند اختيار LLMs لتوليد مواد تعليم المرضى. تؤكد الدراسة على ضرورة وجود معايير موحدة للجودة وقابلية القراءة للتخفيف من تأثير اختيار المنصة على نتائج تعليم المرضى.

مناقشة

في هذه الدراسة، تم استخدام نهج منهجي لتطوير مجموعة بيانات من 20 سؤالًا متكررًا حول تعليم مرض السكري، تغطي خمسة مجالات رئيسية. تم تنسيق الأسئلة بمشاركة من متخصصين أستراليين وتم التحقق منها من قبل أطباء الغدد الصماء ذوي الخبرة لضمان صلاحية المحتوى. خدمت هذه المجموعة كقاعدة لتقييم الجودة، وقابلية القراءة، والقابلية للتنفيذ، وموثوقية الاستجابات التي تم إنشاؤها بواسطة نماذج لغوية كبيرة (LLMs) مختلفة. تم إجراء دراسة مقطعية باستخدام عشرة منصات ذكاء اصطناعي مختلفة، وتم تحليل الاستجابات باستخدام أدوات تقييم معتمدة، بما في ذلك أداة تقييم مواد التعليم للمرضى للمواد القابلة للطباعة (PEMAT-P)، وضمان جودة المعلومات للمرضى (EQIP-36)، ودرجة الجودة العالمية (GQS).

كشفت النتائج عن اختلافات كبيرة في جودة وقابلية قراءة نصوص تعليم مرض السكري التي تم إنشاؤها بواسطة LLMs مختلفة. بينما اختلفت قابلية الفهم والدرجات الإجمالية من PEMAT-P بشكل كبير عبر المنصات، كانت درجات القابلية للتنفيذ منخفضة بشكل موحد. لم تظهر درجات EQIP-36 اختلافات كبيرة، لكن GQS أشار إلى تباين ملحوظ. كما اختلفت مقاييس قابلية القراءة بشكل كبير، مما يشير إلى أنه بينما أنتجت بعض المنصات نصوصًا أكثر وصولًا، أنتجت أخرى محتوى كان أكثر تعقيدًا وأقل قابلية للتنفيذ للمرضى. أشارت تحليلات الارتباط إلى أن الجودة الأعلى والقابلية للتنفيذ لم تكن مرتبطة باستمرار بأعباء قراءة أقل، خاصة في الموضوعات ذات التعقيد العالي، مما يبرز الحاجة إلى النظر بعناية في قابلية القراءة في مواد تعليم المرضى لتعزيز الفهم والإدارة الذاتية في رعاية مرض السكري.

القيود

تقدم الدراسة عدة قيود قد تؤثر على قابلية تعميم وملاءمة نتائجها. أولاً، كانت تقييمات نصوص تعليم مرض السكري التي تم إنشاؤها بواسطة عشرة نماذج لغوية كبيرة (LLMs) مقتصرة على المخرجات باللغة الإنجليزية، مما يحد من الرؤى حول المواد المنتجة بلغات أخرى أو في سياقات ثقافية متنوعة. ثانيًا، قيد استخدام موجه موحد وصيغة استجابة ذات دورة واحدة استكشاف استراتيجيات توجيه بديلة، والتي يمكن أن تعزز قابلية القراءة والقابلية للتنفيذ. بالإضافة إلى ذلك، بينما استخدمت التحليلات أدوات تقييم جودة متنوعة مثل PEMAT-P ومؤشرات قابلية القراءة، فإن هذه التدابير لا تعكس بشكل مباشر فهم المرضى أو النتائج الواقعية، مما يترك فعالية المواد التعليمية في إدارة مرض السكري غير مؤكدة.

علاوة على ذلك، تلتقط تصميم الدراسة المقطعية لحظة معينة في الزمن، ومع تحديث LLMs بشكل متكرر، قد تتطور جودة وسلامة المخرجات، مما يتطلب تقييمًا مستمرًا. لم تأخذ تحليلات الانحدار الاستكشافية في الاعتبار المنصة أو النموذج كمتغيرات مشتركة، مما قد يؤثر على تفسير النتائج. يجب أن تركز الأبحاث المستقبلية على اختبار قابلية الاستخدام في العالم الحقيقي وتضمين مقاييس السلوك ونتائج الصحة لتقييم الفعالية التعليمية. بالإضافة إلى ذلك، يجب أن تحقق الدراسات المقارنة في استراتيجيات التوجيه المختلفة وعمليات المراجعة التعاونية لتعزيز تقديم المعلومات مع الحفاظ على السلامة والكمال. أخيرًا، يعد إطار عمل مستدام لمراقبة الجودة أمرًا ضروريًا للتكيف مع التقدم السريع في تكنولوجيا LLM.

Journal: Frontiers in Public Health, Volume: 14
DOI: https://doi.org/10.3389/fpubh.2026.1804524
PMID: https://pubmed.ncbi.nlm.nih.gov/41982895
Publication Date: 2026-03-30
Author(s): Zhiqiang Wang et al.
Primary Topic: Artificial Intelligence in Healthcare and Education

Overview

This section presents a comprehensive analysis of diabetes self-management patient-education texts generated by ten large language models (LLMs), focusing on their quality and usability. The study employed various evaluation metrics, including the Gricean Quality Score (GQS), Patient Education Materials Assessment Tool for Print (PEMAT-P), and the EQIP-36, alongside multiple readability assessments. The findings revealed significant differences in GQS and PEMAT-P scores across platforms, indicating that the choice of model can significantly affect the quality and actionability of the generated content. In contrast, EQIP-36 scores showed limited variability, suggesting that the standards for information presentation may be more influenced by writing conventions than by the models themselves.

Further analysis indicated that while GQS and the total PEMAT-P score remained consistent across different topic domains, the actionability and readability metrics varied, highlighting that topic complexity impacts the usability of the materials. Correlation and exploratory regression analyses suggested a trend where increased reading difficulty was associated with lower quality and actionability scores. Overall, while LLMs are capable of producing generally usable diabetes education texts, there is notable variability in quality and readability across platforms. The authors recommend that clinical and public health implementations should prioritize careful model selection, structured prompting, human-AI collaboration, and continuous quality monitoring to ensure the delivery of safe and effective patient education.

Introduction

The introduction highlights the escalating global burden of diabetes, with over 800 million individuals affected, and emphasizes the critical role of structured diabetes self-management education and support (DSMES) in improving metabolic control and reducing adverse outcomes. Despite its benefits, access to DSMES is hindered by workforce shortages and geographical barriers, leading many patients to seek online health information. However, the complexity of this information often exceeds recommended literacy levels, disproportionately affecting disadvantaged populations. Consequently, enhancing the accessibility and readability of diabetes education materials has become a pressing priority in digital health.

The section discusses the potential of large language models (LLMs) as tools for diabetes education, noting their ability to generate interactive, natural-language responses. While previous studies indicate that LLM-generated content can be accurate and concise, concerns remain regarding readability, trustworthiness, and responsiveness to patient needs. The authors argue that a balance must be struck between readability and completeness to ensure effective patient education. They propose a systematic evaluation of LLM outputs, utilizing various readability indices and quality assessment tools to compare ten different models. This study aims to identify platform-specific patterns in diabetes education outputs and establish a framework for optimizing LLMs in digital health education, ensuring that they provide clear, actionable guidance without compromising accuracy.

Methods

The “Materials and Methods” section outlines the experimental design and procedures employed in the study. It details the specific materials used, including any reagents, equipment, and biological samples, ensuring reproducibility of the experiments. The methodology encompasses the techniques applied for data collection and analysis, such as statistical tests, experimental controls, and any computational models utilized.

Additionally, the section may describe the sampling methods, including the selection criteria for participants or samples, as well as the protocols followed to ensure ethical standards were met. Overall, this section serves as a comprehensive guide for replicating the study and understanding the basis for the findings presented in subsequent sections.

Results

The study evaluated the quality of diabetes self-management education and support (DSMES) texts generated by ten large language models (LLMs). Significant variability was found across platforms in terms of the Global Quality Score (GQS) and the Patient Education Materials Assessment Tool (PEMAT-P) scores (all $p < 0.001$), while the EQIP-36 scores did not show significant differences overall ($p = 0.062$). Notably, DeepSeek-R1 achieved the highest median GQS of 5.00, and higher EQIP-36 scores were primarily associated with DeepSeek-R1, Qwen3, and Doubao, which also produced longer texts. In contrast, ChatGPT 5.1-Thinking demonstrated better readability, indicated by higher Flesch Reading Ease Score (FRES) and lower Flesch-Kincaid Grade Level (FKGL) scores, despite its intermediate performance on EQIP-36. The findings suggest that while some models excel in specific metrics, no single model outperformed others across all criteria. The observed differences in readability and content complexity may stem from variations in training data, model architecture, and the extent of medical knowledge incorporated into each model. Consequently, healthcare institutions should carefully consider the balance between content depth and understandability when selecting LLMs for generating patient education materials. The study underscores the necessity for standardized quality and readability criteria to mitigate the impact of platform choice on patient education outcomes.

Discussion

In this study, a systematic approach was employed to develop a dataset of 20 frequently asked questions regarding diabetes education, covering five key domains. The questions were curated with input from Australian specialists and validated by experienced endocrinologists to ensure content validity. This dataset served as the foundation for evaluating the quality, readability, actionability, and reliability of responses generated by various large language models (LLMs). A cross-sectional study was conducted using ten different AI platforms, with responses analyzed using established evaluation instruments, including the Patient Education Materials Assessment Tool for Printable Materials (PEMAT-P), Ensuring Quality Information for Patients (EQIP-36), and Global Quality Score (GQS).

The findings revealed significant differences in the quality and readability of diabetes education texts generated by different LLMs. While the understandability and total scores from PEMAT-P varied significantly across platforms, actionability scores were uniformly low. The EQIP-36 scores did not show significant differences, but GQS indicated notable variability. Readability metrics also differed significantly, suggesting that while some platforms produced more accessible texts, others generated content that was more complex and potentially less actionable for patients. Correlation analyses indicated that higher quality and actionability were not consistently associated with lower reading burdens, particularly in high-complexity topics, highlighting the need for careful consideration of readability in patient education materials to enhance understanding and self-management in diabetes care.

Limitations

The study presents several limitations that may affect the generalizability and applicability of its findings. Firstly, the evaluation of diabetes education texts generated by ten large language models (LLMs) was confined to English outputs, limiting insights into materials produced in other languages or diverse cultural contexts. Secondly, the use of a standardized prompt and single-turn response format restricted the exploration of alternative prompting strategies, which could potentially enhance readability and actionability. Additionally, while the analysis employed various quality assessment tools such as PEMAT-P and readability indices, these measures do not directly reflect patient comprehension or real-world outcomes, leaving the actual effectiveness of the educational materials in diabetes management unverified.

Moreover, the study’s cross-sectional design captures a specific moment in time, and as LLMs are frequently updated, the quality and safety of outputs may evolve, necessitating ongoing evaluation. The exploratory regression analyses lacked consideration of platform or model as covariates, which may affect the interpretation of results. Future research should focus on real-world usability testing and incorporate behavioral and health outcome measures to assess educational effectiveness. Additionally, comparative studies should investigate various prompting strategies and collaborative review processes to enhance information delivery while maintaining safety and completeness. Finally, a sustainable quality-control framework is essential to adapt to the rapid advancements in LLM technology.