DOI: https://doi.org/10.3389/fpubh.2026.1805848
PMID: https://pubmed.ncbi.nlm.nih.gov/41938975
تاريخ النشر: 2026-03-20
المؤلف: Hanlu Li وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقيّم هذه الدراسة فعالية خمسة نماذج لغوية كبيرة (LLMs)—ChatGPT وDoubao وDeepSeek وWenxin Yiyan وTongyi Qianwen—في إنتاج مواد تعليمية للمرضى حول التهاب الكبد المناعي الذاتي (AIH). ركز التقييم على قابلية القراءة وجودة المعلومات والملاءمة التعليمية والتوافق مع الإرشادات السريرية. تم استخدام مؤشرات قراءة متنوعة، إلى جانب درجة الجودة العالمية (GQS) والإصدار الصيني من أداة تقييم مواد تعليم المرضى (C-PEMAT) لقياس جودة المحتوى الناتج. أشارت النتائج إلى تباين كبير بين النماذج، حيث تفوق ChatGPT على الآخرين في كل من درجات GQS وC-PEMAT. ومن الجدير بالذكر أن قابلية القراءة اختلفت حسب موضوع المحتوى، مع استخدام لغة أكثر تعقيدًا في الأقسام التي تناقش آليات المرض والتشخيص.
تؤكد النتائج أن اختيار LLM يؤثر بشكل كبير على جودة وملاءمة المواد التعليمية المتعلقة بـ AIH، بينما يؤثر تصنيف المحتوى بشكل أساسي على التعقيد اللغوي. على الرغم من أن معظم النماذج أنتجت محتوى بجودة متوسطة إلى جيدة، تشير مستويات القراءة الملحوظة إلى الحاجة إلى مزيد من التبسيط لتعزيز الوصول إلى عموم السكان المرضى. تدعو الدراسة إلى الاختيار الدقيق لنماذج LLM بناءً على أدائها في جودة المعلومات وملاءمتها التعليمية، موصية بأن يتم تعديل قابلية القراءة لتناسب تعقيد الموضوع ومحو الأمية الصحية للجمهور للحفاظ على كل من الصرامة العلمية والفائدة العملية في التواصل الصحي المدعوم بالذكاء الاصطناعي.
مقدمة
تناقش مقدمة ورقة البحث التهاب الكبد المناعي الذاتي (AIH)، وهو مرض مزمن التهابي في الكبد يتميز بنخر الخلايا الكبدية والتهاب البوابة. سريريًا، يظهر AIH بارتفاع إنزيمات الكبد في المصل، والأجسام المضادة الذاتية، وزيادة مستويات الغلوبولين المناعي G (IgG)، مما يؤدي غالبًا إلى نتائج خطيرة مثل تليف الكبد إذا لم يتم تشخيصه وعلاجه بسرعة. تتزايد حالات AIH، خاصة بين النساء وكبار السن، مما يبرز الحاجة إلى إدارة فعالة على المدى الطويل وتعليم المرضى. لا تزال آلية حدوث AIH غير واضحة، ولكن يُعتقد أن عوامل مثل الاستعداد الوراثي، واضطراب المناعة، والمحرضات البيئية تلعب دورًا. بينما يمكن أن تدير العلاجات المثبطة للمناعة المرض، إلا أنها تتطلب علاجًا طويل الأمد وتشكل مخاطر الآثار الجانبية.
تؤكد الورقة على المشهد المتطور لتعليم المرضى، خاصة مع ظهور مصادر المعلومات الرقمية وأدوات الذكاء الاصطناعي (AI)، مثل النماذج اللغوية الكبيرة (LLMs). على الرغم من أن هذه النماذج، بما في ذلك ChatGPT، تظهر وعدًا في تقديم المعلومات الطبية، إلا أن المخاوف بشأن دقة وقابلية قراءة المحتوى الذي ينتجه الذكاء الاصطناعي لا تزال قائمة. ركزت الدراسات السابقة بشكل أساسي على دقة الردود، مع تقييمات شاملة محدودة لقابلية القراءة والملاءمة التعليمية، خاصة في السياقات الناطقة باللغة الصينية. تهدف هذه الدراسة إلى تقييم نصوص تعليم المرضى التي تم إنشاؤها بواسطة خمسة LLMs—ChatGPT وDoubao وDeepSeek وWenxin Yiyan وTongyi Qianwen—باستخدام مقاييس مثل قابلية القراءة وجودة المعلومات والتوافق مع الإرشادات السريرية. الهدف هو تقييم موثوقية وملاءمة المعلومات التعليمية التي تم إنشاؤها بواسطة الذكاء الاصطناعي لمرضى AIH في السياقات الناطقة باللغة الصينية.
الطرق
يستعرض قسم “المواد والطرق” في ورقة البحث التصميم التجريبي والإجراءات المستخدمة للتحقيق في أسئلة البحث. يوضح المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، ومعدات، وعينات بيولوجية، بالإضافة إلى البروتوكولات المتبعة لجمع البيانات وتحليلها. يبرز القسم أهمية القابلية للتكرار والصرامة في المنهجية، مما يضمن إمكانية تكرار التجارب من قبل باحثين آخرين.
بالإضافة إلى ذلك، يتم وصف الطرق بطريقة خطوة بخطوة، مع تسليط الضوء على أي تحليلات إحصائية تم إجراؤها لتفسير البيانات. يشمل ذلك استخدام برامج أو خوارزميات محددة لمعالجة البيانات، بالإضافة إلى المعايير المستخدمة لاختيار العينات أو الضوابط. بشكل عام، يخدم هذا القسم لتوفير نظرة شاملة على الإطار التجريبي، مما يمكّن القراء من تقييم صلاحية وموثوقية النتائج المقدمة في الدراسة.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب أو التحليلات التي تم إجراؤها. يوضح نتائج الدراسة، مع تسليط الضوء على نقاط البيانات المهمة، والاتجاهات، وأي تحليلات إحصائية تم إجراؤها. عادةً ما يتم توضيح النتائج من خلال الجداول أو الرسوم البيانية أو الأشكال لتسهيل الفهم وتوفير تمثيل بصري للبيانات.
قد يناقش القسم أيضًا تداعيات النتائج، مقارنًا إياها بالأدبيات الموجودة أو التوقعات النظرية. يتم تناول أي نتائج غير متوقعة أو شذوذ، مع تقديم تفسيرات محتملة. بشكل عام، يخدم هذا القسم لدعم فرضيات البحث ويساهم في الفهم الأوسع للموضوع قيد التحقيق.
المناقشة
في هذه الدراسة، قام المؤلفون بتقييم جودة نصوص تعليم المرضى حول التهاب الكبد المناعي الذاتي (AIH) التي تم إنشاؤها بواسطة نماذج لغوية كبيرة (LLMs) مختلفة من خلال إطار عمل متعدد الأبعاد يتضمن جودة المعلومات (درجة الجودة العالمية، GQS)، وملاءمة تعليم المرضى (C-PEMAT)، وتوافق النية السريرية (CIA)، والعديد من مؤشرات القراءة. كشفت النتائج أن نوع LLM يؤثر بشكل كبير على جودة النصوص الناتجة، حيث تفوق ChatGPT على النماذج الأخرى في كل من درجات GQS وC-PEMAT، مما يدل على هيكل محتوى ووضوح متفوقين. على العكس، أظهرت نماذج مثل Wenxin Yiyan وTongyi Qianwen جودة أقل وتباين أكبر في مخرجاتها، مما يشير إلى عدم الاتساق في اكتمال المعلومات وترابطها.
كما أبرز التحليل أنه بينما اختلفت قابلية القراءة بشكل كبير عبر LLMs المختلفة، كان تعقيد المحتوى محددًا بشكل أساسي من خلال التركيز الموضوعي للمواد التعليمية. كانت النصوص التي تتناول العلاج والإدارة عمومًا أكثر وصولًا، بينما كانت تلك المتعلقة بأسباب المرض وتقييم التشخيص تقدم تعقيدًا لغويًا أعلى. أشارت تحليلات الارتباط إلى وجود ارتباطات إيجابية معتدلة بين GQS ومؤشرات القراءة، مما يشير إلى أن النصوص عالية الجودة غالبًا ما تحتوي على معلومات أكثر كثافة ولغة احترافية. ومع ذلك، أظهرت ملاءمة تعليم المرضى كما تم قياسها بواسطة C-PEMAT ارتباطات ضعيفة مع مقاييس القراءة التقليدية، مما يبرز أهمية الهيكل المنطقي والمحتوى القابل للتنفيذ على بساطة اللغة فقط. بشكل عام، تؤكد الدراسة على ضرورة وجود إطار تقييم دقيق للنصوص الطبية التي ينتجها الذكاء الاصطناعي لضمان الجودة والوصول لكل من تعليم المرضى.
DOI: https://doi.org/10.3389/fpubh.2026.1805848
PMID: https://pubmed.ncbi.nlm.nih.gov/41938975
Publication Date: 2026-03-20
Author(s): Hanlu Li et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study evaluates the effectiveness of five large language models (LLMs)—ChatGPT, Doubao, DeepSeek, Wenxin Yiyan, and Tongyi Qianwen—in generating patient education materials for autoimmune hepatitis (AIH). The assessment focused on readability, information quality, educational suitability, and alignment with clinical guidelines. Various readability indices were employed, alongside the Global Quality Score (GQS) and the Chinese version of the Patient Education Materials Assessment Tool (C-PEMAT) to gauge the quality of the generated content. Results indicated significant variability among the models, with ChatGPT outperforming others in both GQS and C-PEMAT scores. Notably, readability varied by content theme, with more complex language used in sections discussing disease mechanisms and diagnostics.
The findings underscore that the choice of LLM significantly impacts the quality and educational suitability of AIH-related patient education materials, while the content category primarily affects linguistic complexity. Although most models produced content of moderate-to-good quality, the observed readability levels suggest a need for further simplification to enhance accessibility for general patient populations. The study advocates for the careful selection of LLMs based on their performance in information quality and educational suitability, recommending that readability be tailored to the complexity of the topic and the health literacy of the audience to maintain both scientific rigor and practical utility in AI-assisted health communication.
Introduction
The introduction of the research paper discusses autoimmune hepatitis (AIH), a chronic inflammatory liver disease characterized by hepatocellular necrosis and portal inflammation. Clinically, AIH presents with elevated serum transaminases, autoantibodies, and increased immunoglobulin G (IgG) levels, often leading to severe outcomes such as liver cirrhosis if not diagnosed and treated promptly. The incidence of AIH is rising, particularly among women and older adults, highlighting the need for effective long-term management and patient education. The pathogenesis of AIH remains unclear, but factors such as genetic predisposition, immune dysregulation, and environmental triggers are implicated. While immunosuppressive therapies can manage the disease, they require prolonged treatment and pose risks of adverse effects.
The paper emphasizes the evolving landscape of patient education, particularly with the rise of digital information sources and artificial intelligence (AI) tools, such as large language models (LLMs). Although these models, including ChatGPT, show promise in providing medical information, concerns about the accuracy and readability of AI-generated content persist. Previous studies have primarily focused on the accuracy of responses, with limited comprehensive evaluations of readability and educational suitability, particularly in Chinese-language contexts. This study aims to systematically assess patient education texts generated by five LLMs—ChatGPT, Doubao, DeepSeek, Wenxin Yiyan, and Tongyi Qianwen—using metrics such as readability, information quality, and alignment with clinical guidelines. The goal is to evaluate the reliability and educational appropriateness of AI-generated information for AIH patients in Chinese-language settings.
Methods
The “Materials and Methods” section of the research paper outlines the experimental design and procedures employed to investigate the research questions. It details the specific materials used, including any reagents, equipment, and biological samples, as well as the protocols followed for data collection and analysis. The section emphasizes the importance of reproducibility and rigor in the methodology, ensuring that the experiments can be replicated by other researchers.
Additionally, the methods are described in a step-by-step manner, highlighting any statistical analyses performed to interpret the data. This includes the use of specific software or algorithms for data processing, as well as the criteria for selecting samples or controls. Overall, this section serves to provide a comprehensive overview of the experimental framework, enabling readers to assess the validity and reliability of the findings presented in the study.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments or analyses. It details the outcomes of the study, highlighting significant data points, trends, and any statistical analyses performed. The results are typically illustrated through tables, graphs, or figures to facilitate comprehension and provide visual representation of the data.
The section may also discuss the implications of the findings, comparing them with existing literature or theoretical expectations. Any unexpected results or anomalies are addressed, along with potential explanations. Overall, this section serves to substantiate the research hypotheses and contributes to the broader understanding of the topic under investigation.
Discussion
In this study, the authors assessed the quality of patient education texts on autoimmune hepatitis (AIH) generated by various large language models (LLMs) through a multidimensional framework that included information quality (Global Quality Score, GQS), patient education suitability (C-PEMAT), clinical intent alignment (CIA), and multiple readability indices. The findings revealed that the type of LLM significantly influenced the quality of the generated texts, with ChatGPT outperforming other models in both GQS and C-PEMAT scores, indicating superior content structure and clarity. Conversely, models like Wenxin Yiyan and Tongyi Qianwen exhibited lower quality and greater variability in their outputs, suggesting inconsistencies in informational completeness and coherence.
The analysis also highlighted that while readability varied significantly across different LLMs, the complexity of the content was primarily determined by the thematic focus of the education materials. Texts addressing treatment and management were generally more accessible, whereas those related to disease etiology and diagnostic evaluation presented higher linguistic complexity. Correlation analyses indicated moderate positive associations between GQS and readability indices, suggesting that higher-quality texts often feature denser information and professional language. However, patient education suitability as measured by C-PEMAT showed weak correlations with traditional readability metrics, emphasizing the importance of logical structure and actionable content over mere linguistic simplicity. Overall, the study underscores the necessity of a nuanced evaluation framework for AI-generated medical texts to ensure both quality and accessibility for patient education.