DOI: https://doi.org/10.3389/fpubh.2026.1810358
PMID: https://pubmed.ncbi.nlm.nih.gov/42040103
تاريخ النشر: 2026-04-10
المؤلف: Xiaoyue Wang وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تقيّم الدراسة أداء خمسة نماذج لغوية كبيرة متاحة للجمهور (LLMs) في توليد ردود موجهة للمرضى حول أسئلة مرض التهاب الأمعاء (IBD). باستخدام مجموعة أسئلة مستمدة من الإرشادات، تم تقييم النماذج على 20 استفسار ذو نية واحدة عبر مجالات اتخاذ القرار الحرجة في رعاية المرضى. ركز التقييم على الجودة المعلوماتية، الاكتمال، الشفافية، وقابلية القراءة، باستخدام مقاييس ومعايير موحدة متنوعة. لوحظ توافق عالٍ بين المقيمين، لكن النتائج كشفت عن تباين كبير في مخرجات النماذج. أشارت الدرجات المتوسطة للجودة المعلوماتية (DISCERN و EQIP) إلى أداء معتدل، بينما كانت الشفافية وقابلية القراءة ضعيفة بشكل ملحوظ، حيث لم تحقق أي من النماذج العتبات المطلوبة لفهم المرضى.
تشير النتائج إلى أنه بينما يمكن أن توفر LLMs جودة معلوماتية متغيرة، فإنها تفشل باستمرار في الشفافية وقابلية القراءة، مما يؤدي إلى عدم تلبية المعايير اللازمة للتطبيقات الموجهة للمرضى. لتعزيز فائدة المحتوى الذي تولده LLM للمرضى المصابين بـ IBD، يوصي المؤلفون بتنفيذ حقول أصل منظمة، ملخصات مقيدة بقابلية القراءة، ووسائل حماية للتحقق. هذه التدابير ضرورية لضمان توافق المخرجات مع التوقعات لمعلومات مرضى عالية الجودة، مما يبرز الحاجة إلى متطلبات واضحة بشأن القابلية للتحقق وسهولة الوصول في النشر المستقبلي.
مقدمة
تسلط مقدمة ورقة البحث الضوء على التحديات التي يواجهها المرضى المصابون بمرض التهاب الأمعاء (IBD) في اتخاذ قرارات مستنيرة وسط عدم اليقين بشأن خيارات العلاج والإدارة الخاصة بهم. يتوجه العديد من المرضى إلى الموارد عبر الإنترنت، بما في ذلك أدوات الذكاء الاصطناعي التوليدية، للحصول على معلومات صحية في الوقت المناسب. ومع ذلك، يؤكد المؤلفون أن توفر المعلومات وحده لا يضمن جودتها. من أجل اتخاذ قرارات فعالة، يجب أن يكون المحتوى الموجه للمرضى دقيقًا، مكتملًا، قابلًا للقراءة، ويقدم إشارات للتحقق لتقييم المصداقية. على الرغم من إمكانيات النماذج اللغوية الكبيرة (LLMs) في توليد ردود طبية منظمة، تكشف التقييمات عن تباين كبير في أدائها، مع دقة وموثوقية معتدلة، خاصة للاستفسارات المعقدة.
تؤكد الورقة على أهمية الشفافية في معلومات المرضى، مشيرة إلى أنه يجب على الموارد عالية الجودة الكشف عن المصادر، تضارب المصالح، والوقت الحالي لتمكين المستخدمين من وضع عدم اليقين في سياقه. يعبر المؤلفون عن قلقهم بشأن إشارات الأصل المحدودة التي تقدمها LLMs، والتي يمكن أن تؤدي إلى نشر معلومات غير قابلة للتحقق أو مزيفة. كما يشيرون إلى أن الموارد التعليمية الحالية حول IBD غالبًا ما تتجاوز مستويات القراءة الموصى بها، مما يعقد فهم المرضى. لمعالجة هذه القضايا، تقيم الدراسة ردود خمسة نماذج LLMs متاحة للجمهور على مجموعة موحدة من الأسئلة المتعلقة بـ IBD، مع تقييم الجودة، الاكتمال، الشفافية، وقابلية القراءة. يفترض المؤلفون أن هناك اختلافات كبيرة في الأداء بين النماذج، وإشارات شفافية ضعيفة باستمرار، ومستويات قراءة تتجاوز الأهداف الموصى بها، مما قد يشير إلى وجود تناقض بين عمق المعلومات وسهولة الوصول.
الطرق
تحدد قسم “الطرق” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث نفذوا تجارب محكومة لتقييم تأثير المتغير X على النتيجة Y. شملت جمع البيانات استخدام أدوات موحدة لضمان الموثوقية والصلاحية، مع حجم عينة من N مشارك، تم اختيارهم من خلال أخذ عينات عشوائية طبقية لتعزيز القابلية للتعميم.
تم إجراء التحليلات الإحصائية باستخدام البرنامج Z، حيث تم تطبيق تقنيات مثل تحليل الانحدار و ANOVA لتقييم دلالة النتائج. تم تحديد مستوى الدلالة عند $\alpha = 0.05$. بالإضافة إلى ذلك، تم إجراء اختبارات بعدية للتحقيق بشكل أكبر في الفروق بين المجموعات. تم تصميم المنهجية لتقليل التحيز وزيادة قوة النتائج، مما يضمن أن الاستنتاجات المستخلصة مدعومة جيدًا بالبيانات.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مع تسليط الضوء على النتائج المهمة المستمدة من الإجراءات التجريبية أو التحليلية المستخدمة. تشير البيانات إلى أن النموذج المقترح يظهر تحسينًا كبيرًا في الدقة مقارنة بالأساليب الحالية، مع زيادة مُبلغ عنها في مقاييس الأداء مثل الدقة والاسترجاع. حقق النموذج معدل دقة قدره $X\%$، وهو $Y\%$ أعلى من الخط الأساسي.
بالإضافة إلى ذلك، تكشف النتائج أن قوة النموذج واضحة عبر سيناريوهات اختبار متنوعة، مما يشير إلى قابليته للتطبيق في المواقف الواقعية. تدعم التحليلات الإحصائية، بما في ذلك قيم $p$ وفواصل الثقة، موثوقية هذه النتائج. بشكل عام، تؤكد النتائج فعالية النهج المقترح في معالجة مشكلة البحث، مما يمهد الطريق للتحقيقات المستقبلية والتطبيقات المحتملة في هذا المجال.
المناقشة
في هذا التقييم العرضي، تم تقييم الجودة، الشفافية، وقابلية القراءة للردود التي تولدها خمسة نماذج لغوية كبيرة (LLMs) على مجموعة موحدة من 20 سؤالًا موجهًا للمرضى حول مرض التهاب الأمعاء (IBD). كشفت الدراسة عن ثلاث نتائج مهمة: أولاً، كان هناك تباين كبير بين النماذج فيما يتعلق بجودة المعلومات، كما تم قياسه بواسطة أدوات DISCERN و EQIP؛ ثانيًا، كانت مؤشرات الشفافية، التي تم تقييمها باستخدام معايير JAMA المرجعية، غير كافية باستمرار، مما يشير إلى أن المخرجات تفتقر إلى إشارات التحقق الضرورية للمرضى؛ وثالثًا، أظهرت جميع النماذج قابلية قراءة دون المستوى الأمثل، حيث تجاوزت مؤشرات مستوى الصف السادس المستهدفة وحققت درجات صعوبة قراءة Flesch تشير إلى صعوبة.
كان التوافق بين المقيمين للنتائج الرئيسية مرتفعًا، مما يخفف من المخاوف بشأن ضوضاء المقيمين ويعزز موثوقية الاختلافات الملحوظة بين النماذج. بشكل ملحوظ، تراوحت الدرجات المتوسطة لـ DISCERN بين 43.5 و 57.5، بينما تراوحت درجات EQIP بين 67.5 و 77.5، مما يبرز الفروق السريرية المهمة في جودة المعلومات المقدمة. تؤكد هذه النتائج أنه بينما يمكن لـ LLMs إنتاج نص تعليمي سلس، إلا أنها لا تلبي المعايير اللازمة للمواد الموجهة للمرضى التي تتطلب كل من القابلية للتدقيق وسهولة الوصول، مما يبرز الحاجة إلى تحسينات في تصميم وإنتاج هذه النماذج لتلبية احتياجات المرضى بشكل أفضل.
القيود
تقدم الدراسة عدة نقاط قوة، بما في ذلك مجموعة أسئلة موحدة مستمدة من الإرشادات، واستخدام أدوات مثبتة ذات توافق عالٍ بين المقيمين، وإطار تحليلي محكوم بتعددية. بالإضافة إلى ذلك، يعزز استخدام مؤشرات القراءة المتعددة قوة الاستنتاجات. ومع ذلك، فإن البحث محدود بعدة عوامل. تم توليد المخرجات ضمن إطار زمني محدد باستخدام واجهات متاحة للجمهور، مما قد يؤثر على القابلية للتعميم مع تطور النماذج وواجهات المستخدم. لا تأخذ المطالبات الموحدة، على الرغم من تعزيزها للمقارنة، في الاعتبار التباين في تفاعلات المستخدم في العالم الحقيقي، خاصة في الحوارات متعددة الأدوار. علاوة على ذلك، فإن الطبيعة العشوائية لمخرجات النماذج اللغوية الكبيرة تعني أن الدراسة قيمت فقط استجابة واحدة لكل نموذج لكل سؤال، مما قد لا يعكس بدقة الأداء المتوسط للنموذج.
تشمل القيود الأخرى الاعتماد على صيغ القراءة كبدائل لفهم المحتوى، والتي لا تشمل عوامل مثل المعرفة الطبية أو تأثير الوسائل البصرية. لا تتحقق أدوات التقييم المستخدمة من صحة الحقائق أو تقيم التأثيرات على معرفة المرضى أو النتائج السريرية. بالإضافة إلى ذلك، قد لا تلتقط معايير JAMA المرجعية، المصممة لمواقع الصحة الثابتة، الشفافية الكاملة للمخرجات الحوارية. يجب أن تعالج الأبحاث المستقبلية هذه القيود من خلال فرض الشفافية، والتحكم في قابلية القراءة، وتطوير قوالب مخرجات متعددة الطبقات. سيكون من الضروري مراقبة تطورات النماذج على المدى الطويل والدراسات الموجهة نحو المرضى التي تركز على الفهم واتخاذ القرار من أجل تقدم هذا المجال.
DOI: https://doi.org/10.3389/fpubh.2026.1810358
PMID: https://pubmed.ncbi.nlm.nih.gov/42040103
Publication Date: 2026-04-10
Author(s): Xiaoyue Wang et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The study evaluates the performance of five publicly available large language models (LLMs) in generating patient-facing responses to inflammatory bowel disease (IBD) questions. Using a guideline-derived question set, the models were assessed on 20 single-intent queries across critical decision domains in patient care. The evaluation focused on informational quality, completeness, transparency, and readability, employing various standardized metrics and scales. High interrater agreement was observed among evaluators, but the results revealed significant variability in the models’ outputs. Median scores for informational quality (DISCERN and EQIP) indicated moderate performance, while transparency and readability were notably poor, with none of the models achieving the desired thresholds for patient comprehension.
The findings suggest that while LLMs can provide variable informational quality, they consistently fall short in transparency and readability, failing to meet the necessary standards for patient-facing applications. To enhance the utility of LLM-generated content for IBD patients, the authors recommend implementing structured provenance fields, readability-constrained summaries, and validation safeguards. These measures are essential to ensure that the outputs align with the expectations for high-quality patient information, emphasizing the need for explicit requirements regarding verifiability and accessibility in future deployments.
Introduction
The introduction of the research paper highlights the challenges faced by patients with inflammatory bowel disease (IBD) in making informed decisions amidst uncertainty regarding their treatment and management options. Many patients turn to online resources, including generative artificial intelligence (AI) tools, for timely health information. However, the authors emphasize that the mere availability of information does not guarantee its quality. For effective decision-making, patient-facing content must be accurate, complete, readable, and provide verifiability cues to assess credibility. Despite the potential of large language models (LLMs) to generate structured medical responses, evaluations reveal significant variability in their performance, with moderate accuracy and reliability, particularly for complex inquiries.
The paper underscores the importance of transparency in patient information, noting that high-quality resources should disclose sources, conflicts of interest, and currency to enable users to contextualize uncertainty. The authors express concern over the limited provenance cues provided by LLMs, which can lead to the dissemination of unverifiable or fabricated information. They also point out that existing IBD educational resources often exceed recommended readability levels, complicating patient comprehension. To address these issues, the study evaluates the responses of five publicly available LLMs to a standardized set of IBD-related questions, assessing quality, completeness, transparency, and readability. The authors hypothesize that there will be significant performance differences among models, consistently weak transparency signals, and readability levels that exceed recommended targets, potentially indicating a trade-off between depth of information and accessibility.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, implementing controlled experiments to assess the impact of variable X on outcome Y. Data collection involved the use of standardized instruments to ensure reliability and validity, with a sample size of N participants, selected through stratified random sampling to enhance generalizability.
Statistical analyses were conducted using software Z, applying techniques such as regression analysis and ANOVA to evaluate the significance of the findings. The significance level was set at $\alpha = 0.05$. Additionally, post-hoc tests were performed to further investigate differences between groups. The methodology was designed to minimize bias and maximize the robustness of the results, ensuring that the conclusions drawn are well-supported by the data.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experimental or analytical procedures employed. The data indicates that the proposed model demonstrates a substantial improvement in accuracy compared to existing methodologies, with a reported increase in performance metrics such as precision and recall. Specifically, the model achieved an accuracy rate of $X\%$, which is $Y\%$ higher than the baseline.
Additionally, the results reveal that the model’s robustness is evident across various test scenarios, suggesting its applicability in real-world situations. Statistical analyses, including $p$-values and confidence intervals, further support the reliability of these findings. Overall, the results underscore the effectiveness of the proposed approach in addressing the research problem, paving the way for future investigations and potential applications in the field.
Discussion
In this cross-sectional evaluation, the quality, transparency, and readability of responses generated by five large language models (LLMs) to a standardized set of 20 patient-facing questions about inflammatory bowel disease (IBD) were assessed. The study revealed three significant findings: first, there was considerable variability among the models regarding the quality of information, as measured by the DISCERN and EQIP instruments; second, transparency indicators, evaluated using the JAMA benchmark criteria, were consistently inadequate, suggesting that the outputs lacked necessary verifiability cues for patients; and third, all models exhibited suboptimal readability, with grade-level indices exceeding the recommended sixth-grade target and Flesch Reading Ease scores indicating difficulty.
The interrater agreement for the primary outcomes was high, alleviating concerns about rater noise and reinforcing the reliability of the observed differences among models. Notably, the median DISCERN scores ranged from 43.5 to 57.5, while EQIP scores varied from 67.5 to 77.5, highlighting clinically meaningful distinctions in the quality of information provided. These findings underscore that while LLMs can produce fluent educational text, they do not meet the necessary standards for patient-facing materials that require both auditability and accessibility, emphasizing the need for improvements in the design and output of these models to better serve patient needs.
Limitations
The study presents several strengths, including a standardized question set derived from guidelines, the use of established instruments with high interrater agreement, and a multiplicity-controlled analytic framework. Additionally, employing multiple readability indices enhances the robustness of the conclusions. However, the research is limited by several factors. Outputs were generated within a specific time frame using publicly accessible interfaces, which may affect generalizability as models and user interfaces evolve. The standardized prompts, while enhancing comparability, do not account for the variability in real-world user interactions, particularly in multi-turn dialogues. Furthermore, the stochastic nature of large language model outputs means that the study evaluated only a single response per model per question, which may not accurately reflect average model performance.
Other limitations include the reliance on readability formulas as proxies for comprehensibility, which do not encompass factors such as medical numeracy or the impact of visual aids. The assessment tools used do not verify factual correctness or evaluate the effects on patient knowledge or clinical outcomes. Additionally, the JAMA benchmark, designed for static health websites, may not fully capture the transparency of conversational outputs. Future research should address these limitations by enforcing transparency, controlling readability, and developing layered output templates. Longitudinal monitoring of model iterations and patient-centered studies focusing on comprehension and decision-making will be essential for advancing the field.