DOI: https://doi.org/10.1371/journal.pone.0339908
PMID: https://pubmed.ncbi.nlm.nih.gov/41481594
تاريخ النشر: 2026-01-02
المؤلف: Yuanyuan Ren وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تستكشف هذه الدراسة فعالية نماذج اللغة الكبيرة (LLMs) في معالجة الأسئلة الشائعة حول تقويم الأسنان مقارنة بمحركات البحث التقليدية. تم تقييم ما مجموعه 45 سؤالًا عبر ست فئات باستخدام استبيان متعدد الأبعاد مصمم ذاتيًا. تم تقييم ردود خمسة نماذج لغة كبيرة وثلاثة محركات بحث من حيث الجودة والتعاطف وقابلية القراءة والرضا، مع الإشارة إلى أن نماذج اللغة الكبيرة تفوقت بشكل كبير على محركات البحث في جميع الأبعاد المقاسة. على وجه التحديد، حققت نماذج اللغة الكبيرة درجات متوسطة قدرها 4.00 في الجودة وقابلية القراءة، و3.75 في التعاطف، و8.00 في الرضا، مقارنةً بدرجات محركات البحث التي كانت 3.50 و3.50 و7.25، على التوالي (جميعها مع p < 0.001). تشير النتائج إلى أن نماذج اللغة الكبيرة، وخاصة GPT-4o، ليست فقط أكثر فعالية في تقديم ردود معلوماتية وتعاطفية ولكنها أيضًا تتفوق في فئات معينة مثل النتائج العلاجية، واختيار الأجهزة، واعتبارات التكلفة. تسلط هذه الدراسة الضوء على إمكانيات نماذج اللغة الكبيرة كأدوات قيمة لتعزيز تعليم المرضى في مجال تقويم الأسنان وإدارة الذات، مما يشير إلى تحول نحو دمج تقنيات الذكاء الاصطناعي المتقدمة في التواصل في الرعاية الصحية.
مقدمة
تسلط المقدمة الضوء على التأثير الكبير لتعليم المرضى وإدارة الذات على نتائج الرعاية الصحية، مشيرة إلى التحسينات في الالتزام بالعلاج (d = 0.316) والحد من إعادة الدخول إلى المستشفى خلال 30 يومًا (21%) وعمليات الاستشفاء (60%). ومع ذلك، فإن التحديات مثل الوقت المحدود للاستشارة والأعباء الثقيلة تعيق التواصل الفعال، مما يزيد من خطر النتائج السلبية (HR = 1.27-1.75). لقد برز الإنترنت كمصدر رئيسي لمعلومات الصحة، حيث يستخدم حوالي 83% من الباحثين عن معلومات صحية محركات البحث، والتي تؤثر على قرارات إدارة الذات لـ 75% من المستخدمين.
تناقش الورقة التقدم في الذكاء الاصطناعي (AI)، وخاصة نماذج اللغة الكبيرة (LLMs)، التي أظهرت وعدًا في تطبيقات الرعاية الصحية، بما في ذلك تعليم المرضى. أظهرت دراسات ملحوظة فعالية نماذج اللغة الكبيرة في التعليم الصحي المخصص وتفاعلات المرضى. على الرغم من هذه التقدمات، لا تزال هناك مخاوف بشأن دقة وقابلية قراءة المحتوى الذي تنتجه نماذج اللغة الكبيرة، مما يستدعي مزيدًا من البحث. تهدف الدراسة إلى تقييم ومقارنة أداء نماذج اللغة الكبيرة ومحركات البحث السائدة في معالجة الأسئلة الشائعة حول تقويم الأسنان، مما يقيم في النهاية إمكانيات نماذج اللغة الكبيرة كأدوات فعالة لتعليم المرضى وإدارة الذات في مجال تقويم الأسنان.
الطرق
تحدد قسم الطرق في هذه الدراسة الاعتبارات الأخلاقية والامتثال الإجرائي المتضمن في البحث الذي تم إجراؤه مع المشاركين البشريين. حصلت الدراسة على موافقة من مجلس مراجعة المؤسسات بجامعة بكين (رقم الموافقة: IRB00001052-24162)، مما يضمن الامتثال للمعايير الأخلاقية. تم الحصول على موافقة خطية مستنيرة من جميع المشاركين قبل إدراجهم، كما قدم أربعة مقيمين خبراء موافقتهم دون تلقي تعويض مالي.
حدث جمع البيانات على مدى فترة محددة من 20 ديسمبر 2024 إلى 5 يناير 2025. التزمت الدراسة بإرشادات تقرير STROBE (تعزيز الإبلاغ عن الدراسات الملاحظة في علم الأوبئة)، والتي تؤكد على الشفافية والدقة في منهجيات البحث الملاحظة.
النتائج
تشير نتائج الدراسة إلى اتفاق معتدل بين الخبراء، كما تم قياسه بواسطة معامل الارتباط داخل الفئة (ICC = 0.68، 95% CI [0.67، 0.69])، والذي يعتبر مقبولًا لتقييمات الخبراء الذاتية. من بين النماذج التي تم تقييمها، تفوقت GPT-4o[A] وGPT-4o mini[B] باستمرار على الآخرين، بما في ذلك Kimi AI وERNIE Bot وGoogle، عبر أربعة أبعاد: الجودة، التعاطف، قابلية القراءة، والرضا. كانت تصنيفات الأداء مستقرة عبر هذه الأبعاد، حيث تفوقت نماذج اللغة الكبيرة بشكل كبير على محركات البحث في جميع المقاييس (جميعها p < 0.001). من الجدير بالذكر أن GPT-4o[A] حققت أعلى درجات متوسطة مع نطاقات بين الربعين ضيقة (IQRs) في الجودة (الوسيط: 4.25، IQR: 4.00 ~ 4.25)، التعاطف (الوسيط: 4.25، IQR: 4.00 ~ 4.25)، قابلية القراءة (الوسيط: 4.25، IQR: 4.00 ~ 4.50)، والرضا (الوسيط: 8.75، IQR: 8.50 ~ 9.00). كشفت التحليلات أن نماذج اللغة الكبيرة أظهرت أحجام تأثير كبيرة (η² ≈ 0.40-0.57) عبر جميع المؤشرات، متفوقة بشكل كبير على محركات البحث في معظم الأبعاد لأسئلة "التكلفة" وفي الدقة الطبية، والكمال، والتركيز، وقابلية القراءة، والرضا لفئة "اختيار الأجهزة" (p < 0.05). في فئة "النتائج العلاجية"، أظهرت نماذج اللغة الكبيرة أيضًا مزايا كبيرة في الدقة الطبية، والجودة، والرضا (p < 0.05). من بين 45 سؤالًا تم تناولها، كانت أعلى استجابة مسجلة من نماذج اللغة الكبيرة للسؤال 17 ("هل يسبب علاج تقويم الأسنان تسوس الأسنان؟") مع درجة 4.12، بينما حصلت محركات البحث على درجات أعلى في السؤال 16 ("كيف يمكن منع انتكاسة تقويم الأسنان بعد العلاج؟") مع درجة 4.29. حصلت الأسئلة المتعلقة بالتكلفة على درجات أقل بشكل ملحوظ من كل من نماذج اللغة الكبيرة ومحركات البحث، مع اختلافات كبيرة لصالح نماذج اللغة الكبيرة (p < 0.01).
المناقشة
في هذه الدراسة، قام الباحثون بتجميع 45 سؤالًا شائعًا حول تقويم الأسنان عبر ست فئات من خلال مراجعات الأدبيات، والمنتديات عبر الإنترنت، والمقابلات شبه المنظمة. تم استخدام استبيان تقييم متعدد الأبعاد مصمم ذاتيًا لتقييم ردود خمسة نماذج لغة كبيرة (LLMs) وثلاثة محركات بحث، مع التركيز على الجودة، والتعاطف، وقابلية القراءة، والرضا. أشارت النتائج إلى أن نماذج اللغة الكبيرة، وخاصة GPT-4o، تفوقت على محركات البحث في توليد ردود عالية الجودة، محققة تقييمات خبراء متفوقة في الدقة الطبية، والكمال، والجودة العامة. يتماشى هذا مع الأبحاث السابقة التي تظهر فعالية نماذج اللغة الكبيرة في الاستفسارات المتعلقة بالصحة.
كما سلطت الدراسة الضوء على القدرات التوليدية لنماذج اللغة الكبيرة، التي تسمح بتوليف المعلومات والتعبير التعاطفي، مما قد يعزز تعليم المرضى وإدارة الذات. على الرغم من الأداء العالي لنماذج اللغة الكبيرة، تم ملاحظة بعض الأخطاء الواقعية العرضية، مما يبرز ضرورة الإشراف المهني في نشر معلومات الصحة. تضمنت القيود غياب تقييمات المرضى والاحتمالات المحتملة للتحيز في تقييمات الخبراء. يجب أن تتضمن الأبحاث المستقبلية وجهات نظر المرضى وتستخدم إصدارات نماذج محدثة لضمان موثوقية وملاءمة النتائج في السياقات الواقعية. بشكل عام، تشير النتائج إلى أن نماذج اللغة الكبيرة، وخاصة GPT-4o، تحمل وعدًا لتحسين تعليم المرضى في مجال تقويم الأسنان.
DOI: https://doi.org/10.1371/journal.pone.0339908
PMID: https://pubmed.ncbi.nlm.nih.gov/41481594
Publication Date: 2026-01-02
Author(s): Yuanyuan Ren et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the efficacy of Large Language Models (LLMs) in addressing common orthodontic questions compared to traditional search engines. A total of 45 questions across six categories were evaluated using a self-designed multidimensional questionnaire. Responses from five LLMs and three search engines were assessed on quality, empathy, readability, and satisfaction, with results indicating that LLMs significantly outperformed search engines in all measured dimensions. Specifically, LLMs achieved median scores of 4.00 in quality and readability, 3.75 in empathy, and 8.00 in satisfaction, compared to search engine scores of 3.50, 3.50, and 7.25, respectively (all with p < 0.001). The findings suggest that LLMs, especially GPT-4o, are not only more effective in providing informative and empathetic responses but also excel in specific categories such as therapeutic outcomes, appliance selection, and cost considerations. This research highlights the potential of LLMs as valuable tools for enhancing orthodontic patient education and self-management, indicating a shift towards integrating advanced AI technologies in healthcare communication.
Introduction
The introduction highlights the significant impact of patient education and self-management on healthcare outcomes, noting improvements in medication adherence (d = 0.316) and reductions in 30-day readmissions (21%) and hospitalizations (60%). However, challenges such as limited consultation time and heavy workloads hinder effective communication, increasing the risk of adverse outcomes (HR = 1.27-1.75). The Internet has emerged as a primary source for health information, with approximately 83% of health-information seekers utilizing search engines, which influence self-management decisions for 75% of users.
The paper discusses the advancements in artificial intelligence (AI), particularly Large Language Models (LLMs), which have shown promise in healthcare applications, including patient education. Notable studies have demonstrated the effectiveness of LLMs in personalized health education and patient interactions. Despite these advancements, there remain concerns regarding the accuracy and readability of LLM-generated content, necessitating further research. The study aims to systematically evaluate and compare the performance of LLMs and mainstream search engines in addressing common orthodontic questions, ultimately assessing the potential of LLMs as effective tools for patient education and self-management in orthodontics.
Methods
The methods section of this study outlines the ethical considerations and procedural adherence involved in research conducted with human participants. The study received approval from the Peking University Institutional Review Board (Approval No: IRB00001052-24162), ensuring compliance with ethical standards. Written informed consent was obtained from all participants prior to their inclusion, and four expert raters also provided consent without receiving financial compensation.
Data collection occurred over a defined period from December 20, 2024, to January 5, 2025. The study adhered to the STROBE (Strengthening the Reporting of Observational Studies in Epidemiology) reporting guideline, which emphasizes transparency and rigor in observational research methodologies.
Results
The results of the study indicate a moderate inter-expert agreement, as measured by the Intraclass Correlation Coefficient (ICC = 0.68, 95% CI [0.67, 0.69]), which is deemed acceptable for subjective expert ratings. Among the evaluated models, GPT-4o[A] and GPT-4o mini[B] consistently outperformed others, including Kimi AI, ERNIE Bot, and Google, across four dimensions: quality, empathy, readability, and satisfaction. The performance rankings were stable across these dimensions, with LLMs significantly surpassing search engines in all metrics (all p < 0.001). Notably, GPT-4o[A] achieved the highest median scores with narrow interquartile ranges (IQRs) in quality (median: 4.25, IQR: 4.00 ~ 4.25), empathy (median: 4.25, IQR: 4.00 ~ 4.25), readability (median: 4.25, IQR: 4.00 ~ 4.50), and satisfaction (median: 8.75, IQR: 8.50 ~ 9.00). The analysis revealed that LLMs exhibited large effect sizes (η² ≈ 0.40-0.57) across all indicators, significantly outperforming search engines in most dimensions for "Cost" questions and in medical accuracy, completeness, focus, readability, and satisfaction for the "Appliance Selection" category (p < 0.05). In the "Therapeutic Outcomes" category, LLMs also demonstrated significant advantages in medical accuracy, quality, and satisfaction (p < 0.05). Among the 45 questions addressed, the highest-scoring response from LLMs was for Question 17 ("Does orthodontic treatment cause dental caries?") with a score of 4.12, while search engines scored higher on Question 16 ("How can orthodontic relapse be prevented after treatment?") with a score of 4.29. Questions related to cost received notably lower scores from both LLMs and search engines, with significant differences favoring LLMs (p < 0.01).
Discussion
In this study, researchers systematically compiled 45 common orthodontic questions across six categories through literature reviews, online forums, and semi-structured interviews. A self-designed multidimensional evaluation questionnaire was utilized to assess responses from five large language models (LLMs) and three search engines, focusing on quality, empathy, readability, and satisfaction. The findings indicated that LLMs, particularly GPT-4o, outperformed search engines in generating high-quality responses, achieving superior expert ratings in medical accuracy, completeness, and overall quality. This aligns with previous research demonstrating LLMs’ effectiveness in health-related queries.
The study also highlighted the generative capabilities of LLMs, which allow for the synthesis of information and empathetic expression, potentially enhancing patient education and self-management. Despite the high performance of LLMs, occasional factual inaccuracies were noted, underscoring the necessity for professional oversight in health information dissemination. Limitations included the absence of patient evaluations and potential biases in expert scoring. Future research should incorporate patient perspectives and utilize updated model versions to ensure the reliability and relevance of findings in real-world contexts. Overall, the results suggest that LLMs, especially GPT-4o, hold promise for improving orthodontic patient education.