DOI: https://doi.org/10.2196/84668
PMID: https://pubmed.ncbi.nlm.nih.gov/41838894
تاريخ النشر: 2026-01-22
المؤلف: Florian Reis وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
تستقصي هذه الدراسة أنماط استجابة نماذج اللغة الكبيرة (LLMs) للاستفسارات الطبية بمستويات مختلفة من العجلة، مما يبرز الحاجة الملحة لإخلاءات المسؤولية والإحالات في النصائح الصحية المقدمة من قبل هذه النماذج. شملت الأبحاث تقييمًا منهجيًا لـ 908 استجابات تم إنشاؤها بواسطة أربعة نماذج LLM بارزة—GPT-4o، Claude Sonnet-4، Grok-3، وDeepSeek-V3—عبر 227 استفسارًا حقيقيًا من المرضى مصنفة إلى ثلاث فئات من العجلة: منخفضة، متوسطة، وعالية. كشفت التحليلات أن جميع النماذج أظهرت اتجاهات ذات دلالة إحصائية، حيث تلقت الاستفسارات ذات العجلة العالية نصائح إحالة أكثر وضوحًا. ومن الجدير بالذكر أن 97% من الاستجابات أوصت بالتشاور مع متخصص طبي، حيث أظهرت Sonnet-4 وGrok-3 وGPT-4o نهجًا محافظًا، بينما عرضت DeepSeek-V3 توزيعًا أوسع للنصائح.
تشير النتائج إلى أن LLMs تمتلك آليات أمان تستجيب للعجلة، على الرغم من أن تنفيذ هذه التدابير الأمنية يختلف بشكل كبير بين النماذج. تؤكد الدراسة على ضرورة وجود بروتوكولات أمان موحدة وأطر تنظيمية لضمان الاستخدام المسؤول لأدوات الذكاء الاصطناعي في نشر المعلومات الصحية، نظرًا لزيادة وصولها إلى الجمهور.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي لنماذج اللغة الكبيرة (LLMs) على مشهد الرعاية الصحية، لا سيما في كيفية بحث الأفراد عن المعلومات الطبية. من الاتجاهات الملحوظة هو الاعتماد المتزايد على أنظمة الذكاء الاصطناعي المحادثة، مثل ChatGPT من OpenAI، من قبل الأفراد الذين يفتقرون إلى الوصول المنتظم إلى الرعاية الأولية. يشير هذا التحول إلى الابتعاد عن نماذج الاستشارة الصحية التقليدية، مما يسهل مسارًا موازًا للوصول إلى المعلومات الصحية والتشخيص الذاتي، مما قد يغير أنماط استخدام الرعاية الصحية وديناميات المريض والمساهمين بشكل كبير.
بينما تظهر LLMs قدرات مثيرة للإعجاب في توليد معلومات طبية ذات صلة سياقية وتظهر أداءً قويًا في التفكير التشخيصي، فإنها تواجه أيضًا قيودًا حرجة، بما في ذلك القابلية للهلاوس والتحديات المتعلقة بالتفكير السريري الدقيق. تؤكد الورقة على أهمية إدراك المرضى وثقتهم في قبول النصائح الطبية التي تم إنشاؤها بواسطة الذكاء الاصطناعي، مشيرة إلى أن الأفراد غالبًا ما ينظرون إلى التوصيات التي تم إنشاؤها بواسطة الذكاء الاصطناعي بشك مقارنة بتلك التي يقدمها الخبراء البشريون. يدعو المؤلفون إلى تطوير إخلاءات مسؤولية فعالة ومسارات إحالة لتعزيز الثقة والفهم بين المرضى. علاوة على ذلك، تتناول الورقة التحديات التنظيمية المحيطة بـ LLMs في الرعاية الصحية، مما يبرز الحاجة إلى أطر شاملة لتوضيح المسؤولية وضمان سلامة المرضى. لمعالجة الفجوات الموجودة، تقترح الدراسة إطار تقييم منهجي يقيم أنماط إخلاء المسؤولية لـ LLM بناءً على العجلة السريرية، بهدف وضع معايير توازن بين حماية المستخدم وفوائد المعلومات الصحية التي تم إنشاؤها بواسطة LLM.
الطرق
يستعرض قسم “الطرق” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث نفذوا تجربة محكومة لتقييم تأثير المتغير X على النتيجة Y. شملت جمع البيانات عينة من N مشاركًا، تم تعيينهم عشوائيًا إلى مجموعة العلاج أو مجموعة التحكم. تم استخدام مقاييس موحدة لضمان الموثوقية والصلاحية، بما في ذلك الأداة Z لتقييم النتيجة Y.
تم إجراء التحليلات الإحصائية باستخدام البرنامج W، مع تحديد مستويات الدلالة عند p < 0.05. شملت التحليلات الأساسية مقارنة المتوسطات بين المجموعتين، باستخدام اختبارات t حيثما كان ذلك مناسبًا. بالإضافة إلى ذلك، تم إجراء تحليلات انحدار للتحكم في المتغيرات المربكة المحتملة. تم تصميم الطرق لاختبار الفرضية بدقة وضمان أن النتائج يمكن تعميمها على مجموعة سكانية أوسع.
النتائج
في هذه الدراسة، تم إجراء تقييم استباقي على 908 استجابات تم إنشاؤها بواسطة أربعة نماذج متقدمة من نماذج اللغة الكبيرة (LLMs)—GPT-4o، Claude Sonnet-4، Grok-3، وDeepSeek-V3—عبر 227 استفسارًا حقيقيًا من المرضى بمستويات مختلفة من العجلة. كشفت النتائج عن وجود ارتباط كبير بين عجلة الاستفسارات وطبيعة إخلاءات المسؤولية ونصائح الإحالة المقدمة من النماذج. أظهرت جميع النماذج اتجاهًا لتقديم إحالات أكثر وضوحًا وعجلة مع زيادة عجلة الاستفسار. بينما كانت الدرجات الوسيطة لإخلاءات المسؤولية والإحالات متسقة عبر النماذج، اختلف توزيع هذه الدرجات، حيث حققت Sonnet-4 وGrok-3 وGPT-4o أعلى تقييمات للإحالة (89%، 89%، و88%، على التوالي)، مقارنة بـ DeepSeek-V3، التي حصلت على تقييم أقل بلغ 74% وتنوع أكبر في استجابتها.
من المهم أن الدراسة وجدت أن إخلاءات المسؤولية والإحالات كانت موجودة في ما يقرب من جميع الاستجابات، حيث كانت أقل من 1% تفتقر إلى هذه المكونات. ومع ذلك، أظهرت النماذج سلوكيات مختلفة في الطرف الأدنى من التوزيع، لا سيما في الحالات التي تحتوي على إخلاءات مسؤولية قليلة أو إحالات عاجلة. قد تنشأ هذه التباينات من اختلافات في التصميم المعماري وتدريب النماذج، حيث اعتمدت Sonnet-4 وGrok-3 وGPT-4o نهجًا أكثر تحفظًا تجاه إخلاءات المسؤولية مقارنة باستجابات DeepSeek-V3 الأكثر تباينًا. بينما تشير التقييمات الأعلى للنماذج الملكية إلى توافق أفضل مع معايير الأمان، فإن النموذج ذو الوزن المفتوح DeepSeek يقدم شفافية أكبر وقابلية للتكيف، على الرغم من وجود ميزات أمان أقل اتساقًا.
المناقشة
تستقصي الدراسة كيف تدمج نماذج اللغة الكبيرة (LLMs) إخلاءات المسؤولية ونصائح الإحالة استجابةً للاستفسارات الطبية بمستويات مختلفة من العجلة. باستخدام مجموعة بيانات تضم أكثر من 100,000 حوار بين المرضى والأطباء، ركز الباحثون على 227 استفسارًا تلبي معايير محددة للتحليل. تم تصنيف هذه الاستفسارات إلى ثلاث مستويات من العجلة بواسطة مقيمين مستقلين، وتم تقييم أربعة نماذج LLM متطورة لاستجاباتها. كشفت التحليلات أن الحالات ذات العجلة الأعلى دفعت إلى إخلاءات مسؤولية وإحالات أكثر وضوحًا عبر جميع النماذج، حيث أظهرت GPT-4o أفضل توافق مع تقييمات البشر. أكدت الاختبارات الإحصائية الاتجاهات الكبيرة في نصائح إخلاء المسؤولية والإحالة المرتبطة بعجلة الحالة، مما يبرز آليات الأمان التكيفية للنماذج.
تشير النتائج إلى أنه بينما تقدم LLMs الحديثة عمومًا استجابات قوية موجهة نحو الأمان، فإن التباينات بين النماذج تشير إلى الحاجة إلى تدابير أمان موحدة في النصائح الطبية التي تم إنشاؤها بواسطة الذكاء الاصطناعي. تؤكد الدراسة على الآثار السريرية لإخلاءات المسؤولية، حيث يمكن أن تشكل النصائح غير الكافية أو غير المتسقة مخاطر على سلامة المرضى. علاوة على ذلك، تؤكد على ضرورة وجود أطر تنظيمية لضمان الاستخدام المسؤول لـ LLMs في الرعاية الصحية، نظرًا لإمكانياتها في التأثير على سلوك المرضى ونتائجهم. يجب أن تستكشف الأبحاث المستقبلية فعالية هذه الآليات الأمنية على المدى الطويل وتأثيرها على قرارات رعاية المرضى.
القيود
تقدم الدراسة عدة قيود قد تؤثر على صلاحية وملاءمة نتائجها. أولاً، يحد الاعتماد على الاستفسارات النصية، التي قد تتداخل مع بيانات تدريب النماذج، من إمكانية تعميم النتائج، لا سيما أن التفاعلات متعددة الوسائط التي تشمل موارد إضافية مثل الصور لم تؤخذ بعين الاعتبار. بالإضافة إلى ذلك، قد لا يعكس نظام تصنيف إخلاء المسؤولية والإحالة، المصمم لسياقات الصحة الرقمية، إرشادات السلامة الطبية المناسبة في المستشفيات أو البيئات الطارئة. لم يتم تقييم الاستقرار الزمني لأنماط إخلاء المسؤولية، مما قد يغفل التغييرات الناتجة عن تحديثات النموذج أو تحسينه.
علاوة على ذلك، تم تحديد تسميات العجلة الحقيقية من قبل مقيمين اثنين فقط—طبيب نفسي وطبيب—مما أدخل تباينًا بناءً على خبراتهم المختلفة. يركز نظام تقييم الدراسة على وجود وجودة الإحالات أكثر من كفاية ومكان إخلاءات المسؤولية، مما قد يقيد تحليل الاستجابات الأمنية المعقدة عندما تكون كل من إخلاءات المسؤولية والإحالات موجودة. أخيرًا، يثير استخدام GPT-4o كمولد ومقيم مخاوف بشأن التحيز المحتمل للبائع، حيث قد يفضل النموذج المخرجات المماثلة لمخرجاته الخاصة. من المهم أن الدراسة لم تقيم دقة النصائح الطبية المقدمة، حيث ركزت بدلاً من ذلك على وجود ونوع إخلاءات المسؤولية ونصائح الإحالة.
DOI: https://doi.org/10.2196/84668
PMID: https://pubmed.ncbi.nlm.nih.gov/41838894
Publication Date: 2026-01-22
Author(s): Florian Reis et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This study investigates the response patterns of large language models (LLMs) to medical queries of varying urgency levels, highlighting the critical need for disclaimers and referrals in health-related advice provided by these models. The research involved a systematic evaluation of 908 responses generated by four prominent LLMs—GPT-4o, Claude Sonnet-4, Grok-3, and DeepSeek-V3—across 227 authentic patient queries classified into three urgency categories: low, intermediate, and high. The analysis revealed that all models exhibited statistically significant trends, with higher-urgency queries receiving more explicit referral advice. Notably, 97% of responses recommended consulting a medical professional, with Sonnet-4, Grok-3, and GPT-4o showing a conservative approach, while DeepSeek-V3 displayed a broader distribution of advice.
The findings indicate that LLMs possess urgency-responsive safety mechanisms, although the implementation of these safety measures varies significantly among models. The study underscores the necessity for standardized safety protocols and regulatory frameworks to ensure the responsible use of AI tools in health information dissemination, given their increasing accessibility to the public.
Introduction
The introduction of this research paper highlights the transformative impact of large language models (LLMs) on the healthcare landscape, particularly in how individuals seek medical information. A notable trend is the increased reliance on conversational AI systems, such as OpenAI’s ChatGPT, by individuals lacking regular access to primary care. This shift signifies a departure from traditional healthcare consultation models, facilitating a parallel pathway for health information access and self-diagnosis, which could significantly alter healthcare utilization patterns and patient-stakeholder dynamics.
While LLMs exhibit impressive capabilities in generating contextually relevant medical information and demonstrate strong performance in diagnostic reasoning, they also face critical limitations, including susceptibility to hallucinations and challenges with nuanced clinical reasoning. The paper underscores the importance of patient perception and trust in the acceptance of AI-generated medical advice, noting that individuals often view AI-generated recommendations with skepticism compared to those from human experts. The authors advocate for the development of effective disclaimers and referral pathways to enhance trust and understanding among patients. Furthermore, the paper addresses the regulatory challenges surrounding LLMs in healthcare, emphasizing the need for comprehensive frameworks to clarify liability and ensure patient safety. To address existing gaps, the study proposes a systematic evaluation framework that assesses LLM disclaimer patterns based on clinical urgency, aiming to establish standards that balance user protection with the benefits of LLM-generated health information.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, implementing a controlled experiment to assess the effects of variable X on outcome Y. Data collection involved a sample size of N participants, who were randomly assigned to either the treatment or control group. Standardized measures were used to ensure reliability and validity, including instrument Z for assessing outcome Y.
Statistical analyses were conducted using software W, with significance levels set at p < 0.05. The primary analysis involved a comparison of means between the two groups, employing t-tests where appropriate. Additionally, regression analyses were performed to control for potential confounding variables. The methods were designed to rigorously test the hypothesis and ensure that the findings could be generalized to a broader population.
Results
In this study, a prospective evaluation was conducted on 908 responses generated by four advanced large language models (LLMs)—GPT-4o, Claude Sonnet-4, Grok-3, and DeepSeek-V3—across 227 authentic patient queries of varying urgency. The findings revealed a significant correlation between the urgency of the queries and the nature of the disclaimers and referral advice provided by the models. All models demonstrated a trend of offering more explicit and urgent referrals as query urgency increased. While the median scores for disclaimers and referrals were consistent across the models, the distribution of these scores varied, with Sonnet-4, Grok-3, and GPT-4o achieving the highest referral ratings (89%, 89%, and 88%, respectively), compared to DeepSeek-V3, which had a lower rating of 74% and greater variability in its responses.
Importantly, the study found that disclaimers and referrals were included in nearly all responses, with less than 1% lacking these components. However, the models exhibited differing behaviors at the lower end of the distribution, particularly in cases with minimal disclaimers or urgent referrals. This variability may stem from differences in the architectural design and training of the models, with Sonnet-4, Grok-3, and GPT-4o adopting a more conservative approach to disclaimers compared to the more variable responses of DeepSeek-V3. While the higher ratings of proprietary models suggest better safety alignments, the open-weight model DeepSeek offers greater transparency and adaptability, albeit with less consistent safety features.
Discussion
The study investigates how large language models (LLMs) incorporate disclaimers and referral advice in response to medical queries of varying urgency. Utilizing a dataset of over 100,000 patient-doctor dialogues, the researchers focused on 227 queries that met specific criteria for analysis. These queries were classified into three urgency levels by independent raters, and four state-of-the-art LLMs were evaluated for their responses. The analysis revealed that higher urgency cases prompted more explicit disclaimers and referrals across all models, with GPT-4o demonstrating the best alignment with human ratings. Statistical tests confirmed significant trends in disclaimer and referral advice correlating with case urgency, highlighting the models’ adaptive safety mechanisms.
The findings indicate that while modern LLMs generally provide robust safety-oriented responses, discrepancies among models suggest a need for standardized safety measures in AI-generated medical advice. The study underscores the clinical implications of disclaimers, as inadequate or inconsistent advice could pose risks to patient safety. Furthermore, it emphasizes the necessity for regulatory frameworks to ensure the responsible use of LLMs in healthcare, given their potential to influence patient behavior and outcomes. Future research should explore the long-term effectiveness of these safety mechanisms and their impact on patient care decisions.
Limitations
The study presents several limitations that may affect the validity and applicability of its findings. Firstly, the reliance on text-based queries, which could overlap with the models’ training data, limits the generalizability of the results, particularly as multimodal interactions involving supplementary resources like images were not considered. Additionally, the disclaimer and referral classification system, designed for digital health contexts, may not adequately reflect medical safety guidance applicable in hospital or emergency settings. The temporal stability of disclaimer patterns was not evaluated, potentially overlooking changes due to model updates or finetuning.
Moreover, the ground-truth urgency labels were determined by only two raters—a physician and a psychologist—introducing variability based on their differing expertise. The study’s scoring system emphasizes the presence and quality of referrals over the adequacy and placement of disclaimers, which may restrict the analysis of complex safety responses when both disclaimers and referrals are present. Lastly, employing GPT-4o as both the generator and evaluator raises concerns about potential vendor bias, as the model may favor outputs similar to its own. Importantly, the study did not assess the accuracy of the medical advice provided, focusing instead on the presence and type of disclaimers and referral advice.