DOI: https://doi.org/10.1186/s41747-026-00682-6
PMID: https://pubmed.ncbi.nlm.nih.gov/41729370
تاريخ النشر: 2026-02-23
المؤلف: Moreno Zanardo وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
هدفت الدراسة إلى تقييم جودة وفائدة تقارير تصوير الرنين المغناطيسي للعمود الفقري القطني التي تم إنشاؤها بواسطة نموذج لغة كبير (LLM) مقارنة بتلك التي كتبها أطباء الأشعة. تم anonymizing 125 تقريرًا (104 مكتوبة بواسطة البشر و21 تم إنشاؤها بواسطة LLM باستخدام ChatGPT-4) وتم تقييمها من قبل خمسة متخصصين طبيين، الذين قاموا بتقييم التقارير على مقياس ليكرت من خمس نقاط عبر أبعاد مختلفة، بما في ذلك الأهمية السريرية والدقة التشخيصية. أشارت النتائج إلى أن التقارير المكتوبة بواسطة أطباء الأشعة حصلت باستمرار على درجات متوسطة أعلى (p < 0.001) عبر جميع المجالات التي تم تقييمها، على الرغم من عدم العثور على أي بيانات خاطئة سريريًا في التقارير التي تم إنشاؤها بواسطة LLM. كانت قدرة المقيمين على التمييز بين أنواع التقارير متفاوتة، حيث حقق طبيب الأشعة المعتمد دقة بلغت 88.0%. في الختام، بينما أظهرت التقارير التي كتبها أطباء الأشعة جودة ووضوحًا متفوقين، كانت بعض التقارير التي تم إنشاؤها بواسطة LLM غير قابلة للتمييز عن تلك المكتوبة بواسطة البشر، خاصة من قبل القراء غير المتخصصين. وهذا يشير إلى أن LLMs لديها القدرة على مساعدة أطباء الأشعة من خلال تعزيز كفاءة التقارير وتقليل الأعباء الإدارية. تدعو الدراسة إلى دمج LLMs بشكل مشرف في سير العمل في الأشعة، حيث يمكن لأطباء الأشعة تحسين المسودات التي تم إنشاؤها بواسطة الذكاء الاصطناعي، مما يحسن التواصل مع الأطباء المحيلين. يجب أن تركز الأبحاث المستقبلية على تحسين أداء LLM من خلال مجموعات بيانات تدريب أفضل وإشراف سريري قوي لضمان الدقة والموثوقية في البيئات السريرية.
مقدمة
تناقش مقدمة هذه الورقة البحثية التطور السريع للذكاء الاصطناعي التوليدي (AI)، وخاصة من خلال نماذج اللغة الكبيرة (LLMs) مثل ChatGPT وGemini، التي تستخدم بنية Transformer. هذه الأنظمة الذكية قادرة على فهم السياق وتوليد نصوص متماسكة، مما يؤدي إلى زيادة الاهتمام بتطبيقها في المجال الطبي، وخاصة في دعم التشخيص وسير العمل في الأشعة. التركيز هو على تصوير الرنين المغناطيسي للعمود الفقري القطني، وهو وسيلة تصوير حاسمة لتقييم حالات مثل مرض القرص التنكسي وضيق القناة الشوكية، والتي تؤثر بشكل كبير على جودة حياة المرضى.
تهدف الدراسة إلى تقييم جودة وفائدة تقارير الأشعة التي تم إنشاؤها بواسطة LLM مقارنة بتلك التي أنتجها أطباء الأشعة ذوو الخبرة. كما تحقق في ما إذا كان بإمكان أطباء الأشعة وغيرهم من المتخصصين الطبيين، مثل الأطباء العامين وجراحي العظام، التمييز بين الاختلافات في المحتوى والأسلوب بين التقارير التي تم إنشاؤها بواسطة الذكاء الاصطناعي وتلك المكتوبة بواسطة البشر. من المتوقع أن تُعلم النتائج جدوى دمج LLMs في الممارسة السريرية الروتينية، مما قد يعزز الكفاءة والاتساق في تقارير الأشعة مع الحفاظ على معايير الجودة العالية.
طرق
يستعرض قسم “المواد والطرق” التصميم التجريبي والإجراءات المستخدمة في الدراسة. يوضح المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، معدات، وعينات بيولوجية، مما يضمن إمكانية تكرار التجارب. تشمل المنهجية التقنيات المطبقة لجمع البيانات وتحليلها، مثل الاختبارات الإحصائية أو النماذج الحسابية، والتي تعتبر حاسمة للتحقق من النتائج.
بالإضافة إلى ذلك، قد يصف هذا القسم الإعداد التجريبي، بما في ذلك ظروف التحكم وأي متغيرات تم التلاعب بها خلال الدراسة. من خلال تقديم نظرة شاملة على الطرق، تهدف المؤلفون إلى تسهيل فهم كيفية الحصول على النتائج والسماح للباحثين الآخرين بتكرار الدراسة إذا رغبوا في ذلك.
نتائج
في هذه الدراسة، تم تحليل ما مجموعه 125 تقريرًا لتصوير الرنين المغناطيسي للعمود الفقري القطني، تتكون من 104 تقارير من خمسة أطباء أشعة معتمدين لديهم خبرة تتراوح بين 3 إلى 15 عامًا و21 تقريرًا تم إنشاؤه بواسطة ChatGPT-4o. ساهم أطباء الأشعة بحوالي 20 حالة لكل منهم، وتم استخراج تقاريرهم من قاعدة البيانات الداخلية لمستشفى IRCCS Ospedale Galeazzi-Sant’Ambrogio في ميلانو، إيطاليا. تم تجميع المؤشرات السريرية ونصوص التقارير الكاملة في قاعدة بيانات Excel للتقييم. تم تصميم التقارير التي تم إنشاؤها بواسطة الذكاء الاصطناعي لمحاكاة ظروف التقرير الواقعية، حيث تعمل كـ “طبيب أشعة افتراضي سادس” للحفاظ على الاتساق في عدد الحالات عبر المصادر.
من المهم أن الدراسة وجدت أن أيًا من التقارير التي تم إنشاؤها بواسطة الذكاء الاصطناعي لم تحتوي على بيانات خاطئة سريريًا أو متناقضة، مما يشير إلى مستوى عالٍ من الدقة في المحتوى الذي تم إنشاؤه. تتكون مجموعة البيانات النهائية من 104 تقارير أصلية (83.2%) و21 تقريرًا تم إنشاؤه بواسطة الذكاء الاصطناعي (16.8%)، جميعها تم anonymizing لحماية هويات كل من أطباء الأشعة والمرضى. كانت هذه المقاربة المنظمة تهدف إلى تقليل التباين بين المقيمين البشريين وتوفير تقييم شامل لقدرات التقرير لكل من المخرجات البشرية وتلك التي تم إنشاؤها بواسطة الذكاء الاصطناعي.
مناقشة
تسلط قسم المناقشة في الدراسة الضوء على التحليل المقارن لتقارير تصوير الرنين المغناطيسي للعمود الفقري القطني التي تم إنشاؤها بواسطة نموذج لغة كبير (LLM) وتلك التي كتبها أطباء الأشعة ذوو الخبرة. تشير النتائج إلى أن التقارير المكتوبة بواسطة أطباء الأشعة تفوقت بشكل كبير على التقارير التي تم إنشاؤها بواسطة LLM من حيث الأهمية السريرية، ووضوح نتائج التصوير، والانطباعات التشخيصية، والامتثال لمعايير التقرير الهيكلية. على الرغم من الجودة المتفوقة للتقارير التي أنشأها البشر، كانت نسبة ملحوظة من مخرجات LLM مصنفة بشكل خاطئ على أنها من تأليف أطباء الأشعة، خاصة من قبل المقيمين غير المتخصصين، مما يشير إلى أن LLMs يمكن أن تحاكي بشكل مقنع أسلوب وبنية التقارير المهنية.
تفاوت أداء المقيمين بشكل كبير، حيث حقق طبيب الأشعة المعتمد أعلى دقة في تمييز أصول التقارير، بينما واجه بعض المقيمين والأطباء غير المتخصصين صعوبة، وغالبًا ما تم تحديد تقارير LLM بشكل خاطئ. يبرز هذا التباين تأثير الخبرة المهنية والألفة مع معايير تقارير الأشعة على القدرة على تقييم جودة التقرير بشكل نقدي. تدعو الدراسة إلى سير عمل هجين حيث تساعد LLMs في صياغة التقارير بناءً على البيانات السريرية الرئيسية، والتي يقوم أطباء الأشعة بمراجعتها وإنهائها. يمكن أن تعزز هذه المقاربة الكفاءة والوضوح في التواصل مع الحفاظ على الإشراف اللازم لضمان الدقة التشخيصية وسلامة المرضى. يجب أن تركز الأبحاث المستقبلية على تحسين دمج LLMs في الممارسة السريرية، مع التأكيد على أهمية الإشراف الهيكلي والاعتبارات الأخلاقية في نشرها.
القيود
تقدم الدراسة عدة قيود قد تؤثر على صحة وعمومية نتائجها. أولاً، تم إجراؤها في مؤسسة واحدة مع حجم عينة صغير وغير متوازن، خاصة فيما يتعلق بعدد التقارير التي تم إنشاؤها بواسطة الذكاء الاصطناعي، مما يقيد قابلية تطبيق النتائج على سياقات أوسع. بالإضافة إلى ذلك، قد لا يمثل العدد المحدود من المراقبين البشريين التباين في التقييمات التي قد تنشأ من مجموعة أكبر أو أكثر تنوعًا من أطباء الأشعة أو الأطباء.
ثانيًا، قد يكون وعي المقيمين بوجود كل من التقارير المكتوبة بواسطة أطباء الأشعة وتلك التي تم إنشاؤها بواسطة الذكاء الاصطناعي في مجموعة البيانات قد أدخل تحيز الكشف. تم إجراء عملية التقييم في شكل ثابت ومجهول الهوية، مما يفتقر إلى التكامل في سير العمل السريري الحقيقي، مما قد يؤدي إلى تقييم غير دقيق لفائدة التقارير الفعلية. علاوة على ذلك، ركزت الدراسة فقط على نموذج لغة كبير واحد، ChatGPT-4o، وقد لا تكون النتائج قابلة للتطبيق على نماذج أخرى أو إصدارات مستقبلية. من المهم أيضًا ملاحظة أن ChatGPT-4o لم يتم اعتماده للاستخدام السريري في تقارير التصوير الطبي، مما يعني أن التقارير التي تم إنشاؤها يجب أن تُعتبر strictly كمخرجات بحثية بدلاً من الوثائق السريرية. أخيرًا، على الرغم من تنوع المقيمين، قد يحد غياب أطباء الأشعة الكبار من شمولية النتائج، حيث يمكن أن تختلف أحكامهم بشكل كبير عن تلك الخاصة بالمقيمين والأطباء المحيلين.
DOI: https://doi.org/10.1186/s41747-026-00682-6
PMID: https://pubmed.ncbi.nlm.nih.gov/41729370
Publication Date: 2026-02-23
Author(s): Moreno Zanardo et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
The study aimed to evaluate the quality and clinical utility of lumbar spine MRI reports generated by a large language model (LLM) compared to those authored by radiologists. A total of 125 reports (104 human-written and 21 LLM-generated using ChatGPT-4) were anonymized and assessed by five medical professionals, who scored the reports on a five-point Likert scale across various dimensions, including clinical relevance and diagnostic accuracy. The results indicated that radiologist-written reports consistently received higher median scores (p < 0.001) across all evaluated domains, although no clinically false statements were found in the LLM-generated reports. The ability of evaluators to distinguish between report types varied, with the board-certified radiologist achieving an accuracy of 88.0%. In conclusion, while radiologist-authored reports demonstrated superior quality and clarity, some LLM-generated reports were indistinguishable from human-written ones, particularly by non-specialist readers. This suggests that LLMs have the potential to assist radiologists by enhancing reporting efficiency and reducing administrative burdens. The study advocates for a supervised integration of LLMs into radiology workflows, where radiologists can refine AI-generated drafts, thereby improving communication with referring physicians. Future research should focus on optimizing LLM performance through better training datasets and robust clinical oversight to ensure accuracy and reliability in clinical settings.
Introduction
The introduction of this research paper discusses the rapid evolution of generative artificial intelligence (AI), particularly through large language models (LLMs) like ChatGPT and Gemini, which utilize the Transformer architecture. These AI systems are adept at understanding context and generating coherent text, leading to increased interest in their application within the medical field, specifically in diagnostic support and radiology workflows. The focus is on lumbar spine MRI, a critical imaging modality for assessing conditions such as degenerative disc disease and spinal stenosis, which significantly impact patient quality of life.
The study aims to evaluate the quality and clinical utility of LLM-generated radiology reports compared to those produced by experienced radiologists. It further investigates whether radiologists and other medical professionals, such as general practitioners and orthopedic surgeons, can discern differences in content and style between AI-generated and human-written reports. The findings are expected to inform the feasibility of integrating LLMs into routine clinical practice, potentially enhancing efficiency and consistency in radiology reporting while maintaining high-quality standards.
Methods
The “Materials and Methods” section outlines the experimental design and procedures employed in the study. It details the specific materials used, including any reagents, equipment, and biological samples, ensuring reproducibility of the experiments. The methodology encompasses the techniques applied for data collection and analysis, such as statistical tests or computational models, which are crucial for validating the findings.
Additionally, this section may describe the experimental setup, including control conditions and any variables manipulated during the study. By providing a comprehensive overview of the methods, the authors aim to facilitate understanding of how the results were obtained and to allow other researchers to replicate the study if desired.
Results
In this study, a total of 125 lumbar spine MRI reports were analyzed, comprising 104 reports from five board-certified radiologists with 3 to 15 years of experience and 21 reports generated by ChatGPT-4o. The radiologists contributed approximately 20 cases each, and their reports were extracted from the internal database of IRCCS Ospedale Galeazzi-Sant’Ambrogio in Milan, Italy. Clinical indications and full report texts were compiled into an Excel database for evaluation. The AI-generated reports were designed to simulate realistic reporting conditions, acting as a “virtual sixth radiologist” to maintain consistency in the number of cases across sources.
Importantly, the study found that none of the AI-generated reports contained clinically incorrect or contradictory statements, indicating a high level of accuracy in the generated content. The final dataset consisted of 104 original reports (83.2%) and 21 AI-generated reports (16.8%), all anonymized to protect the identities of both radiologists and patients. This structured approach aimed to reduce heterogeneity among human raters and provide a comprehensive evaluation of the reporting capabilities of both human and AI-generated outputs.
Discussion
The discussion section of the study highlights the comparative analysis of lumbar spine MRI reports generated by a large language model (LLM) and those authored by experienced radiologists. The findings indicate that radiologist-written reports significantly outperformed LLM-generated reports in terms of clinical relevance, clarity of imaging findings, diagnostic impressions, and adherence to structured reporting standards. Despite the superior quality of human-generated reports, a notable proportion of LLM outputs were misclassified as radiologist-authored, particularly by non-specialist evaluators, suggesting that LLMs can convincingly mimic the style and structure of professional reporting.
Evaluator performance varied significantly, with the board-certified radiologist achieving the highest accuracy in distinguishing report origins, while some residents and non-radiologist clinicians struggled, often misidentifying LLM reports. This variability underscores the influence of professional experience and familiarity with radiology reporting standards on the ability to critically assess report quality. The study advocates for a hybrid workflow where LLMs assist in drafting reports based on key clinical data, which radiologists would then review and finalize. This approach could enhance efficiency and clarity in communication while maintaining the necessary oversight to ensure diagnostic accuracy and patient safety. Future research should focus on optimizing the integration of LLMs into clinical practice, emphasizing the importance of structured oversight and ethical considerations in their deployment.
Limitations
The study presents several limitations that may affect the validity and generalizability of its findings. Firstly, it was conducted at a single institution with a small and unbalanced sample size, particularly regarding the number of AI-generated reports, which restricts the applicability of the results to broader contexts. Additionally, the limited number of human observers may not adequately represent the variability in assessments that could arise from a larger or more diverse group of radiologists or physicians.
Secondly, the evaluators’ awareness of the inclusion of both radiologist-written and AI-generated reports in the dataset may have introduced detection bias. The evaluation process was conducted in a static and anonymized format, lacking integration into real clinical workflows, which could lead to an inaccurate assessment of the reports’ actual utility. Furthermore, the study focused solely on one large language model, ChatGPT-4o, and the findings may not be applicable to other models or future iterations. It is also important to note that ChatGPT-4o has not been certified for clinical use in medical imaging reporting, meaning the generated reports should be viewed strictly as research outputs rather than clinical documentation. Lastly, while the evaluators were diverse, the absence of senior radiologists may limit the comprehensiveness of the findings, as their judgments could differ significantly from those of residents and referring clinicians.