DOI: https://doi.org/10.1038/s41431-026-02054-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41735669
تاريخ النشر: 2026-02-24
المؤلف: Justin Reese وآخرون
الموضوع الرئيسي: علم الجينوم والأمراض النادرة
نظرة عامة
تقيّم هذه القسم أداء نماذج اللغة الكبيرة (LLMs) في تشخيص الأمراض الوراثية من خلال تقييمها مقابل 5213 تقرير حالة منشور. باستخدام مخطط فينوباكيت، وأطلس الظواهر البشرية، وأطلس الأمراض موند، شمل البحث إرسال مطالبات مستمدة من فينوباكيت إلى سبعة LLMs، بما في ذلك النماذج العامة والمتخصصة في الطب. أشارت النتائج إلى أن أفضل أداء لـ LLM حدد التشخيص بشكل صحيح أولاً في 23.6% من الحالات، بينما حقق أداة التشخيص التقليدية، إكسوميسر، دقة أعلى بلغت 35.5%.
تشير النتائج إلى أنه على الرغم من أن LLMs تظهر تحسنًا في دعم التشخيص التفريقي، إلا أن أدائها لا يزال متخلفًا عن أدوات المعلوماتية الحيوية المعتمدة. يبرز البحث الحاجة إلى مزيد من البحث لاستكشاف طرق فعالة لدمج LLMs في الأطر التشخيصية الحالية، بهدف تعزيز فائدتها في الإعدادات السريرية.
مقدمة
تسلط المقدمة الضوء على انتشار وتحديات التشخيص المرتبطة بالأمراض النادرة (RDs)، التي تؤثر بشكل جماعي على 3.5% إلى 8% من السكان، حيث يتحمل الأفراد غالبًا رحلة تشخيص تستمر من 5 إلى 7 سنوات. يتم التأكيد على استخدام الطرق الحسابية لمقارنة الشذوذات الظاهرة ضد ملفات الأمراض المعتمدة، لا سيما من خلال أطلس الظواهر البشرية (HPO)، كعنصر حاسم في عملية التشخيص. تشير التقييمات الأخيرة لنماذج اللغة الكبيرة (LLMs) إلى إمكانية استخدامها في التشخيص التفريقي، حيث يمكنها توليد قوائم مرتبة من التشخيصات المحتملة بناءً على روايات المرضى.
ومع ذلك، أظهر أداء LLMs في هذا السياق تباينًا كبيرًا، من المحتمل أن يكون متأثرًا بالتقييمات الذاتية لمخرجاتها. لمعالجة ذلك، جمع المؤلفون بيانات من 5,213 فردًا لديهم تشخيصات مؤكدة وأنشأوا مطالبات موحدة للتقييم. تشير نتائجهم إلى أنه بينما تمتلك LLMs وعدًا، فإن أدوات المعلوماتية الحيوية التقليدية، وبشكل خاص إكسوميسر، تظهر أداءً متفوقًا في مجال التشخيص التفريقي لعلم الوراثة البشرية.
طرق
في هذه الدراسة، نقترح استراتيجية تقييم لمقارنة أداء نماذج اللغة الكبيرة (LLMs) مع إكسوميسر، أداة متخصصة لدعم التشخيص التفريقي في علم الوراثة البشرية. نظرًا لاختلاف تنسيقات المخرجات – حيث تولد LLMs استجابات نصية حرة بينما ينتج إكسوميسر قائمة مرتبة من التشخيصات باستخدام وراثة مندلية على الإنترنت في الإنسان (OMIM) أو رموز أورفانيت – أنشأنا إطار عمل مشترك لتقييم الدقة. هذا الإطار مهم بشكل خاص حيث أن العديد من الأدوات الوراثية، بما في ذلك إكسوميسر، تنتج تشخيصات دقيقة، مثل متلازمة باردت-بيدل (OMIM:615991).
لتسهيل مقارنة عادلة، ركزنا فقط على النتائج الظاهرة، حيث إن LLMs ليست مُحسّنة لإعطاء الأولوية للتشخيصات الوراثية. تعالج استراتيجيتنا التقييمية مجموعات من الأمراض المتطابقة سريريًا أو المرتبطة ارتباطًا وثيقًا كمعادلة. على سبيل المثال، تعتبر جميع المتغيرات الوراثية لمتلازمة باردت-بيدل معادلة عند ترتيب التشخيص الصحيح. يسمح هذا النهج بتقييم أكثر معنى لقدرات LLMs في سياق التشخيص الوراثي.
نتائج
في هذا القسم، يقدم المؤلفون نظرة شاملة على الأدبيات ذات الصلة بدراستهم، مع تسليط الضوء على التحديات القائمة في التقييم العادل لنماذج اللغة الكبيرة (LLMs) في مهام التشخيص التفريقي. يوضحون منهجيتهم لتقييم أداء LLMs بشكل خاص في سياق دعم تشخيص الأمراض النادرة.
علاوة على ذلك، يقدم المؤلفون تحليلًا مقارنًا لسبعة LLMs مقابل إكسوميسر، باستخدام مجموعة بيانات تتكون من 5,213 حالة. يهدف هذا التقييم إلى توضيح القدرات والقيود الخاصة بـ LLMs في تشخيص الأمراض النادرة، مما يساهم في تقديم رؤى قيمة للنقاش المستمر حول تطبيق الذكاء الاصطناعي في التشخيص الطبي.
مناقشة
في هذه الدراسة، قام المؤلفون بتقييم أداء نماذج اللغة الكبيرة (LLMs) المختلفة في التشخيص التفريقي باستخدام مجموعة بيانات من 5,213 تقرير حالة حسابي مصاغة كفينوباكيت، والتي تتوافق مع معايير التحالف العالمي لعلم الجينوم والصحة (GA4GH). يتضمن كل فينوباكيت تمثيلات منظمة للميزات السريرية، مستمدة من 726 منشورًا، ويشمل 378 مرضًا وراثيًا أو صبغيًا فريدًا. استخدمت الدراسة نهجًا حسابيًا لتقييم استجابات LLM من خلال رسم التشخيصات المولدة إلى أطلس الأمراض موند، مما يسمح بتقييم أكثر موضوعية لدقة التشخيص. أشارت النتائج إلى أن إكسوميسر، أداة المعلوماتية الحيوية التقليدية، تفوقت بشكل كبير على جميع LLMs المختبرة، محققة دقة من المرتبة الأولى بلغت 35.5% مقارنة بـ 23.6% لأفضل أداء لـ LLM (o1 preview).
كما أبرز التحليل أنه بينما أظهرت LLMs بعض القدرة على توليد التشخيصات التفريقية، كان أداؤها أدنى بشكل ملحوظ من إكسوميسر عبر مجموعات فرعية مختلفة من الحالات، بما في ذلك تلك المصنفة حسب خصوصية الأعضاء وعدد مصطلحات أطلس الظواهر البشرية (HPO) الملاحظة. تشير النتائج إلى أن LLMs، على الرغم من تقدمها، ليست بعد بدائل مناسبة للأدوات التشخيصية المعتمدة في سياق الأمراض الوراثية النادرة. تؤكد الدراسة على الحاجة إلى مزيد من البحث لتعزيز دمج LLMs في سير العمل التشخيصي، لا سيما في التشخيص الجيني، مع الاعتراف بالقيود مثل الأخطاء المحتملة في التمثيلات الظاهرة وغياب البيانات الجينية في التحليل الحالي.
DOI: https://doi.org/10.1038/s41431-026-02054-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41735669
Publication Date: 2026-02-24
Author(s): Justin Reese et al.
Primary Topic: Genomics and Rare Diseases
Overview
This section evaluates the performance of large language models (LLMs) in diagnosing genetic diseases by benchmarking them against 5213 published case reports. Utilizing the Phenopacket Schema, Human Phenotype Ontology, and Mondo disease ontology, the study involved sending prompts derived from phenopackets to seven LLMs, including both generalist and medical-specialized models. The results indicated that the best-performing LLM correctly identified the diagnosis first in 23.6% of cases, while a traditional diagnostic tool, Exomiser, achieved a higher accuracy of 35.5%.
The findings suggest that, although LLMs are showing improvements in supporting differential diagnosis, their performance still lags behind established bioinformatics tools. The study highlights the need for further research to explore effective methods for integrating LLMs into existing diagnostic frameworks, aiming to enhance their utility in clinical settings.
Introduction
The introduction highlights the prevalence and diagnostic challenges associated with rare diseases (RDs), which collectively affect 3.5% to 8% of the population, with individuals often enduring a diagnostic journey lasting 5-7 years. The use of computational methods to compare phenotypic abnormalities against established disease profiles, particularly through the Human Phenotype Ontology (HPO), is emphasized as a critical component of the diagnostic process. Recent evaluations of large language models (LLMs) indicate their potential utility in differential diagnostics, where they can generate ranked lists of possible diagnoses based on patient narratives.
However, the performance of LLMs in this context has shown considerable variability, likely influenced by subjective assessments of their outputs. To address this, the authors compiled data from 5,213 individuals with confirmed diagnoses and created standardized prompts for evaluation. Their findings suggest that while LLMs have promise, traditional bioinformatics tools, specifically Exomiser, demonstrate superior performance in the realm of differential diagnostics for human genetics.
Methods
In this study, we propose an evaluation strategy to compare the performance of large language models (LLMs) with Exomiser, a specialized tool for differential diagnostic support in human genetics. Given the differing output formats—LLMs generate free-text responses while Exomiser produces a ranked list of diagnoses using Online Mendelian Inheritance in Man (OMIM) or Orphanet codes—we established a common framework for assessing accuracy. This framework is particularly important as many genetic tools, including Exomiser, yield precise diagnoses, such as Bardet-Biedl syndrome (OMIM:615991).
To facilitate a fair comparison, we focused solely on phenotypic findings, as LLMs are not optimized for prioritizing genetic diagnoses. Our evaluation strategy treats groups of clinically identical or closely related diseases as equivalent. For instance, all genetic variants of Bardet-Biedl syndrome are considered equivalent when ranking the correct diagnosis. This approach allows for a more meaningful assessment of LLMs’ capabilities in the context of genetic diagnostics.
Results
In this section, the authors provide a comprehensive overview of pertinent literature related to their study, highlighting the existing challenges in the equitable evaluation of large language models (LLMs) in differential diagnostic tasks. They outline their methodology for assessing the performance of LLMs specifically in the context of rare-disease diagnostic support.
Furthermore, the authors present a comparative analysis of seven LLMs against Exomiser, utilizing a dataset comprising 5,213 cases. This evaluation aims to elucidate the capabilities and limitations of LLMs in diagnosing rare diseases, contributing valuable insights to the ongoing discourse on the application of artificial intelligence in medical diagnostics.
Discussion
In this study, the authors evaluated the performance of various large language models (LLMs) in differential diagnosis using a dataset of 5,213 computational case reports formatted as phenopackets, which adhere to the Global Alliance for Genomics and Health (GA4GH) standards. Each phenopacket includes structured representations of clinical features, derived from 726 publications, and encompasses 378 unique Mendelian or chromosomal diseases. The study employed a computational approach to evaluate LLM responses by mapping generated diagnoses to the Mondo Disease Ontology, allowing for a more objective assessment of diagnostic accuracy. The results indicated that Exomiser, a traditional bioinformatics tool, significantly outperformed all tested LLMs, achieving a rank-1 accuracy of 35.5% compared to 23.6% for the best-performing LLM (o1 preview).
The analysis also highlighted that while LLMs demonstrated some capability in generating differential diagnoses, their performance was notably inferior to Exomiser across various subsets of cases, including those categorized by organ specificity and the number of observed Human Phenotype Ontology (HPO) terms. The findings suggest that LLMs, despite their advancements, are not yet suitable replacements for established diagnostic tools in the context of rare genetic diseases. The study emphasizes the need for further research to enhance the integration of LLMs into diagnostic workflows, particularly in genomic diagnostics, while acknowledging limitations such as potential inaccuracies in phenotypic representations and the absence of genomic data in the current analysis.