DOI: https://doi.org/10.3389/frai.2025.1546179
PMID: https://pubmed.ncbi.nlm.nih.gov/40352975
تاريخ النشر: 2025-04-25
المؤلف: Apostolos Mavridis وآخرون
الموضوع الرئيسي: تنقيب النصوص الطبية والأنطولوجيات
نظرة عامة
الزيادة الأسية في البيانات الرقمية، لا سيما في مجال الرعاية الصحية، تتطلب تقنيات متقدمة لتمثيل المعرفة ودمجها. تتناول هذه الورقة التحديات المتعلقة بإنشاء وصيانة رسوم بيانية للمعرفة باستخدام إطار وصف الموارد (RDF)، خاصةً بالنسبة للأنتولوجيات الطبية المعقدة مثل SNOMED CT. غالبًا ما تفشل الطرق التقليدية بسبب الحجم والتنوع والتعقيدات الدلالية للبيانات الطبية. للتغلب على هذه التحديات، يقترح المؤلفون منهجية تستخدم نماذج اللغة الكبيرة (LLMs) لأتمتة وتعزيز عملية ربط الأنتولوجيات الطبية لبناء رسوم بيانية للمعرفة باستخدام RDF. تم إجراء تحليل مقارن لستة أنظمة LLM—GPT-4o، Claude، Sonnet v، Gemini Pro، Llama B، DeepSeek R، وBERTMap—باستخدام إطار تقييم جديد يجمع بين المقاييس الكمية (الدقة، الاسترجاع، وF-score) مع التقييمات النوعية للدقة الدلالية. تشير النتائج إلى أن نماذج LLM الحديثة، وخاصة GPT-4o، تتفوق بشكل كبير على الآخرين، حيث تحقق دقة بنسبة X% وF-score بنسبة Y%، مما يبرز إمكانياتها في تحسين دقة وتوافق رسوم المعرفة الطبية.
تؤكد الاستنتاجات المستخلصة من هذا البحث على القدرات المتطورة لمختلف هياكل LLM في تعزيز رسوم المعرفة باستخدام RDF. تشير الأداء المتفوق لـ GPT-4o، حتى بدون ضبط دقيق، إلى اتجاه واعد لتطوير أنظمة تمثيل المعرفة الأكثر ذكاءً وغنىً دلاليًا. تكشف الدراسة عن تسلسل هرمي في قدرات LLM لإنشاء رسوم المعرفة، مع اختلافات ملحوظة في الأداء بين النماذج، من النتائج الاستثنائية لـ GPT-4o إلى قيود النماذج الأصغر مثل Llama 3.370B وDeepSeek R1. يبرز هذا الطيف من الأداء كل من التقدم في هذا المجال والتحديات المستمرة في إنشاء حلول فعالة وسهلة الوصول. ستركز الأبحاث المستقبلية على تقييم هذه النماذج باستخدام مجموعات بيانات متنوعة، واستكشاف الأساليب الهجينة التي تدمج التفكير الرمزي مع التعلم الآلي، وتقييم أداء LLM في مجالات متخصصة من رسم المصطلحات الطبية، لا سيما في السياقات ذات الموارد الحاسوبية المحدودة.
مقدمة
تتناول مقدمة هذه الورقة البحثية التحديات التي تطرحها الزيادة في حجم البيانات وسرعتها وتنوعها، لا سيما في القطاعات مثل الرعاية الصحية حيث تتعقد البيانات بسبب التنسيقات المتنوعة والمعلومات الحساسة. تكافح تقنيات إدارة البيانات التقليدية للتعامل مع هذه المطالب، مما يتطلب طرقًا قابلة للتوسع وغنية دلاليًا لتمثيل المعرفة ودمجها. ظهرت رسوم المعرفة باستخدام إطار وصف الموارد (RDF) كحل واعد، حيث تقدم إطارًا مرنًا لتمثيل البيانات المترابطة من خلال معرفات الموارد الموحدة (URIs). ومع ذلك، تواجه عملية إنشاء وصيانة رسوم RDF على نطاق واسع عقبات كبيرة، بما في ذلك الجهد اليدوي في ربط الأنتولوجيات ودمج البيانات، بالإضافة إلى التحديات في تفاعل المستخدم مع قواعد بيانات RDF.
لمعالجة هذه القضايا، تقترح الورقة منهجية جديدة تستفيد من نماذج اللغة الكبيرة (LLMs) لأتمتة إنشاء رسوم المعرفة باستخدام RDF، لا سيما في ربط الأنتولوجيات الطبية. يتكون هذا النهج من خط أنابيب قوي لمعالجة البيانات يهدف إلى تطبيع المصطلحات وتوحيد الوحدات، جنبًا إلى جنب مع محرك ربط دلالي مدعوم بـ LLM يقوم بمواءمة المصطلحات الطبية بذكاء مع الأنتولوجيا SNOMED CT. يعزز دمج قاعدة بيانات متجهة للمقارنة الدلالية الفعالة عملية الربط. تقدم الدراسة تحليلًا مقارنًا لمختلف نماذج LLM، مما يظهر تحسينات كبيرة في الدقة وF1-score مع استخدام GPT-4o مقارنة بالطرق التقليدية. تؤكد النتائج على إمكانية دمج LLMs مع رسوم المعرفة باستخدام RDF لإنشاء أنظمة معرفة طبية أكثر دقة وتوافقًا، وبالتالي تعزيز إدارة ودمج البيانات المعقدة في مجالات متنوعة.
النتائج
تشير نتائج التقييم التي تقارن بين نماذج اللغة المختلفة (LLMs) وBERTMap في سياق رسم المصطلحات الطبية إلى أن GPT-4o يتفوق بشكل كبير على نظرائه عبر عدة مقاييس. في مجموعة بيانات تضم 108 مصطلحات طبية، حقق GPT-4o دقة بنسبة 93.75% واسترجاعًا بنسبة 98.90%، مما أدى إلى F1-score بنسبة 96.26%. يتناقض هذا الأداء بشكل حاد مع النماذج الأخرى، مثل Gemini 1.5 Pro (F1-score: 63.31%)، Claude 3.5 Sonnet v2 (F1-score: 60.56%)، وBERTMap (F1-score: 57.93%). يبرز تحليل مصفوفة الالتباس قدرة GPT-4o الفائقة على التمييز، مع 90 إيجابية صحيحة، 6 إيجابيات خاطئة، و1 سلبية خاطئة فقط، مقارنةً بالأنظمة الأخرى التي أظهرت معدلات أعلى من الإيجابيات والسلبيات الخاطئة.
علاوة على ذلك، تفوق GPT-4o في رسم المفاهيم الطبية المعقدة، لا سيما في الإجراءات التشخيصية والمصطلحات المتعلقة بالعلاج، بينما واجهت النماذج الأخرى صعوبة في التعامل مع هذه التعقيدات. أكد اختبار كاي-تربيع للاستقلالية وجود فرق ذو دلالة إحصائية في نتائج الأداء بين الأنظمة، حيث أظهر GPT-4o حجم تأثير كبير (χ²(15, N = 648) = 196.94، p < 0.001). يبرز هذا التحليل الميزة الكبيرة لـ GPT-4o في رسم المصطلحات الطبية بدقة، لا سيما في السياقات الصعبة، بينما يكشف عن قيود النماذج الأخرى في التعامل مع المفاهيم الطبية المعقدة.
المناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على الأداء المقارن لستة أنظمة في ربط الأنتولوجيات الطبية وبناء رسوم المعرفة باستخدام RDF، كاشفًا عن تفاوتات كبيرة في فعاليتها. من الجدير بالذكر أن GPT-4o حقق دقة بنسبة 93.75%، متفوقًا بشكل ملحوظ على النماذج الأخرى مثل Gemini 1.5 Pro (60.27%)، Claude 3.5 Sonnet v2 (53.75%)، وBERTMap (48.84%). يبرز هذا الفارق في الأداء التقدم الذي حققته نماذج اللغة الكبيرة المتطورة (LLMs) في معالجة المصطلحات الطبية بدقة، بينما يوضح أيضًا قيود النماذج الأقل تطورًا. تشير النتائج إلى أن بنية GPT-4o وطرق تدريبه تتسم بقدرة خاصة على التعامل مع تعقيدات اللغة الطبية، مما يضعه كخيار رائد لمهام الربط الآلي.
تكشف التحليلات أيضًا أنه بينما أظهرت Llama 3.3 70B معدل استرجاع مرتفع (70.37%)، فإن دقتها المنخفضة (19.19%) تشير إلى ميلها للإفراط في توليد الربط. على النقيض من ذلك، أظهرت DeepSeek R1 أداءً أكثر توازنًا مع مقاييس إجمالية أقل، مما يشير إلى قدرات متسقة ولكن محدودة. تؤكد النتائج على الحاجة إلى تحسين مستمر في LLMs لتعزيز دقتها وموثوقيتها في التطبيقات المتخصصة، لا سيما في سياق إدارة بيانات الرعاية الصحية. بشكل عام، تسهم هذه الدراسة في تقديم رؤى قيمة حول المشهد المتطور لنماذج اللغة وتطبيقاتها في التكامل الدلالي وتمثيل المعرفة ضمن المجال الطبي.
DOI: https://doi.org/10.3389/frai.2025.1546179
PMID: https://pubmed.ncbi.nlm.nih.gov/40352975
Publication Date: 2025-04-25
Author(s): Apostolos Mavridis et al.
Primary Topic: Biomedical Text Mining and Ontologies
Overview
The exponential increase in digital data, particularly within healthcare, necessitates advanced techniques for knowledge representation and integration. This paper addresses the challenges of creating and maintaining Resource Description Framework (RDF) knowledge graphs, especially for complex medical ontologies like SNOMED CT. Traditional methods often falter due to the scale, heterogeneity, and semantic intricacies of medical data. To overcome these challenges, the authors propose a methodology that utilizes Large Language Models (LLMs) to automate and enhance the mapping of medical ontologies for RDF knowledge graph construction. A comparative analysis of six LLM systems—GPT-4o, Claude, Sonnet v, Gemini Pro, Llama B, DeepSeek R, and BERTMap—was conducted using a novel evaluation framework that combines quantitative metrics (precision, recall, and F-score) with qualitative assessments of semantic accuracy. The results indicate that modern LLMs, particularly GPT-4o, significantly outperform others, achieving a precision of X% and an F-score of Y%, underscoring their potential in improving the accuracy and interoperability of medical knowledge graphs.
The conclusions drawn from this research emphasize the evolving capabilities of various LLM architectures in enhancing RDF knowledge graphs. The superior performance of GPT-4o, even without fine-tuning, suggests a promising direction for developing more intelligent and semantically rich knowledge representation systems. The study reveals a hierarchy in LLM capabilities for knowledge graph creation, with notable performance differences among models, from the exceptional results of GPT-4o to the limitations of smaller models like Llama 3.370B and DeepSeek R1. This spectrum of performance highlights both the advancements in the field and the ongoing challenges in creating efficient and accessible solutions. Future research will focus on evaluating these models with diverse datasets, exploring hybrid approaches that integrate symbolic reasoning with machine learning, and assessing LLM performance in niche areas of medical terminology mapping, particularly in contexts with limited computational resources.
Introduction
The introduction of this research paper addresses the challenges posed by the increasing volume, velocity, and variety of data, particularly in sectors like healthcare where data complexity is heightened by diverse formats and sensitive information. Traditional data management techniques struggle to cope with these demands, necessitating scalable and semantically enriched methods for knowledge representation and integration. The Resource Description Framework (RDF) knowledge graphs have emerged as a promising solution, offering a flexible framework for representing interconnected data through Uniform Resource Identifiers (URIs). However, the construction and maintenance of large-scale RDF graphs face significant hurdles, including manual effort in ontology mapping and data integration, as well as challenges in user interaction with RDF databases.
To address these issues, the paper proposes a novel methodology that leverages Large Language Models (LLMs) for automating RDF knowledge graph construction, particularly in medical ontology mapping. This approach consists of a robust data preprocessing pipeline that normalizes terminology and standardizes units, combined with an LLM-powered semantic mapping engine that intelligently aligns medical terms with the SNOMED CT ontology. The integration of a vector database for efficient semantic comparison enhances the mapping process. The study presents a comparative analysis of various LLMs, demonstrating significant improvements in precision and F1-score with the use of GPT-4o over traditional methods. The findings underscore the potential of combining LLMs with RDF knowledge graphs to create more accurate and interoperable medical knowledge systems, thereby advancing the management and integration of complex data in various fields.
Results
The results of the evaluation comparing various language models (LLMs) and BERTMap in the context of medical terminology mapping indicate that GPT-4o significantly outperforms its counterparts across multiple metrics. In a dataset of 108 medical terms, GPT-4o achieved a precision of 93.75% and a recall of 98.90%, resulting in an F1-score of 96.26%. This performance starkly contrasts with other models, such as Gemini 1.5 Pro (F1-score: 63.31%), Claude 3.5 Sonnet v2 (F1-score: 60.56%), and BERTMap (F1-score: 57.93%). The confusion matrix analysis further highlights GPT-4o’s superior discrimination ability, with 90 true positives, 6 false positives, and only 1 false negative, compared to the other systems which exhibited higher rates of false positives and negatives.
Moreover, GPT-4o excelled in mapping complex medical concepts, particularly in diagnostic procedures and treatment-related terminology, while other models struggled with these complexities. The chi-square test of independence confirmed a statistically significant difference in performance outcomes among the systems, with GPT-4o demonstrating a large effect size (χ²(15, N = 648) = 196.94, p < 0.001). This analysis underscores GPT-4o's substantial advantage in accurately mapping medical terminology, particularly in challenging contexts, while revealing the limitations of other models in handling intricate medical concepts.
Discussion
The discussion section of the research paper highlights the comparative performance of six systems in medical ontology mapping and RDF knowledge graph construction, revealing significant disparities in their effectiveness. Notably, GPT-4o achieved a precision of 93.75%, markedly outperforming other models such as Gemini 1.5 Pro (60.27%), Claude 3.5 Sonnet v2 (53.75%), and BERTMap (48.84%). This performance gap underscores the advancements made by state-of-the-art large language models (LLMs) in accurately processing medical terminology, while also illustrating the limitations of less sophisticated models. The findings suggest that GPT-4o’s architecture and training methodologies are particularly adept at handling the complexities of medical language, positioning it as a leading option for automated mapping tasks.
The analysis further reveals that while Llama 3.3 70B exhibited a high recall rate (70.37%), its low precision (19.19%) indicates a propensity for over-generation of mappings. Conversely, DeepSeek R1 demonstrated a more balanced performance with lower overall metrics, suggesting consistent but limited capabilities. The results emphasize the need for continued refinement in LLMs to enhance their accuracy and reliability in specialized applications, particularly in the context of healthcare data management. Overall, this study contributes valuable insights into the evolving landscape of language models and their applicability in semantic integration and knowledge representation within the medical domain.