DOI: https://doi.org/10.1093/jamiaopen/ooaf109
PMID: https://pubmed.ncbi.nlm.nih.gov/41041625
تاريخ النشر: 2025-09-02
المؤلف: Luc Builtjes وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
تتناول هذه الدراسة التحديات المتعلقة باستخراج المعلومات السريرية من التقارير الطبية غير المنظمة، والتي غالبًا ما تُكتب بلغة متخصصة. تقيم الدراسة تسعة نماذج لغوية كبيرة مولدة مفتوحة المصدر (LLMs) باستخدام معيار DRAGON، الذي يتضمن 28 مهمة لاستخراج المعلومات السريرية باللغة الهولندية. طور الباحثون إطار عمل متاح للجمهور، يُسمى llm extractinator، لتسهيل هذا التقييم في إعداد عدم وجود بيانات مسبقة.
تشير النتائج إلى أن عدة نماذج تحتوي على 14 مليار معلمة، بما في ذلك Phi-4-14B وQwen-2.5-14B وDeepSeek-R1-14B، أدت أداءً تنافسيًا في استخراج المعلومات السريرية. ومن الجدير بالذكر أن النموذج الأكبر Llama-3.3-70B حقق أداءً أفضل قليلاً ولكن بتكلفة حسابية أعلى. بالإضافة إلى ذلك، أدى ترجمة النص إلى الإنجليزية قبل الاستدلال إلى تدهور الأداء بشكل مستمر، مما يبرز أهمية المعالجة باللغة الأصلية. بشكل عام، تشير النتائج إلى أن نماذج LLMs مفتوحة المصدر، عند استخدامها مع إطار عمل llm extractinator، توفر حلولًا فعالة وقابلة للتوسع وواعية للخصوصية لاستخراج المعلومات السريرية، خاصة في البيئات ذات الموارد المحدودة.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على أهمية التقارير الطبية كمصادر غنية لبيانات المرضى، والتي تعتبر حاسمة لتطوير تطبيقات الذكاء الاصطناعي (AI) في الرعاية الصحية. على الرغم من إمكانياتها، فإن الطبيعة غير المنظمة لهذه التقارير، بالإضافة إلى تنسيقاتها المتنوعة والمصطلحات الطبية، تطرح تحديات لاستخراج المعلومات بشكل فعال. لقد واجهت طرق معالجة اللغة الطبيعية التقليدية المعتمدة على القواعد (NLP) صعوبات مع هذه التعقيدات، مما أدى إلى اعتماد نماذج قائمة على المحولات مثل BERT وتكييفاتها الخاصة بالمجال، مثل Med-BERT، التي أظهرت أداءً محسنًا في مهام تصنيف النصوص والاستخراج. ومع ذلك، غالبًا ما تتطلب هذه النماذج مجموعات بيانات موسومة واسعة، مما يحد من قابليتها للتوسع.
لقد حولت التطورات الأخيرة في نماذج اللغة الكبيرة المولدة (LLMs) معالجة اللغة الطبيعية من خلال تمكين تكييف المهام عبر تقنيات التحفيز، مما يقلل من الاعتماد على بيانات التدريب الخاصة بالمهام. بينما أظهرت النماذج الملكية مثل GPT-4 من OpenAI وعودًا في تطبيقات الرعاية الصحية، فإنها تثير مخاوف بشأن الشفافية وإمكانية إعادة الإنتاج والامتثال للوائح الخصوصية. بالمقابل، توفر نماذج LLMs مفتوحة المصدر مستوى أكبر من المساءلة والتحكم في البيانات، على الرغم من أنها غالبًا ما تظهر تحيزات بسبب تدريبها على مجموعات بيانات مختارة تفضل اللغات ذات الموارد العالية. تقدم هذه الورقة تحدي تحليل التقرير التشخيصي: التحسين العام لـ NLP (DRAGON)، الذي يوفر معيارًا لتقييم نماذج LLMs مفتوحة المصدر في مهام استخراج المعلومات الطبية باللغة الهولندية. يقدم المؤلفون تقييمًا منهجيًا لهذه النماذج، بهدف تحديد نقاط قوتها وقيودها في السياقات ذات الموارد المحدودة، ويقدمون إطار عمل سهل الاستخدام، llm extractinator، لأتمتة مهام استخراج البيانات باستخدام LLMs.
طرق
تم تطوير إطار عمل llm extractinator لتسهيل استخراج المعلومات بكفاءة من النصوص غير المنظمة باستخدام نماذج اللغة الكبيرة المولدة (LLMs). متاح على GitHub وكحزمة بايثون قابلة للتثبيت عبر pip، يتطلب الحد الأدنى من إدخال المستخدم: البيانات الخام وملف المهام بتنسيق JSON الذي يحدد وصف المهمة وبنية المخرجات المرغوبة. يتضمن التطبيق الويب المدمج السماح للمستخدمين بتصميم ومعاينة تنسيق المخرجات بشكل تفاعلي، مما يلغي الحاجة إلى الترميز اليدوي. يعتمد الإطار على Ollama، وهو مركز نماذج مفتوح المصدر، لإدارة أوزان النماذج، واستضافة الاستدلال، وتوزيع الأحمال الحسابية بشكل فعال.
لتحسين الكفاءة الحسابية، يقوم llm extractinator بضبط طول سياق النموذج ديناميكيًا بناءً على خصائص مجموعة البيانات، موازنًا بين استخدام الذاكرة وسرعة المعالجة. يمكن للمستخدمين الاختيار بين وضعي تشغيل: “max”، الذي يستخدم الحد الأقصى لطول الرموز الملحوظة في مجموعة البيانات، و”split”، الذي يقسم مجموعة البيانات إلى مجموعات فرعية بأطوال سياق مناسبة لمعالجة فعالة. يتم تسهيل بناء التحفيز بواسطة LangChain، باستخدام تحفيز سلسلة من الأفكار بدون بيانات مسبقة لتشجيع LLM على التعبير عن خطوات التفكير. يسمح نموذج الترجمة الاختياري بالترجمة التلقائية للنص المدخل إلى الإنجليزية. بعد الاستدلال، يتم التحقق من المخرجات مقابل المخطط المحدد، مع ما يصل إلى ثلاث محاولات إعادة تقديم للمخرجات غير المتوافقة، والتي يتم الإشارة إليها للمراجعة اليدوية إذا ظلت غير محلولة.
نتائج
في هذا القسم، يقدم المؤلفون نتائج تقييمهم لتسعة نماذج لغوية كبيرة مولدة متاحة للجمهور (LLMs) عبر 28 مهمة من تحدي DRAGON، باستخدام إطار عمل llm extractinator في ظروف عدم وجود بيانات مسبقة. تم قياس الأداء باستخدام مقاييس مختلفة: المساحة تحت منحنى خصائص التشغيل المستقبلية (AUC) للتصنيف الثنائي، وκ لـ Cohen للتصنيف متعدد الفئات، ودرجة الخطأ المطلق المئوي المتوسط المتناظر القوي (RSMAPES) للتراجع، ودرجة F1 للتعرف على الكيانات المسماة (NER).
لتمكين المقارنات على مستوى النموذج، قدم المؤلفون درجة فائدة DRAGON 2024، $S_{\text{DRAGON}}$، وهي المتوسط الحسابي لأداء كل نموذج عبر جميع المهام، مما يعطي درجة بين 0 و1، حيث تشير 1 إلى أداء مثالي. تم تصنيف النتائج إلى ستة مستويات أداء نوعية – ممتاز، جيد، معتدل، ضعيف، ضئيل، أو فشل – بناءً على عتبات القابلية للتفسير المقدمة من منظمي التحدي. تتوفر النتائج التفصيلية ومعلومات إضافية عن المقاييس في الملاحظات التكميلية.
مناقشة
في هذه الدراسة، تم تقييم أداء تسعة نماذج لغوية كبيرة مفتوحة المصدر (LLMs) في وضع عدم وجود بيانات مسبقة على تحدي DRAGON، وهو معيار لمعالجة اللغة الطبيعية السريرية الهولندية (NLP). تم تصنيف النماذج إلى ثلاث مستويات أداء بناءً على درجات فائدتها ($S_{DRAGON}$). شمل المستوى الأعلى Llama-3.3-70B وPhi-4-14B وQwen-2.5-14B وDeepSeek-R1-14B، حيث حقق Llama-3.3-70B أعلى درجة قدرها 0.760. ومن الجدير بالذكر أنه بينما كانت النماذج الأكبر عمومًا تؤدي بشكل أفضل، لم يكن هذا الميزة موحدة عبر جميع المهام، حيث تفوق Llama-3.3 فقط على نموذج RoBERTa الأساسي في 14 من أصل 28 مهمة. تم تحديد مهام التراجع كنقاط قوة للنماذج، بينما أظهرت مهام التصنيف، وخاصة التعرف على الكيانات المسماة (NER)، أداءً ضعيفًا، حيث لم يتجاوز أي منها درجة F1 قدرها 0.47.
كما كشفت التحليلات أيضًا أن ترجمة النصوص السريرية الهولندية إلى الإنجليزية قبل الاستدلال أدت إلى تدهور كبير في أداء النموذج، مما يشير إلى أن المعالجة باللغة الأصلية ضرورية لمهام NLP السريرية. تشير النتائج إلى أنه بينما يمكن أن تكون نماذج LLMs المولدة فعالة لاستخراج المعلومات الطبية، فإن أدائها يعتمد بشكل كبير على السياق، ويجب أن تأخذ اختيار النموذج في الاعتبار متطلبات المهمة والموارد الحسابية المتاحة. علاوة على ذلك، تسلط الدراسة الضوء على قيود التقييمات بدون بيانات مسبقة وإمكانية تحسين الأداء من خلال التكييف الدقيق الخاص بالمهمة أو استراتيجيات التحفيز البديلة. بشكل عام، تؤكد هذه الأبحاث على جدوى النماذج المولدة في السياقات السريرية، خاصة عندما تكون البيانات الموسومة نادرة.
DOI: https://doi.org/10.1093/jamiaopen/ooaf109
PMID: https://pubmed.ncbi.nlm.nih.gov/41041625
Publication Date: 2025-09-02
Author(s): Luc Builtjes et al.
Primary Topic: Topic Modeling
Overview
This study addresses the challenges of extracting clinical information from unstructured medical reports, which are often written in specialized language. It evaluates nine open-source generative large language models (LLMs) using the DRAGON benchmark, comprising 28 clinical information extraction tasks in Dutch. The researchers developed a publicly available framework, termed llm extractinator, to facilitate this evaluation in a zero-shot setting.
The results indicate that several 14 billion parameter models, including Phi-4-14B, Qwen-2.5-14B, and DeepSeek-R1-14B, performed competitively in extracting clinical information. Notably, the larger Llama-3.3-70B model achieved slightly better performance but at a higher computational cost. Additionally, translating the text to English before inference consistently led to performance degradation, underscoring the importance of processing in the native language. Overall, the findings suggest that open-source LLMs, when utilized with the llm extractinator framework, provide effective, scalable, and privacy-conscious solutions for clinical information extraction, particularly in low-resource settings.
Introduction
The introduction of this research paper highlights the significance of medical reports as rich sources of patient data, which are crucial for developing artificial intelligence (AI) applications in healthcare. Despite their potential, the unstructured nature of these reports, compounded by varying formats and medical jargon, poses challenges for effective information extraction. Traditional rule-based natural language processing (NLP) methods have struggled with this complexity, leading to the adoption of transformer-based models like BERT and its domain-specific adaptations, such as Med-BERT, which have shown improved performance in text classification and extraction tasks. However, these models often require extensive labeled datasets, limiting their scalability.
Recent advancements in generative Large Language Models (LLMs) have transformed NLP by enabling task adaptation through prompting techniques, reducing the dependency on task-specific training data. While proprietary models like OpenAI’s GPT-4 have demonstrated promise in healthcare applications, they raise concerns regarding transparency, reproducibility, and compliance with privacy regulations. In contrast, open-source LLMs offer greater accountability and control over data, although they often exhibit biases due to their training on curated datasets that favor high-resource languages. This paper introduces the Diagnostic Report Analysis: General Optimization of NLP (DRAGON) challenge, which provides a benchmark for evaluating open-source LLMs on medical information extraction tasks in the Dutch language. The authors present a systematic evaluation of these models, aiming to identify their strengths and limitations in resource-constrained contexts, and introduce a user-friendly framework, llm extractinator, for automating data extraction tasks with LLMs.
Methods
The llm extractinator framework was developed to facilitate efficient information extraction from unstructured text using generative large language models (LLMs). Available on GitHub and as a pip-installable Python package, it requires minimal user input: the raw data and a Taskfile in JSON format that outlines the task description and desired output structure. A web application is included to allow users to design and preview the output format interactively, eliminating the need for manual coding. The framework leverages Ollama, an open-source model hub, to manage model weights, host inference, and distribute computational loads effectively.
To enhance computational efficiency, llm extractinator dynamically adjusts the model context length based on the dataset’s characteristics, balancing memory usage and processing speed. Users can choose between two operational modes: ‘max’, which utilizes the maximum token length observed in the dataset, and ‘split’, which partitions the dataset into subsets with appropriate context lengths for efficient processing. Prompt construction is facilitated by LangChain, employing zero-shot chain-of-thought prompting to encourage the LLM to articulate reasoning steps. An optional translation module allows for automatic translation of input text into English. After inference, outputs are validated against the specified schema, with up to three resubmission attempts for non-compliant outputs, which are flagged for manual review if they remain unresolved.
Results
In this section, the authors present the results of their evaluation of nine publicly available generative large language models (LLMs) across 28 tasks from the DRAGON challenge, utilizing the llm extractinator framework under zero-shot conditions. Performance was quantified using various metrics: area under the receiver-operating-characteristic curve (AUC) for binary classification, Cohen’s κ for multi-class classification, robust symmetric mean absolute percentage error score (RSMAPES) for regression, and F1 score for named entity recognition (NER).
To enable model-level comparisons, the authors introduced the DRAGON 2024 utility score, $S_{\text{DRAGON}}$, which is the arithmetic mean of each model’s performance across all tasks, yielding a score between 0 and 1, where 1 denotes perfect performance. Results were categorized into six qualitative performance tiers—Excellent, Good, Moderate, Poor, Minimal, or Fail—based on interpretability thresholds provided by the challenge organizers. Detailed results and additional metric information are available in the supplementary notes.
Discussion
In this study, the zero-shot performance of nine open-source large language models (LLMs) was evaluated on the DRAGON challenge, a benchmark for Dutch clinical natural language processing (NLP). The models were categorized into three performance tiers based on their utility scores ($S_{DRAGON}$). The top tier included Llama-3.3-70B, Phi-4-14B, Qwen-2.5-14B, and DeepSeek-R1-14B, with Llama-3.3-70B achieving the highest score of 0.760. Notably, while larger models generally performed better, this advantage was not uniform across all tasks, as Llama-3.3 only outperformed the baseline RoBERTa model on 14 out of 28 tasks. Regression tasks were identified as strengths for the models, whereas classification tasks, particularly named entity recognition (NER), showed poor performance, with none exceeding an F1 score of 0.47.
The analysis also revealed that translating Dutch clinical text into English prior to inference significantly degraded model performance, suggesting that native-language processing is crucial for clinical NLP tasks. The findings indicate that while generative LLMs can be effective for medical information extraction, their performance is highly context-dependent, and the choice of model should consider both task requirements and available computational resources. Furthermore, the study highlights the limitations of zero-shot evaluations and the potential for improved performance through task-specific fine-tuning or alternative prompting strategies. Overall, this research underscores the viability of generative models in clinical settings, particularly when labeled data is scarce.