DOI: https://doi.org/10.1038/s41598-026-36904-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41565967
تاريخ النشر: 2026-01-21
المؤلف: Akihiko Wada وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الرعاية الصحية والتعليم
نظرة عامة
يتناول هذا القسم التحديات والتقدم في استخدام نماذج اللغة الكبيرة المستندة إلى السحابة (LLMs) لمعالجة النصوص الطبية، خاصة في ضوء اللوائح المتعلقة بالخصوصية المحيطة بالمعلومات الصحية المحمية (PHI). بينما يمكن أن تسمح الاتفاقيات التعاقدية بنقل PHI إلى خدمات خارجية، فإن العديد من المؤسسات الصحية تعطي الأولوية لسيادة البيانات، مما يؤدي إلى تفضيل نماذج LLM المحلية. ومع ذلك، فإن هذه النماذج المحلية قد أدت تاريخياً أداءً أقل مقارنة بنظيراتها المستندة إلى السحابة.
لمعالجة هذه الفجوة في الأداء، يقدم البحث إطار عمل لتحسين من خمس مراحل ويقيم 14 نموذج LLM محلي باستخدام 160 تقرير أشعة ياباني اصطناعي. تكشف النتائج عن اتجاه أداء ملحوظ: النماذج التي كانت درجاتها الأساسية أقل من 87-88 نقطة تحسنت بمعدل +6.92 نقطة (p<0.001) بعد التحسين، مما يشير إلى تأثير عتبة محتمل. حقق نموذج Mistral-Small-3.2 المحسن درجة 91.54 نقطة، وبلغ 97.8% من أداء GPT-4.1، مع الحفاظ على الامتثال للمعايير السريرية ومعالجة التقارير في الوقت المناسب (24.6 ثانية لكل تقرير). يبرز هذا البحث الإمكانية لنماذج LLM المحلية المحسنة بشكل منهجي لتنافس النماذج المستندة إلى السحابة، مما يوفر إطار عمل استراتيجي للمؤسسات الصحية لنشر حلول الذكاء الاصطناعي بفعالية مع حماية خصوصية المرضى.
مقدمة
تحدد مقدمة ورقة البحث التحديات التي تواجهها المؤسسات الصحية في اعتماد نماذج اللغة الكبيرة المستندة إلى السحابة (LLMs) لمعالجة النصوص الطبية بسبب اللوائح الصارمة المتعلقة بالخصوصية مثل HIPAA وGDPR وAPPI اليابانية. تعقد هذه اللوائح نقل المعلومات الصحية المحمية (PHI) إلى خدمات خارجية، مما يدفع المؤسسات للاعتماد على العمليات اليدوية أو الأنظمة القديمة التي تحقق دقة دون المستوى الأمثل. بينما يمكن أن تحقق النماذج السحابية دقة تزيد عن 90% في إزالة الهوية عن PHI، فإن النماذج المحلية قد أدت تاريخياً بمعدل 70-85% في درجات F1، مما يخلق فجوة أداء كبيرة تعيق الاعتماد السريري.
يقترح البحث إطار عمل منهجي لتحسين من خمس مراحل يهدف إلى تضييق هذه الفجوة في الأداء مع ضمان سيادة البيانات. تشمل المراحل تقييم الأساس، والتحسين العام، وضبط النموذج المحدد، والتنقيح الذاتي، والتحقق. باستخدام 160 تقرير أشعة ياباني اصطناعي، يقيم البحث 14 نموذجاً يمكن نشره محلياً ويظهر أن النظام المحسن يمكن أن يحقق 97.8% من أداء GPT-4.1. بالإضافة إلى ذلك، تشير النتائج إلى أن تقنيات التحسين المتقدمة قد تكون مفيدة بشكل خاص للنماذج ذات الدرجات الأساسية المنخفضة، مما يوفر رؤى لتخصيص الموارد. يساهم هذا البحث في تقديم منهجية عملية للمؤسسات الصحية لتنفيذ أنظمة الذكاء الاصطناعي التي تحافظ على الخصوصية بفعالية.
نقاش
تحدد قسم النقاش في ورقة البحث هذه إطار عمل شامل لتحسين من خمس مراحل لنماذج اللغة الكبيرة التي تم نشرها محلياً (LLMs)، موضحاً أن اختيار النماذج بشكل منهجي وتحسين الطلبات يمكن أن يحقق مستويات أداء قريبة من نظيراتها المستندة إلى السحابة مع ضمان سيادة البيانات. كشفت الفحوصات الأولية (المراحل 1-2) عن انقسام في الأداء بين 14 نموذجاً، مما أدى إلى اختيار أربعة مرشحين ذوي أداء عالٍ بناءً على درجاتهم المتوسطة وغياب الفشل الحرج. سلطت التحسينات المحددة للنموذج (المرحلة 3) الضوء على نقاط الضعف المميزة، حيث أظهر نموذج Mistral-Small-3.2 تحسناً كبيراً من خلال هندسة الطلبات المستهدفة، بينما أظهر نموذج EZO-2.5-Gemma-3 مكاسب محدودة بسبب المشكلات المستمرة.
كشفت تنفيذ آلية التنقيح الذاتي (المرحلة 4) عن “مفارقة الكفاءة”، حيث استفاد نموذج Mistral-Small-3.2 من تصحيحات طفيفة، محققاً زيادة ملحوظة في الأداء، بينما أدت محاولات تصحيح نموذج EZO-2.5-Gemma-3 إلى تحسينات ضئيلة. حددت الدراسة عتبة أداء حرجة حول 87-88 نقطة، مما يشير إلى أن النماذج التي تقل عن هذا المستوى يمكن أن تستفيد من التحسينات الخارجية، بينما قد تمتلك تلك التي فوقه بالفعل قدرات تصحيح أخطاء داخلية كافية. بشكل عام، تشير النتائج إلى أن النماذج المحلية المحسنة يمكن أن تصل إلى 97.8% من أداء السحابة، مع تداعيات على سير العمل السريري وخصوصية البيانات، بينما تعالج أيضاً الفجوات الموجودة في الأدبيات المتعلقة باستراتيجيات تحسين LLM.
DOI: https://doi.org/10.1038/s41598-026-36904-5
PMID: https://pubmed.ncbi.nlm.nih.gov/41565967
Publication Date: 2026-01-21
Author(s): Akihiko Wada et al.
Primary Topic: Artificial Intelligence in Healthcare and Education
Overview
This section discusses the challenges and advancements in the use of Cloud-based Large Language Models (LLMs) for medical text processing, particularly in light of privacy regulations surrounding Protected Health Information (PHI). While contractual agreements can allow for the transmission of PHI to external services, many healthcare institutions prioritize data sovereignty, leading to a preference for local LLMs. However, these local models have historically underperformed compared to their cloud-based counterparts.
To address this performance gap, the study presents a five-phase optimization framework and evaluates 14 local LLMs using 160 synthetic Japanese radiology reports. The findings reveal a significant performance trend: models with baseline scores below 87-88 points improved by an average of +6.92 points (p<0.001) after optimization, indicating a potential threshold effect. The optimized Mistral-Small-3.2 model achieved a score of 91.54 points, reaching 97.8% of GPT-4.1's performance, while maintaining compliance with clinical standards and processing reports in a timely manner (24.6 seconds per report). This research underscores the potential for systematically optimized local LLMs to rival cloud-based models, providing a strategic framework for healthcare institutions to deploy AI solutions effectively while safeguarding patient privacy.
Introduction
The introduction of the research paper outlines the challenges faced by healthcare institutions in adopting cloud-based Large Language Models (LLMs) for medical text processing due to stringent privacy regulations such as HIPAA, GDPR, and Japan’s APPI. These regulations complicate the transmission of Protected Health Information (PHI) to external services, leading institutions to rely on manual processes or legacy systems that yield suboptimal accuracy. While cloud models can achieve over 90% accuracy in PHI de-identification, local models have historically performed at 70-85% F1 scores, creating a significant performance gap that hinders clinical adoption.
The study proposes a systematic five-phase optimization framework aimed at narrowing this performance gap while ensuring data sovereignty. The phases include baseline assessment, generic optimization, model-specific tuning, self-refinement, and validation. Using 160 synthetic Japanese radiology reports, the research evaluates 14 locally deployable models and demonstrates that the optimized system can achieve 97.8% of GPT-4.1’s performance. Additionally, the findings suggest that advanced optimization techniques may be particularly beneficial for models with lower baseline scores, providing insights for resource allocation. This research contributes a practical methodology for healthcare institutions to implement privacy-preserving AI systems effectively.
Discussion
The discussion section of this research paper outlines a comprehensive five-phase optimization framework for locally deployed large language models (LLMs), demonstrating that systematic model selection and prompt optimization can achieve performance levels close to cloud-based counterparts while ensuring data sovereignty. Initial screening (Phases 1-2) revealed a performance bifurcation among 14 models, leading to the selection of four high-performing candidates based on their median scores and absence of critical failures. Subsequent model-specific optimizations (Phase 3) highlighted distinct weaknesses, with Mistral-Small-3.2 showing significant improvement through targeted prompt engineering, while EZO-2.5-Gemma-3 exhibited limited gains due to persistent issues.
The implementation of a self-refine mechanism (Phase 4) revealed an “efficiency paradox,” where Mistral-Small-3.2 benefited from minimal corrections, achieving a notable increase in performance, whereas EZO-2.5-Gemma-3’s attempts at corrections resulted in negligible improvements. The study identified a critical performance threshold around 87-88 points, suggesting that models below this level can benefit from external refinements, while those above may already possess sufficient internal error-correction capabilities. Overall, the findings indicate that optimized local models can reach 97.8% of cloud performance, with implications for clinical workflows and data privacy, while also addressing existing gaps in the literature regarding LLM optimization strategies.