DOI: https://doi.org/10.3389/fdgth.2026.1715506
PMID: https://pubmed.ncbi.nlm.nih.gov/41743675
تاريخ النشر: 2026-02-10
المؤلف: Yusuf Yildiz وآخرون
الموضوع الرئيسي: تعلم الآلة في الرعاية الصحية
نظرة عامة
تستكشف هذه الدراسة أداء نموذج قائم على المحولات، BEHRT، تم تدريبه على بيانات بنك المملكة المتحدة الحيوي لمهام التنبؤ السريري، مع التركيز بشكل خاص على تشخيص الزيارة التالية وتنبؤ التشخيص على المدى الطويل على مدى خمس سنوات. تقيم الأبحاث تأثير قرارات النمذجة المختلفة، بما في ذلك حجم النموذج، والمصطلحات الطبية (CALIBER مقابل ICD-10)، واستراتيجيات تقسيم البيانات. تشير النتائج إلى أن النموذج الأكبر تفوق باستمرار على النموذج الأصغر في التنبؤات على المدى الطويل، محققًا منطقة تحت منحنى التشغيل المستقبل (AUROC) قدرها 0.874 مقارنة بـ 0.858. ومع ذلك، كانت الفروق في الأداء أقل وضوحًا بالنسبة للتنبؤات على المدى القصير (6 أشهر).
بالإضافة إلى ذلك، كان لاختيار المصطلحات الطبية تأثير كبير على دقة التنبؤ، حيث حقق نموذج CALIBER متوسط درجة دقة أعلى (APS) قدرها 0.773 مقابل 0.678 لـ ICD-10. تختتم الدراسة بالقول إنه بينما يمكن أن تقدم نماذج المحولات أداءً تنبؤيًا عاليًا عبر سيناريوهات سريرية مختلفة، فإن فعاليتها حساسة جدًا لخيارات النمذجة. تؤكد النتائج على أهمية اختيار تكوينات ونماذج مناسبة لتحسين النتائج التنبؤية في تطبيقات الرعاية الصحية، لا سيما بالنسبة للتنبؤات على المدى الطويل.
مقدمة
ت outlines مقدمة هذه الورقة البحثية انتقالًا كبيرًا في الرعاية الصحية من علاج الأمراض التفاعلي إلى استراتيجيات استباقية تركز على الكشف المبكر والوقاية. في قلب هذا التحول توجد نماذج التنبؤ السريري (CPMs)، التي تستخدم خوارزميات إحصائية لتقييم خطر الفرد من الحالات الطبية الحالية أو المستقبلية بناءً على مجموعة متنوعة من المؤشرات. لقد سهلت الزيادة في توفر بيانات السجلات الصحية الإلكترونية (EHR)، التي تتميز بمقياسها وطبيعتها الطولية، تطوير نماذج CPMs أكثر تعقيدًا، لا سيما من خلال تطبيق تقنيات التعلم الآلي. من الجدير بالذكر أن نموذج BEHRT، الذي يستخدم بنية تعلم عميق تعتمد على تمثيلات الترميز ثنائية الاتجاه من المحولات (BERT)، قد أظهر نتائج واعدة في التنبؤ بتشخيصات المرضى من خلال التقاط العلاقات السياقية داخل بيانات EHR بشكل فعال.
تتناول الورقة أيضًا تطور النماذج السريرية القائمة على المحولات، مع تسليط الضوء على التقدم في استراتيجيات التدريب المسبق وإدخال أطر توليدية تستفيد من مجموعات بيانات كبيرة مثل بنك المملكة المتحدة الحيوي. على الرغم من التقدم، لا تزال هناك العديد من التحديات، بما في ذلك تأثير المصطلحات الطبية المتنوعة على أداء التنبؤ وعدم الاتساق في استراتيجيات تقسيم البيانات التي قد تؤدي إلى تحيز في تقييمات النموذج. يؤكد المؤلفون على ضرورة وجود منهجيات موحدة لتعزيز قابلية تعميم وموثوقية نماذج CPMs، لا سيما في بيئات الرعاية الصحية ذات الموارد المحدودة. تهدف هذه الدراسة إلى استكشاف كيفية تأثير الاختلافات في حجم النموذج، والمصطلحات الطبية، واستراتيجيات تخصيص البيانات على القدرات التنبؤية لنموذج BEHRT عند تطبيقه على مهام التنبؤ بالمرض التالي ضمن مجموعة بيانات بنك المملكة المتحدة الحيوي.
الطرق
في هذا القسم، ي outlines المؤلفون الطرق المستخدمة لتدريب نموذج BEHRT باستخدام بيانات بنك المملكة المتحدة الحيوي، مع وضع خط أساس باستخدام مصطلحات CALIBER والالتزام بالهيكل واستراتيجية تقسيم البيانات التي تم وصفها سابقًا. سهل هذا النهج تقييم قابلية تعميم النموذج على مجموعة بيانات جديدة.
لتحقيق تأثيرات قرارات النمذجة الحرجة، أجرى المؤلفون تجارب تقارن بين متغيرات مختلفة من BEHRT تحت ثلاث ظروف محددة: (1) حجم النموذج، مقارنة بين التكوينات الصغيرة والكبيرة مع معلمات فرعية مفصلة في الجدول 1؛ (2) المصطلحات الطبية، مقارنة استخدام CALIBER (43 نمطًا ظاهريًا) مقابل ICD-10 (9,217 رمزًا)؛ و (3) استراتيجية تقسيم البيانات، حيث نفذوا نهجين: استخدم تقسيم 1 مجموعة البيانات الكاملة للتدريب المسبق تلاه تقسيم 80/20 للتدريب والاختبار للتعديل الدقيق، بينما شمل تقسيم 2 التدريب المسبق على 50% من مجموعة البيانات، مع تقسيم الجزء المتبقي أيضًا 80/20 للتعديل الدقيق.
النتائج
في قسم النتائج، تقدم الدراسة تقارير عن أداء النماذج المدربة على بيانات بنك المملكة المتحدة الحيوي باستخدام هدف نمذجة اللغة المقنعة (MLM). تشير النتائج إلى أن النموذج الأكبر تفوق باستمرار على النموذج الأصغر من حيث متوسط درجة الدقة (APS)، مما يشير إلى أن زيادة سعة النموذج تعزز تعلم التمثيل. تم تسجيل أعلى أداء عند APS قدره 0.497 مع مصطلحات CALIBER تحت تقسيم 1، بينما تم ملاحظة أدنى أداء عند APS قدره 0.322 في إعداد ICD-10.
للسياق المقارن، يشير المؤلفون إلى دراسة سابقة حققت APS أعلى قدره 0.659 في تجارب BEHRT المستندة إلى CPRD، مما يبرز تأثير حجم مجموعة البيانات وتنوع المفردات على أداء النموذج. على الرغم من أن المقارنات المباشرة ليست ممكنة، فإن هذه المعايير تسلط الضوء على أهمية خصائص مجموعة البيانات في التأثير على نتائج النموذج.
المناقشة
تسلط قسم المناقشة في هذه الدراسة الضوء على تأثير قرارات النمذجة المختلفة على الأداء التنبؤي لنموذج BEHRT، الذي تم إعادة تدريبه باستخدام مجموعة بيانات بنك المملكة المتحدة الحيوي. تشير النتائج الرئيسية إلى أن اختيار مصطلحات الترميز السريري يؤثر بشكل كبير على نتائج النموذج، حيث حققت مصطلحات CALIBER درجات دقة أعلى مقارنة بمفردات ICD-10 الأوسع، التي، على الرغم من تحقيقها درجات أعلى في منطقة تحت منحنى التشغيل المستقبل (AUROC)، عانت من دقة أقل بسبب زيادة الندرة. كما وجدت الدراسة أن النماذج الأكبر قدمت أداءً أفضل للتنبؤات على المدى الطويل (حتى 5 سنوات)، كما يتضح من زيادة AUROC من 63.4% إلى 86.7% في المهمة 4، بينما كانت النماذج الأصغر تؤدي بشكل متقارب للتنبؤات على المدى القصير (حتى 12 شهرًا).
بالإضافة إلى ذلك، أثرت استراتيجية تقسيم البيانات المستخدمة أثناء التدريب على أداء النموذج، حيث أدى استخدام مجموعة بيانات تدريب مسبق أكبر إلى تمثيلات متعلمة أكثر ثراءً. كشفت التحليلات أن نوافذ التنبؤ الأقصر (6 و12 شهرًا) أدت عمومًا إلى دقة تنبؤية أعلى، بينما كانت التنبؤات للزيارة التالية أكثر تحديًا بسبب ندرة التسمية. تؤكد النتائج على أهمية توافق مهام التنبؤ مع الأهداف السريرية وتقترح أن نماذج المحولات المدربة على إحصاءات حلقات المستشفى قد تعمل بشكل أفضل كأدوات ترتيب المخاطر بدلاً من مصنفات نهائية. تشمل اتجاهات البحث المستقبلية استكشاف استراتيجيات تدريب بديلة، وهياكل نماذج خفيفة، والبنية الهرمية للمصطلحات السريرية لتعزيز أداء النموذج وقابليته للتفسير.
القيود
تقدم الدراسة رؤى منهجية مهمة؛ ومع ذلك، هناك العديد من القيود التي تستحق الاعتبار. أولاً، بينما تم إجراء مقارنات بين النماذج المدربة على بنك المملكة المتحدة الحيوي والنتائج المبلغ عنها سابقًا من BEHRT المدرب على رابط بيانات الممارسة السريرية (CPRD)، فإن غياب تجارب جديدة على CPRD يعني أن هذه الملاحظات عبر مجموعات البيانات غير مباشرة. يتطلب هذا الاعتماد على النتائج المنشورة تفسيرًا حذرًا للنتائج. ثانيًا، فإن استبعاد المرضى الذين لديهم متابعة غير مكتملة أو أقل من خمس زيارات يقدم تحيز الناجين، حيث من المرجح أن يولد أولئك الذين يبقون في مجموعة البيانات سجلات موسعة. على الرغم من أن هذا التحيز شائع في دراسات السجلات الصحية الإلكترونية (EHR) في العالم الحقيقي، يؤكد المؤلفون أن هذا العمل منهجي في المقام الأول وليس مقصودًا للتطبيق السريري الفوري.
بالإضافة إلى ذلك، كانت دراسة تكوينات النمذجة محدودة بسبب قيود الحوسبة والوقت. بينما كانت الخيارات التجريبية المختارة مستندة إلى الصلة العملية والأدبيات السابقة، لم يتم تقييم جميع التباديل الممكنة – مثل اقتران كل حجم مصطلح مع كل استراتيجية تقسيم بيانات. وبالتالي، يجب ألا تُعتبر النتائج شاملة. يمكن أن تستفيد الأبحاث المستقبلية من استكشاف أكثر شمولاً قائم على المحاكاة لاستراتيجيات النمذجة، على الرغم من أن مثل هذه المساعي ستظل تواجه تحديات تتعلق بالمتطلبات الحاسوبية لتدريب هياكل المحولات الكبيرة.
DOI: https://doi.org/10.3389/fdgth.2026.1715506
PMID: https://pubmed.ncbi.nlm.nih.gov/41743675
Publication Date: 2026-02-10
Author(s): Yusuf Yildiz et al.
Primary Topic: Machine Learning in Healthcare
Overview
This study investigates the performance of a transformer-based model, BEHRT, trained on UK Biobank data for clinical prediction tasks, specifically focusing on next-visit diagnosis and long-term diagnosis prediction over five years. The research evaluates the influence of various modeling decisions, including model size, medical terminology (CALIBER vs. ICD-10), and data split strategies. The findings indicate that the larger model consistently outperformed the smaller model in long-term predictions, achieving an area under the receiver operating characteristic curve (AUROC) of 0.874 compared to 0.858. However, the performance differences were less pronounced for short-term predictions (6 months).
Additionally, the choice of medical terminology significantly impacted predictive accuracy, with the CALIBER model yielding a higher average precision score (APS) of 0.773 versus 0.678 for ICD-10. The study concludes that while transformer models can deliver high predictive performance across various clinical scenarios, their effectiveness is highly sensitive to modeling choices. The results emphasize the importance of selecting appropriate model configurations and terminology to optimize predictive outcomes in healthcare applications, particularly for long-term predictions.
Introduction
The introduction of this research paper outlines a significant transition in healthcare from reactive disease treatment to proactive strategies emphasizing early detection and prevention. Central to this shift are Clinical Prediction Models (CPMs), which utilize statistical algorithms to assess an individual’s risk of current or future medical conditions based on various predictors. The increasing availability of electronic health records (EHR) data, characterized by its scale and longitudinal nature, has facilitated the development of more sophisticated CPMs, particularly through the application of machine learning techniques. Notably, the BEHRT model, which employs a deep learning architecture based on Bidirectional Encoder Representations from Transformers (BERT), has shown promising results in predicting patient diagnoses by effectively capturing the contextual relationships within EHR data.
The paper further discusses the evolution of transformer-based clinical models, highlighting advancements in pre-training strategies and the introduction of generative frameworks that leverage large-scale datasets like the UK Biobank. Despite the progress, several challenges remain, including the impact of varying medical terminologies on prediction performance and inconsistencies in data split strategies that may bias model evaluations. The authors emphasize the necessity for standardized methodologies to enhance the generalizability and robustness of CPMs, particularly in resource-limited healthcare settings. This study aims to explore how variations in model size, medical terminology, and data allocation strategies influence the predictive capabilities of the BEHRT model when applied to next disease prediction tasks within the UK Biobank dataset.
Methods
In this section, the authors outline the methods employed to train the BEHRT model using UK Biobank data, establishing a baseline with CALIBER terminology and adhering to the architecture and data split strategy previously described. This approach facilitated the evaluation of the model’s generalizability to a new dataset.
To investigate the effects of critical modeling decisions, the authors conducted experiments comparing different variants of BEHRT under three specific conditions: (1) model size, comparing small and large configurations with hyperparameters detailed in Table 1; (2) medical terminology, contrasting the use of CALIBER (43 phenotypes) against ICD-10 (9,217 codes); and (3) data split strategy, where they implemented two approaches: Split 1 utilized the full dataset for pre-training followed by an 80/20 train-test split for fine-tuning, while Split 2 involved pre-training on 50% of the dataset, with the remaining portion also split 80/20 for fine-tuning.
Results
In the results section, the study reports on the performance of models trained on UK Biobank data using a masked language modeling (MLM) objective. The findings indicate that the larger model consistently outperformed the smaller model in terms of Average Precision Score (APS), suggesting that increased model capacity enhances representation learning. The peak performance was recorded at an APS of 0.497 with CALIBER terminology under Split 1, while the lowest performance was noted at an APS of 0.322 in the ICD-10 setting.
For comparative context, the authors reference a previous study that achieved a higher APS of 0.659 in CPRD-based BEHRT experiments, underscoring the impact of dataset size and vocabulary diversity on model performance. Although direct comparisons are not feasible, this benchmark highlights the significance of dataset characteristics in influencing model outcomes.
Discussion
The discussion section of this study highlights the impact of various modeling decisions on the predictive performance of the BEHRT model, which was retrained using the UK Biobank dataset. Key findings indicate that the choice of clinical coding terminology significantly affects model outcomes, with CALIBER terminology yielding higher Average Precision Scores (APS) compared to the more extensive ICD-10 vocabulary, which, while achieving higher Area Under the Receiver Operating Characteristic Curve (AUROC) scores, suffered from lower precision due to increased sparsity. The study also found that larger models provided better performance for long-term predictions (up to 5 years), as evidenced by an AUROC increase from 63.4% to 86.7% in Task 4, while smaller models performed comparably for short-term predictions (up to 12 months).
Additionally, the data split strategy employed during training influenced model performance, with a more extensive pre-training dataset leading to richer learned representations. The analysis revealed that shorter prediction windows (6 and 12 months) generally resulted in higher predictive accuracy, while next-visit predictions were more challenging due to label sparsity. The findings underscore the importance of aligning prediction tasks with clinical objectives and suggest that transformer models trained on hospital episode statistics may function better as risk ranking engines rather than definitive classifiers. Future research directions include exploring alternative training strategies, lightweight model architectures, and the hierarchical structure of clinical terminologies to enhance model performance and interpretability.
Limitations
The study presents significant methodological insights; however, several limitations warrant consideration. Firstly, while comparisons were made between models trained on the UK Biobank and previously reported results from BEHRT trained on the Clinical Practice Research Datalink (CPRD), the absence of new experiments on CPRD means that these cross-dataset observations are indirect. This reliance on published results necessitates cautious interpretation of the findings. Secondly, the exclusion of patients with incomplete follow-up or fewer than five visits introduces survivor bias, as those remaining in the dataset are more likely to generate extensive records. Although such bias is prevalent in real-world electronic health record (EHR) studies, the authors emphasize that this work is primarily methodological and not intended for immediate clinical application.
Additionally, the study’s exploration of modeling configurations was limited due to computational and time constraints. While the selected experimental choices were informed by practical relevance and prior literature, not all possible permutations—such as pairing every terminology size with every data split strategy—were evaluated. Consequently, the findings should not be viewed as exhaustive. Future research could benefit from a more comprehensive, simulation-based exploration of modeling strategies, although such endeavors will continue to face challenges related to the computational demands of training large transformer-based architectures.