DOI: https://doi.org/10.1093/jamiaopen/ooag131
PMID: https://pubmed.ncbi.nlm.nih.gov/42428529
تاريخ النشر: 2026-07-07
المؤلف: Hanjae Kim وآخرون
الموضوع الرئيسي: تقنيات الاستدلال السببي المتقدمة
نظرة عامة
تقدم ورقة البحث THESEUS (محرك تقدير وتحديد الدراسة الصحية الموجه بالنص باستخدام ستراتيجوس)، وهو إطار مصمم لأتمتة ترجمة أوصاف الدراسات النصية الحرة إلى مواصفات تحليلية موحدة ونصوص R قابلة للتنفيذ ضمن نظام علوم بيانات الصحة الملاحظة والمعلوماتية (OHDSI). يستخدم الإطار نماذج لغوية كبيرة (LLMs) في عملية من خطوتين: أولاً، رسم أوصاف الدراسات في مخطط JSON مقيد للتوحيد، وثانياً، تحويل هذه المواصفات الهيكلية إلى نصوص R مع آلية تدقيق ذاتي لتصحيح الأخطاء.
تضمنت تقييم THESEUS اختبار ثمانية نماذج LLM مملوكة على نصوص من 15 دراسة محاكاة تجريبية مستندة إلى OHDSI والتحقق من صحة الإطار مع خمس دراسات غير OHDSI. أظهرت النتائج دقة عالية على مستوى الدراسة للتوحيد، تتراوح من 0.91 إلى 0.98 للتحليل الأساسي في دراسات OHDSI، بينما تفاوتت حساسية مستوى الحقل بين 0.73 و 0.90. أظهرت خطوة توليد الشيفرة معدلات قابلية التنفيذ في الجولة الأولى تتراوح بين 0.80 و 1.00، وتحسنت إلى 1.00 بعد التدقيق الذاتي. بشكل عام، يُظهر THESEUS إمكانية استخدام LLMs لأتمتة الترميز في البحث الملاحظ، مما قد يقلل من الحواجز التقنية ويعزز المشاركة بين الباحثين المتنوعين.
مقدمة
تناقش مقدمة ورقة البحث أهمية أبحاث الفعالية المقارنة (CER) باستخدام البيانات الملاحظة، وخاصة من خلال عدسة محاكاة التجارب المستهدفة (TTE). تعمل TTE كإطار منهجي يحاكي تصميم تجربة عشوائية لاستنتاج التأثيرات السببية من البيانات الملاحظة، مع معالجة التحديات التي تطرحها القيود الأخلاقية أو اللوجستية أو المالية التي غالباً ما تحد من التجارب العشوائية المضبوطة. ومع ذلك، فإن الانتقال من تصاميم الدراسات المفاهيمية إلى الشيفرة التحليلية القابلة للتنفيذ يمثل عنق زجاجة حرج، ويرجع ذلك أساساً إلى الحاجة إلى كل من خبرة الاستدلال السببي ومهارات البرمجة في لغات إحصائية مثل R أو Python. تعيق هذه العبء البرمجي قابلية التوسع وإعادة إنتاج البحث الملاحظ، حيث يمكن أن تؤدي الشيفرات التحليلية المخصصة المصممة لتناسب بيئات البيانات المحلية إلى عدم اتساق في النتائج عبر فرق البحث المختلفة.
لتخفيف هذه التحديات، أنشأت مجتمع علوم بيانات الصحة الملاحظة والمعلوماتية (OHDSI) نموذج بيانات موحد، وهو نموذج البيانات الشائعة لشراكة النتائج الطبية الملاحظة (OMOP CDM)، الذي ينسق البيانات الملاحظة عبر مصادر متنوعة. بالإضافة إلى ذلك، طورت OHDSI مجموعة بيانات التحليلات الصحية إلى الأدلة (HADES) وستراتيجوس، التي تسهل سير العمل القابل لإعادة الإنتاج من خلال توليد مواصفة JSON واحدة للتحليلات. على الرغم من هذه التقدمات، فإن الاعتماد على حزم R والاتفاقيات الخاصة بـ OHDSI يحد من إمكانية الوصول للباحثين الذين يفتقرون إلى خبرة البرمجة. تقترح الورقة إطار عمل جديد، THESEUS (محرك تقدير وتحديد الدراسة الصحية الموجه بالنص باستخدام ستراتيجوس)، الذي يستفيد من نماذج لغوية كبيرة (LLMs) لتوحيد أوصاف الدراسات باللغة الطبيعية إلى مواصفات JSON هيكلية ثم تحويلها إلى نصوص R قابلة للتنفيذ. يهدف هذا النهج إلى تعزيز إمكانية الوصول إلى TTE وتحسين إعادة إنتاج الدراسات الملاحظة ضمن شبكة OHDSI.
الطرق
في هذه الدراسة، التزمنا بالإرشادات الموضحة في قائمة التحقق لعناصر التقرير الدنيا لتقييم دقة تقارير نماذج اللغة الكبيرة في الرعاية الصحية (MI-CLEAR-LLM). يضمن هذا الإطار الإبلاغ الشامل وتقييم دقة نماذج اللغة الكبيرة (LLMs) ضمن مجال الرعاية الصحية. من خلال اتباع هذه المعايير، نهدف إلى تعزيز الشفافية وإعادة إنتاج نتائجنا، مما يساهم في النقاش المستمر حول فعالية LLMs في تطبيقات الرعاية الصحية.
النتائج
تظهر نتائج الدراسة تقدمًا كبيرًا في أتمتة الترميز لأبحاث الفعالية المقارنة (CER) من خلال استخدام نماذج بيانات موحدة وإطارات تحليلية. في تقييم 15 دراسة مستندة إلى OHDSI، أظهرت النماذج دقة عالية بشكل عام، حيث حقق Claude-Opus-4.5 أعلى دقة بلغت 0.98. بالنسبة للدراسات غير OHDSI، تفاوتت الدقة والحساسية، حيث أظهر DeepSeek-V3.2 وضع التفكير أفضل أداء (دقة 0.95، حساسية 0.90). كما سلطت الدراسة الضوء على التحديات في استخراج بعض المواصفات التحليلية، وخاصة الوقت في خطر، الذي أظهر دقة أقل بسبب أوصافه المتنوعة في الأدبيات.
فيما يتعلق بتوليد الشيفرة، كانت قابلية تنفيذ نصوص ستراتيجوس المولدة مرتفعة بشكل ملحوظ، حيث وصلت قابلية التنفيذ في الجولة الأولى إلى 1.00 لعدة نماذج بعد التدقيق الذاتي. يشير ذلك إلى أن تنسيق الإدخال الهيكلي المستخدم لتوليد الشيفرة يخفف بشكل فعال من التعقيدات المرتبطة بتفسير اللغة الطبيعية. تؤكد الدراسة على إمكانية هذه العمليات المؤتمتة لتعزيز قابلية التوسع والوصول إلى الدراسات الملاحظة، مع الإشارة أيضًا إلى القيود مثل التركيز الحالي على إطار TTE والحاجة إلى قابلية تطبيق أوسع عبر تصاميم دراسات مختلفة. بشكل عام، تشير النتائج إلى أن دمج أنظمة الترميز المؤتمتة يمكن أن يبسط بشكل كبير سير العمل البحثي ويسهل التحليلات الاستعادية للدراسات المنشورة سابقًا.
المناقشة
في هذا القسم، يقدم المؤلفون إطارًا مفاهيميًا لتنفيذ تصميم “طريقة المجموعة” ضمن إطار بحث OHDSI، بهدف محاكاة التجارب العشوائية المضبوطة. يتضمن الإطار نهجًا من خطوتين: أولاً، توحيد أوصاف الدراسات النصية الحرة إلى مواصفات هيكلية باستخدام مخطط قائم على JSON، وثانيًا، توليد نصوص R قابلة للتنفيذ لمنصة ستراتيجوس. يتم استخدام نموذج لغوي كبير (LLM) لترجمة الأوصاف باللغة الطبيعية إلى مواصفات JSON هيكلية، والتي يتم تحويلها بعد ذلك إلى نصوص R الخاصة بستراتيجوس مع تعليقات مضمنة من أجل الوضوح. تتضمن هذه العملية وظيفة تدقيق ذاتي لضمان دقة النصوص المولدة.
للتحقق من صحة الإطار، قام المؤلفون بتقييم أدائه باستخدام أوراق دراسات الوقت للحدث (TTE) المنشورة سابقًا، مقارنةً بالمواصفات المولدة مقابل المعايير الذهبية التي أنشأها المؤلفون. تم إجراء التقييم تحت ثلاثة شروط إدخال، مع تقييم الدقة عبر أقسام مختلفة من مواصفات الدراسة. أظهرت النتائج دقة عالية للمواصفات الهيكلية المولدة من دراسات OHDSI، حيث حققت نماذج مثل GPT-5.2 دقة إجمالية بلغت 0.91 للتحليلات الأساسية. تم اختبار الإطار أيضًا على دراسات غير OHDSI، مما كشف عن أداء متنوع، خاصة في دقة مواصفات الوقت في خطر. يتوفر نموذج أولي تفاعلي قائم على الويب للإطار للجمهور، مما يسهل المزيد من الاستكشاف والتحقق من صحة المنهجية المقترحة.
DOI: https://doi.org/10.1093/jamiaopen/ooag131
PMID: https://pubmed.ncbi.nlm.nih.gov/42428529
Publication Date: 2026-07-07
Author(s): Hanjae Kim et al.
Primary Topic: Advanced Causal Inference Techniques
Overview
The research paper introduces THESEUS (Text-guided Health-study Estimation and Specification Engine Using Strategus), a framework designed to automate the translation of free-text study descriptions into standardized analytic specifications and executable R scripts within the Observational Health Data Sciences and Informatics (OHDSI) ecosystem. The framework employs large language models (LLMs) in a two-step process: first, mapping study descriptions into a constrained JSON schema for standardization, and second, converting these structured specifications into R scripts with a self-auditing mechanism for error correction.
Evaluation of THESEUS involved testing eight proprietary LLMs on texts from 15 OHDSI-based target trial emulation studies and validating the framework with five non-OHDSI studies. Results indicated high study-level accuracy for standardization, ranging from 0.91 to 0.98 for primary analysis in OHDSI studies, while field-level sensitivity varied between 0.73 and 0.90. The code generation step showed first-run executability rates between 0.80 and 1.00, improving to 1.00 after self-auditing. Overall, THESEUS demonstrates the feasibility of using LLMs to automate coding in observational research, potentially reducing technical barriers and enhancing participation among diverse researchers.
Introduction
The introduction of the research paper discusses the significance of comparative effectiveness research (CER) using observational data, particularly through the lens of target trial emulation (TTE). TTE serves as a methodological framework that simulates the design of a randomized trial to derive causal effects from observational data, addressing the challenges posed by ethical, logistical, or financial constraints that often limit randomized controlled trials. However, the transition from conceptual study designs to executable analytic code presents a critical bottleneck, primarily due to the need for both causal inference expertise and programming skills in statistical languages like R or Python. This programming burden hinders the scalability and reproducibility of observational research, as custom analytic code tailored to local data environments can lead to inconsistencies in results across different research teams.
To mitigate these challenges, the Observational Health Data Sciences and Informatics (OHDSI) community has established a standardized data model, the Observational Medical Outcomes Partnership Common Data Model (OMOP CDM), which harmonizes observational data across various sources. Additionally, OHDSI has developed the Health Analytics Data-to-Evidence Suite (HADES) and Strategus, which facilitate reproducible workflows by generating a single JSON specification for analyses. Despite these advancements, the reliance on R packages and OHDSI-specific conventions limits accessibility for researchers lacking coding experience. The paper proposes a novel framework, THESEUS (Text-guided Health-study Estimation and Specification Engine Using Strategus), which leverages large language models (LLMs) to standardize natural language study descriptions into structured JSON specifications and subsequently convert them into executable R scripts. This approach aims to enhance the accessibility of TTE and improve the reproducibility of observational studies within the OHDSI network.
Methods
In this study, we adhered to the guidelines outlined in the Minimum Reporting Items for Clear Evaluation of Accuracy Reports of Large Language Models in Healthcare (MI-CLEAR-LLM) checklist. This framework ensures comprehensive reporting and evaluation of the accuracy of large language models (LLMs) within the healthcare domain. By following these standards, we aim to enhance the transparency and reproducibility of our findings, thereby contributing to the ongoing discourse on the efficacy of LLMs in healthcare applications.
Results
The results of the study demonstrate significant advancements in the automation of coding for Comparative Effectiveness Research (CER) through the use of standardized data models and analytic frameworks. In the evaluation of 15 OHDSI-based studies, models exhibited high overall accuracy, with Claude-Opus-4.5 achieving the highest accuracy of 0.98. For non-OHDSI studies, precision and sensitivity varied, with DeepSeek-V3.2 Thinking Mode showing the best performance (precision 0.95, sensitivity 0.90). The study also highlighted the challenges in extracting certain analytic specifications, particularly time-at-risk, which showed lower accuracy due to its varied descriptions in literature.
In terms of code generation, the executability of generated Strategus scripts was notably high, with first-run executability reaching 1.00 for several models after self-auditing. This indicates that the structured input format used for code generation effectively mitigates the complexities associated with natural language interpretation. The study emphasizes the potential for these automated processes to enhance the scalability and accessibility of observational studies, while also noting limitations such as the current focus on the TTE framework and the need for broader applicability across different study designs. Overall, the findings suggest that integrating automated coding systems could significantly streamline the research workflow and facilitate retrospective analyses of previously published studies.
Discussion
In this section, the authors present a conceptual framework for implementing the ‘Cohort Method’ design within the OHDSI research framework, aimed at emulating randomized controlled trials. The framework involves a two-step approach: first, standardizing free-text study descriptions into structured specifications using a JSON-based schema, and second, generating executable R scripts for the Strategus platform. A large language model (LLM) is employed to translate natural language descriptions into structured JSON specifications, which are then converted into Strategus R scripts with embedded annotations for clarity. This process includes a self-auditing function to ensure the accuracy of the generated scripts.
To validate the framework, the authors evaluated its performance using previously published time-to-event (TTE) study papers, comparing the generated specifications against gold standards created by the authors. The evaluation was conducted under three input conditions, assessing accuracy across various sections of the study specifications. Results indicated high accuracy for the structured specifications generated from OHDSI studies, with models like GPT-5.2 achieving an overall accuracy of 0.91 for primary analyses. The framework was also tested on non-OHDSI studies, revealing varied performance, particularly in the accuracy of time-at-risk specifications. An interactive web-based prototype of the framework is publicly available, facilitating further exploration and validation of the proposed methodology.
