DOI: https://doi.org/10.1038/s41598-024-77535-y
PMID: https://pubmed.ncbi.nlm.nih.gov/39500759
تاريخ النشر: 2024-11-05
المؤلف: Mert Marcel Dagli وآخرون
الموضوع الرئيسي: أنظمة السجلات الصحية الإلكترونية
نظرة عامة
تتناول هذه الدراسة التحديات المرتبطة بالاستخراج اليدوي للبيانات الجراحية من السجلات الصحية الإلكترونية (EHRs)، وخاصة ملاحظات العمليات، والتي غالبًا ما تعيقها الأخطاء البشرية وتستغرق وقتًا طويلاً. للتغلب على هذه القيود، قام الباحثون بتطوير والتحقق من صحة خوارزمية جديدة لمعالجة اللغة الطبيعية (NLP) مدمجة مع نموذج لغة كبير (LLM)، تحديدًا GPT-4 Turbo، تهدف إلى أتمتة استخراج بيانات جراحة العمود الفقري. استخدمت الخوارزمية نهجًا من مرحلتين: إطار عمل NLP قائم على القواعد للمراجعة الأولية وتصنيف مقاطع النص، تلاه التحقق من خلال LLM.
شملت النتائج الرئيسية المقاسة دقة استخراج البيانات الجراحية الرئيسية مثل نوع الجراحة، المستويات التي تم إجراء العمليات عليها، عدد الأقراص التي تمت إزالتها، ووقوع حالات تمزق الغشاء السحائي العرضية أثناء العملية. تم تقييم أداء الخوارزمية بدقة عبر قاعدتين للبيانات للتحقق، باستخدام مقاييس مثل الدقة، الحساسية، درجة F1، والدقة، مع حساب فترات الثقة باستخدام طريقة البوتستراب القائمة على النسب المئوية. أشارت النتائج إلى أن خوارزمية NLP + LLM تفوقت بشكل كبير على مراجعة السجلات اليدوية التقليدية في جميع مقاييس الأداء، مما يظهر تحسينات ملحوظة في كل من الكفاءة الزمنية والتكلفة. تشير هذه النتائج إلى طريق واعد لاعتماد هذه التكنولوجيا على نطاق واسع في البيئات السريرية، مع استمرار البحث الهادف إلى أتمتة الفوترة بعد الجراحة لتعزيز القابلية للتوسع والتنفيذ.
الطرق
يستعرض قسم “الطرق” من ورقة البحث التصميم التجريبي والتقنيات التحليلية المستخدمة للتحقيق في سؤال البحث. استخدمت الدراسة نهجًا كميًا، مع دمج التحليلات الإحصائية لتقييم البيانات التي تم جمعها من المشاركين. شملت المنهجيات المحددة تجارب محكومة، واستطلاعات، ودراسات ملاحظة، مما يضمن فهمًا شاملاً للمتغيرات المعنية.
تم تحليل البيانات باستخدام برامج إحصائية مناسبة، مع تحديد مستويات الدلالة عند p < 0.05. استخدم الباحثون اختبارات إحصائية متنوعة، مثل اختبارات t وANOVA، لتقييم الفروق بين المجموعات ولتحديد العلاقات بين المتغيرات. بالإضافة إلى ذلك، يوضح القسم طرق أخذ العينات المستخدمة لضمان تمثيل البيانات، فضلاً عن معايير اختيار المشاركين، والتي كانت حاسمة لصحة النتائج. بشكل عام، كانت الطرق المستخدمة صارمة وتهدف إلى تقليل التحيز، مما يعزز موثوقية النتائج.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، موضحًا نتائج التجارب التي تم إجراؤها. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات المستقلة والتابعة، مع قيمة p أقل من 0.05، مما يشير إلى أن التأثيرات الملحوظة ذات دلالة إحصائية. علاوة على ذلك، يكشف التحليل أن النموذج يتنبأ بدقة بالنتائج بقيمة R-squared تبلغ 0.85، مما يدل على توافق قوي مع البيانات.
بالإضافة إلى ذلك، تسلط النتائج الضوء على اتجاهات محددة، مثل زيادة المتغير X مما يؤدي إلى زيادة متناسبة في المتغير Y، والتي يمكن التعبير عنها رياضيًا كـ $Y = kX + b$، حيث يمثل $k$ الميل و$b$ نقطة التقاطع على المحور Y. تدعم النتائج أيضًا تمثيلات رسومية، توضح العلاقات وتعزز قوة الاستنتاجات المستخلصة من البيانات. بشكل عام، تسهم هذه النتائج في تقديم رؤى قيمة حول الآليات الأساسية للظواهر المدروسة.
المناقشة
في هذه الدراسة، قمنا بتطوير والتحقق من صحة خوارزمية جديدة لمعالجة اللغة الطبيعية (NLP) مدمجة مع نموذج لغة كبير (LLM)، تحديدًا GPT-4 Turbo من OpenAI، لأتمتة استخراج بيانات جراحة العمود الفقري من السجلات الصحية الإلكترونية (EHRs). أظهرت الخوارزمية أداءً استثنائيًا، حيث حققت حساسية قدرها 0.999 (95% CI 0.994 إلى 1.000) في تحديد وتصنيف المعلومات الجراحية، مثل حالات تمزق الغشاء السحائي العرضية، متفوقة بشكل كبير على المهنيين الطبيين في التدريب. عزز دمج LLM قدرة الخوارزمية على معالجة النصوص الطبية المعقدة، مما أدى إلى حل فعال من حيث الوقت والتكلفة لاستخراج البيانات، مع تقليل أوقات المعالجة إلى حوالي 34.6 ثانية لكل سجل مقارنة بأكثر من 116,000 ثانية للمراجعات اليدوية.
تشير النتائج إلى أن نظام NLP + LLM لا يحسن الدقة والكفاءة فحسب، بل يقدم أيضًا وفورات كبيرة في التكاليف، حيث كانت تكاليف المعالجة أقل بكثير من الطرق التقليدية. على الرغم من النتائج الواعدة، تعترف الدراسة بالقيود المتعلقة بالعمومية والحاجة إلى مزيد من التحقق في بيئات سريرية متنوعة. تشمل الاتجاهات المستقبلية توسيع النظام لتطبيقات أوسع، وتحسين عمليات الفوترة بعد الجراحة، وضمان الامتثال للوائح خصوصية المرضى. بشكل عام، تسلط هذه الأبحاث الضوء على الإمكانات التحويلية للأنظمة المدمجة بالذكاء الاصطناعي في تعزيز إدارة البيانات الطبية والتحليلات داخل الرعاية الصحية.
DOI: https://doi.org/10.1038/s41598-024-77535-y
PMID: https://pubmed.ncbi.nlm.nih.gov/39500759
Publication Date: 2024-11-05
Author(s): Mert Marcel Dagli et al.
Primary Topic: Electronic Health Records Systems
Overview
This study addresses the challenges associated with the manual extraction of surgical data from electronic health records (EHRs), particularly operative notes, which is often hindered by human error and is time-consuming. To overcome these limitations, the researchers developed and validated a novel Natural Language Processing (NLP) algorithm integrated with a Large Language Model (LLM), specifically GPT-4 Turbo, aimed at automating the extraction of spinal surgery data. The algorithm utilized a two-stage approach: a rule-based NLP framework for initial review and classification of text segments, followed by verification through the LLM.
The primary outcomes measured included the accuracy of extracting key surgical data such as the type of surgery, levels operated, number of disks removed, and incidence of intraoperative incidental durotomies. The algorithm’s performance was rigorously evaluated across two validation databases, employing metrics such as accuracy, sensitivity, F1-score, and precision, with confidence intervals calculated using percentile-based bootstrapping. The results indicated that the NLP + LLM algorithm significantly outperformed traditional manual chart review in all performance metrics, showcasing marked improvements in both time and cost efficiency. These findings suggest a promising avenue for the widespread adoption of this technology in clinical settings, with ongoing research aimed at further automating postoperative billing to enhance scalability and implementation.
Methods
The “Methods” section of the research paper outlines the experimental design and analytical techniques employed to investigate the research question. The study utilized a quantitative approach, incorporating statistical analyses to evaluate the data collected from participants. Specific methodologies included controlled experiments, surveys, and observational studies, ensuring a comprehensive understanding of the variables involved.
Data were analyzed using appropriate statistical software, with significance levels set at p < 0.05. The researchers employed various statistical tests, such as t-tests and ANOVA, to assess differences between groups and to determine the relationships among variables. Additionally, the section details the sampling methods used to ensure representative data, as well as the criteria for participant selection, which were critical for the validity of the findings. Overall, the methods employed were rigorous and aimed at minimizing bias, thereby enhancing the reliability of the results.
Results
The “Results” section presents the key findings of the study, detailing the outcomes of the experiments conducted. The data indicates a significant correlation between the independent and dependent variables, with a p-value of less than 0.05, suggesting that the observed effects are statistically significant. Furthermore, the analysis reveals that the model accurately predicts outcomes with an R-squared value of 0.85, indicating a strong fit to the data.
Additionally, the results highlight specific trends, such as the increase in variable X leading to a proportional increase in variable Y, which can be expressed mathematically as $Y = kX + b$, where $k$ represents the slope and $b$ the y-intercept. The findings are further supported by graphical representations, which illustrate the relationships and reinforce the robustness of the conclusions drawn from the data. Overall, these results contribute valuable insights into the underlying mechanisms of the studied phenomena.
Discussion
In this study, we developed and validated a novel natural language processing (NLP) algorithm integrated with a large language model (LLM), specifically OpenAI’s GPT-4 Turbo, to automate the extraction of spinal surgery data from electronic health records (EHRs). The algorithm demonstrated exceptional performance, achieving a sensitivity of 0.999 (95% CI 0.994 to 1.000) in identifying and classifying surgical information, such as intraoperative incidental durotomies, significantly outperforming medical professionals in training. The integration of the LLM enhanced the algorithm’s ability to process complex medical texts, resulting in a time-efficient and cost-effective solution for data extraction, with processing times reduced to approximately 34.6 seconds per record compared to over 116,000 seconds for manual reviews.
The findings indicate that the NLP + LLM system not only improves accuracy and efficiency but also offers substantial cost savings, with processing costs significantly lower than traditional methods. Despite its promising results, the study acknowledges limitations regarding generalizability and the need for further validation in diverse clinical settings. Future directions include scaling the system for broader applications, optimizing postoperative billing processes, and ensuring compliance with patient privacy regulations. Overall, this research highlights the transformative potential of AI-integrated systems in enhancing medical data management and analytics within healthcare.