DOI: https://doi.org/10.1186/s13643-024-02470-y
PMID: https://pubmed.ncbi.nlm.nih.gov/38622611
تاريخ النشر: 2024-04-15
المؤلف: Safoora Masoumi وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تدرس هذه الدراسة فعالية معالجة اللغة الطبيعية (NLP)، وتحديداً نموذج BioBERT، كبديل آلي لمراجعة الملخصات اليدوية في المراجعات الأدبية المنهجية والموسعة في المجال الطبي. من خلال تحليل 22,294 ملخصاً من قواعد بيانات مثل PubMed وEmbase، طور الباحثون مجموعة بيانات تدريبية من 485 ملخصاً مصنفاً يدوياً، مع التركيز على ثلاثة متغيرات: سياق الاستخدام (COU)، مصدر النص (TS)، والمجال البحثي الأساسي (PRF). حقق النموذج درجات F1 الدقيقة بنسبة 77.35% لـ COU، و76.24% لـ TS، و85.64% لـ PRF، مما يدل على أداء قوي في تصنيف الملخصات.
تكشف النتائج عن معدل نمو سنوي مركب (AAGR) قدره 20.99% في المنشورات ذات الصلة من 2000 إلى 2020، مع تركيز ملحوظ للدراسات حول الأورام والحالات النفسية. تسلط الدراسة الضوء على أن السجلات الصحية الإلكترونية كانت المصدر النصي السائد، بينما أظهرت قواعد بيانات الأومكس أعلى معدل نمو. كان التطبيق الأكثر شيوعاً لـ NLP الذي تم تحديده هو دعم القرار السريري. يستنتج المؤلفون أن BioBERT يظهر أداءً مقبولاً لاختيار الملخصات، مما يشير إلى إمكانيته في تعزيز الكفاءة والموثوقية في المراجعات الأدبية المنهجية، وبالتالي تقليل عبء الفحص اليدوي.
مقدمة
ت outlines مقدمة الورقة تطور معالجة اللغة الطبيعية (NLP)، مسلطة الضوء على تطورها السريع منذ الخمسينيات، عندما اقترح آلان تورينغ اختباراً للذكاء الآلي. في البداية، هيمنت نظريات نوام تشومسكي اللغوية على NLP، لكن NLP انتقلت نحو النماذج الحاسوبية التي تستخدم التحليل الإحصائي، مما تم تعزيزه بشكل كبير من خلال التقدم في التعلم الآلي والتعلم العميق. لقد تسارع انتشار الأجهزة الذكية تقدم NLP، مما يبرز ضرورتها في تفسير اللغة البشرية في كل من الأشكال المنطوقة والمكتوبة. هذا مهم بشكل خاص في مجالات مثل الطب القائم على الأدلة، حيث تتطلب المراجعات الأدبية المنهجية (SLRs) معالجة فعالة لكميات هائلة من البيانات غير المهيكلة.
تؤكد الورقة على دور NLP في تحسين SLRs من خلال تقنيات مثل تصنيف النص واستخراج البيانات، كما يتضح من استخدام نموذج BERT (تمثيلات الترميز ثنائية الاتجاه من المحولات) ونموذجه الحيوي، BioBERT. لقد أظهرت هذه النماذج أداءً متفوقاً في مهام NLP المختلفة، خاصة في السياقات الحيوية. يهدف المؤلفون إلى تحليل التقدم في NLP الطبي على مدار العقدين الماضيين، مع مقارنة نتائجهم بالدراسات الحديثة، وإظهار تطبيق NLP في أتمتة مراجعات الملخصات. يقدمون قائمة شاملة بمصادر البيانات المستخدمة في الأدبيات الطبية لـ NLP، موضحين أنواع تطبيقات NLP والمجالات المرضية المرتبطة، بينما يوضحون كيف يقوم نموذج BioBERT بتصنيف الملخصات بشكل فعال.
الطرق
ت outlines قسم “الطرق” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجاً كميًا، حيث نفذوا تجارب محكومة لجمع البيانات حول المتغيرات المحددة. تضمنت المنهجيات الرئيسية التحليل الإحصائي باستخدام أدوات البرمجيات لتقييم دلالة النتائج، بالإضافة إلى تطبيق نماذج رياضية مختلفة لتفسير البيانات بدقة.
بالإضافة إلى ذلك، يوضح القسم طرق أخذ العينات، بما في ذلك معايير اختيار المشاركين والإجراءات المتبعة لضمان موثوقية وصدق النتائج. كما تم تسليط الضوء على استخدام مقاييس ومعايير محددة للتقييم، مما يوفر إطاراً لفهم تداعيات النتائج في سياق أهداف البحث الأوسع. بشكل عام، تم تصميم الطرق المستخدمة بدقة لضمان نتائج قوية وقابلة للتكرار.
النتائج
تشير نتائج الدراسة إلى أن النماذج المدربة حققت دقة عالية في تصنيف الملخصات بناءً على مصدر النص، والسياق، والمجال البحثي الأساسي، مع معدلات تصنيف بلغت 78.5%، 77.3%، و87.6%، على التوالي. كانت درجات F1 الدقيقة لهذه التصنيفات 77.35%، 76.24%، و85.64%. تم استرجاع ما مجموعه 22,294 ملخصاً باللغة الإنجليزية، وتم اختيار 12,161 لتحليلها بعد تصفية النسخ المكررة والمقالات غير ذات الصلة. كشفت التحليلات عن زيادة لوغاريتمية في منشورات NLP منذ عام 2000، مع معدل نمو سنوي مركب (AAGR) قدره 20.99%، مما يترجم إلى زيادة متوسطة قدرها 72 منشوراً سنوياً. أشارت قيم R² المعدلة إلى وجود علاقة قوية بين أعداد المنشورات والزمن، مع زيادة ملحوظة عند تضمين مصطلح مربع لسنة النشر.
فيما يتعلق بمصادر النص، شكلت السجلات الطبية الإلكترونية النسبة الأكبر (57.12%)، بينما شكلت الأدلة الطبية المنشورة 33.84%. مثلت وسائل التواصل الاجتماعي وقواعد بيانات الأومكس أقل من 10% من إجمالي مصادر النص. كانت المجالات البحثية الأساسية تركز بشكل أساسي على الأورام، والحالات النفسية، والأمراض المعدية، والأمراض الدورية، والتي تشكل مجتمعة أكثر من 65% من الناتج البحثي. من بين سياقات الاستخدام، برز دعم القرار السريري كأهم تطبيق، بينما أظهرت المعلومات الحيوية أعلى معدل نمو (AAGR = 69.65%). تؤكد النتائج على المشهد الديناميكي لبحث NLP في الطب، مع تسليط الضوء على التحولات في كل من المصادر وسياقات الاستخدام على مدار العقدين الماضيين.
المناقشة
في هذه الدراسة، طور المؤلفون مجموعة بيانات تدريبية لمعالجة اللغة الطبيعية (NLP) من خلال البحث المنهجي في قواعد بيانات مثل PubMed وEmbase وPsycINFO وCINAHL عن الملخصات ذات الصلة المنشورة بين يناير 2000 وديسمبر 2020. استخدم البحث كل من المفردات المسيطر عليها وكلمات البحث النصية الحرة، مع التركيز على مصادر النص المختلفة وسياقات الاستخدام في NLP الطبي. تضمنت عملية التصنيف عدة خطوات، بما في ذلك تحسين فئات الملخصات وتطبيق خوارزميات التعلم الآلي، وتحديداً ضبط نموذج BioBERT. أظهر النموذج النهائي دقة كافية في تصنيف الملخصات حسب مصدر النص، وسياق الاستخدام، والمجالات البحثية الأساسية، مع معدل نمو سنوي متوسط قدره 21% في منشورات NLP الطبية خلال فترة الدراسة.
تشير النتائج إلى اتجاه تصاعدي كبير في تطبيق NLP في البحث الطبي، خاصة في مجالات مثل الأورام والصحة النفسية. يؤكد المؤلفون على الحاجة إلى مزيد من الاستكشاف للفجوات في معدلات الاقتباس عبر حالات طبية مختلفة وإمكانية تطبيقات أوسع لـ NLP. يدعون إلى استخدام BioBERT كأداة موثوقة لتصنيف الملخصات، مما قد يعزز كفاءة المراجعات الأدبية المنهجية. ومع ذلك، تعترف الدراسة بالقيود، بما في ذلك التحيزات المحتملة في التصنيف الأولي واستبعاد الملخصات غير الإنجليزية، مما يشير إلى أن الأبحاث المستقبلية يمكن أن توسع مجموعة البيانات وتقوم بتحسين النموذج بشكل أكبر. بشكل عام، تسهم الدراسة في فهم دور NLP في الأدبيات الطبية وتوفر إطاراً منهجياً للتحقيقات المستقبلية.
DOI: https://doi.org/10.1186/s13643-024-02470-y
PMID: https://pubmed.ncbi.nlm.nih.gov/38622611
Publication Date: 2024-04-15
Author(s): Safoora Masoumi et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
This study investigates the efficacy of natural language processing (NLP), specifically the BioBERT model, as an automated alternative to manual abstract review in systematic and scoping literature reviews within the medical field. By analyzing 22,294 abstracts from databases such as PubMed and Embase, the researchers developed a training dataset from 485 manually classified abstracts, focusing on three variables: context of use (COU), text source (TS), and primary research field (PRF). The model achieved micro f1-scores of 77.35% for COU, 76.24% for TS, and 85.64% for PRF, indicating a robust performance in classifying abstracts.
The findings reveal a significant annual growth rate (AAGR) of 20.99% in relevant publications from 2000 to 2020, with a notable concentration of studies on neoplasms and mental conditions. The study highlights that electronic health records were the predominant text source, while omics databases exhibited the highest growth rate. The most prevalent application of NLP identified was in clinical decision support. The authors conclude that BioBERT demonstrates acceptable performance for abstract selection, suggesting its potential to enhance efficiency and reliability in systematic literature reviews, thereby reducing the burden of manual screening.
Introduction
The introduction of the paper outlines the evolution of natural language processing (NLP), highlighting its rapid development since the 1950s, when Alan Turing proposed a test for machine intelligence. Initially dominated by Noam Chomsky’s linguistic theories, NLP shifted towards computational models utilizing statistical analysis, significantly enhanced by advancements in machine learning and deep learning. The proliferation of smart devices has further accelerated NLP’s progress, emphasizing its necessity for interpreting human language in both spoken and written forms. This is particularly relevant in fields like evidence-based medicine, where systematic literature reviews (SLRs) require efficient handling of vast amounts of unstructured data.
The paper underscores the role of NLP in improving SLRs through techniques such as text classification and data extraction, exemplified by the use of the BERT (Bidirectional Encoder Representations from Transformers) model and its biomedical variant, BioBERT. These models have shown superior performance in various NLP tasks, particularly in biomedical contexts. The authors aim to analyze the advancements in medical NLP over the past two decades, benchmarking their findings against recent studies, and demonstrate the application of NLP in automating abstract reviews. They provide a comprehensive list of data sources utilized in medical NLP literature, detailing the types of NLP applications and associated disease areas, while illustrating how the BioBERT model effectively categorizes abstracts.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, implementing controlled experiments to gather data on the specified variables. Key methodologies included statistical analysis using software tools to assess the significance of the results, as well as the application of various mathematical models to interpret the data accurately.
Additionally, the section details the sampling methods, including the selection criteria for participants and the procedures followed to ensure the reliability and validity of the findings. The use of specific metrics and benchmarks for evaluation is also highlighted, providing a framework for understanding the implications of the results within the broader context of the research objectives. Overall, the methods employed were rigorously designed to ensure robust and reproducible outcomes.
Results
The results of the study indicate that the trained models achieved high accuracy in classifying abstracts based on their text source, context, and primary research field, with classification rates of 78.5%, 77.3%, and 87.6%, respectively. The micro F1-scores for these classifications were 77.35%, 76.24%, and 85.64%. A total of 22,294 English abstracts were retrieved, with 12,161 selected for analysis after filtering out duplicates and irrelevant articles. The analysis revealed a logarithmic increase in NLP publications since 2000, with an average annual growth rate (AAGR) of 20.99%, translating to an average increase of 72 publications per year. The adjusted R² values indicated a strong correlation between publication numbers and time, with a notable increase when a squared term for publication year was included.
In terms of text sources, electronic medical records constituted the largest proportion (57.12%), while published medical evidence accounted for 33.84%. Social media and omics databases represented less than 10% of the total text sources. The primary research fields predominantly focused on neoplasms, mental conditions, infectious diseases, and circulatory diseases, collectively comprising over 65% of the research output. Among the contexts of use, clinical decision support emerged as the most significant application, while bioinformatics showed the highest growth rate (AAGR = 69.65%). The findings underscore the dynamic landscape of NLP research in medicine, highlighting shifts in both the sources and contexts of use over the past two decades.
Discussion
In this study, the authors developed a training dataset for natural language processing (NLP) by systematically searching databases such as PubMed, Embase, PsycINFO, and CINAHL for relevant abstracts published between January 2000 and December 2020. The search utilized both controlled vocabulary and free-text keywords, focusing on various text sources and contexts of use in medical NLP. The classification process involved multiple steps, including the optimization of abstract categories and the application of machine learning algorithms, specifically fine-tuning the BioBERT model. The final model demonstrated sufficient accuracy in classifying abstracts by text source, context of use, and primary research fields, with a reported average annual growth rate of 21% in medical NLP publications over the study period.
The findings indicate a significant upward trend in the application of NLP within medical research, particularly in fields such as oncology and mental health. The authors emphasize the need for further exploration of the disparities in citation rates across different medical conditions and the potential for broader applications of NLP. They advocate for the use of BioBERT as a reliable tool for abstract classification, which could enhance the efficiency of systematic literature reviews. However, the study acknowledges limitations, including potential biases in the initial classification and the exclusion of non-English abstracts, suggesting that future research could expand the dataset and refine the model further. Overall, the study contributes to the understanding of NLP’s role in medical literature and provides a methodological framework for future investigations.