DOI: https://doi.org/10.1186/s13643-024-02619-9
PMID: https://pubmed.ncbi.nlm.nih.gov/39095913
تاريخ النشر: 2024-08-02
المؤلف: Connor Forbes وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تبحث الدراسة في فعالية أداة جديدة لأتمتة المراجعات المنهجية، “المزيل المكرر”، المصممة لإزالة السجلات المكررة من عمليات البحث في المراجعات المنهجية عبر قواعد بيانات متعددة. شملت الدراسة مقارنة خوارزمية “المزيل المكرر” ‘المتوازنة’ ضد طريقة إزالة التكرار شبه اليدوية باستخدام EndNote عبر عشرة نتائج بحث لمراجعات كوكران المنهجية. قام باحثان بإجراء إزالة التكرار على هذه المكتبات، بالتناوب بين الطريقتين. بالإضافة إلى ذلك، تم تقييم أداء ثلاث خوارزميات مختلفة للمزيل المكرر (‘المتوازنة’، ‘المركزة’، و ‘المريحة’) على مجموعتين من البيانات من نتائج البحث التي تم إزالة تكرارها سابقًا.
أشارت النتائج إلى أن متوسط حجم المكتبة قبل إزالة التكرار كان 1962 سجلًا. حقق المزيل المكرر متوسط وقت إزالة تكرار قدره 5 دقائق لكل 1000 سجل، أسرع بكثير من 15 دقيقة المطلوبة بواسطة EndNote. كانت نسبة الخطأ مع المزيل المكرر 1.8 أخطاء لكل 1000 سجل، مقارنة بـ 3.1 مع EndNote. من بين خوارزميات المزيل المكرر، حققت الخوارزمية ‘المتوازنة’ أعلى متوسط درجة F1 قدرها 0.9647، بينما أظهرت الخوارزمية ‘المركزة’ أعلى دقة (0.9798) واسترجاع (0.9757)، وأظهرت الخوارزمية ‘المريحة’ أعلى دقة (0.9896). تشير النتائج إلى أن المزيل المكرر لا يقلل فقط من الوقت والأخطاء المرتبطة بإزالة التكرار، بل يوفر أيضًا خيارًا سهل الاستخدام للباحثين الجدد، مما يستدعي مزيدًا من التحقيق في أدائه مقارنةً بأساليب إزالة التكرار الأخرى.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التحديات والموارد المطلوبة المرتبطة بإجراء المراجعات المنهجية، والتي تتطلب عادةً متوسط 67 أسبوعًا وتكلفة تقارب 141,000 دولار أمريكي. لتعزيز الكفاءة دون التضحية بالصرامة، تم تطوير أدوات أتمتة المراجعات المنهجية، مما يتيح مراجعات سريعة في أقل من 11 يوم عمل. خطوة حاسمة في هذه العملية هي إزالة التكرار، حيث يجب تحديد وإزالة السجلات المكررة من قواعد بيانات متعددة قبل الفحص من أجل الصلة. الطرق الحالية، التي غالبًا ما تكون شبه يدوية وتعتمد على برامج مثل EndNote، عرضة للأخطاء وتفتقر إلى توافق حول أفضل الممارسات.
لمعالجة هذه القيود، يقدم المؤلفون المزيل المكرر، أداة أتمتة مفتوحة الوصول مدمجة في مسرع المراجعة المنهجية (SRA). توفر هذه الأداة واجهة سهلة الاستخدام لمراجعة قرارات إزالة التكرار وتدعم تنسيقات ملفات متعددة لتوافق مع برامج إدارة المراجع المختلفة. تهدف الورقة إلى تحقيق هدفين: أولاً، لتفصيل الخوارزميات المستخدمة من قبل المزيل المكرر لاكتشاف التكرار، وثانيًا، لمقارنة أدائه من حيث كفاءة الوقت والدقة مقابل EndNote عبر عشرة مجموعات من نتائج البحث في المراجعات المنهجية.
طرق
تحدد قسم “الطرق” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث تم استخدام التحليلات الإحصائية لتقييم البيانات المجمعة من تجارب مختلفة. شملت المنهجيات المحددة استخدام مجموعات التحكم، والتوزيع العشوائي، والتعمية لتقليل التحيز وضمان موثوقية النتائج.
شملت جمع البيانات إجراءات موحدة، مع أخذ القياسات في فترات محددة مسبقًا لتقييم آثار التدخل. تم تطبيق اختبارات إحصائية، مثل اختبارات t وANOVA، لتحديد دلالة النتائج، مع تحديد مستوى الدلالة عند p < 0.05. تم التحقق من النتائج بشكل إضافي من خلال تكرار التجارب والتحقق المتبادل مع الأدبيات الموجودة، مما يضمن قوة وعمومية الاستنتاجات المستخلصة.
نتائج
في هذه الدراسة، قام اثنان من المراجعين، HG وJC، بإجراء إزالة التكرار بشكل مستقل لنتائج البحث عبر عشرة مجموعات. استخدم HG، مساعد بحث لديه سنتان من الخبرة في المراجعات المنهجية ولكن ليس لديه خبرة سابقة في إزالة التكرار، EndNote للمجموعات ذات الأرقام الفردية (1، 3، 5، 7، و9) والمزيل المكرر للمجموعات ذات الأرقام الزوجية (2، 4، 6، 8، و10). على العكس، قامت JC، أخصائية معلومات لديها أكثر من 15 عامًا من الخبرة، بفحص المجموعات ذات الأرقام الزوجية باستخدام EndNote والمجموعات ذات الأرقام الفردية باستخدام المزيل المكرر.
استخدمت عملية إزالة التكرار طريقة IEBH EndNote لـ EndNote وخوارزمية Beta، المشار إليها باسم الخوارزمية ‘المتوازنة’، للمزيل المكرر. تلخص نتائج هذه المقارنة في الجدول 1، مما يبرز فعالية وكفاءة طريقتي إزالة التكرار اللتين استخدمهما المراجعون.
مناقشة
تم تطوير المزيل المكرر لتبسيط عملية إزالة التكرار لنتائج البحث في المراجعات المنهجية، بدءًا من يونيو 2021. تم تصميمه في البداية لتكرار طريقة شبه يدوية استخدمها المعهد للرعاية الصحية المستندة إلى الأدلة (IEBH)، وتم تحسين خوارزمية المزيل المكرر من خلال ملاحظات من أخصائيي المعلومات الخبراء واختبارات داخلية شاملة. تم إصدار النسخة النهائية للإنتاج في نوفمبر 2021، ومنذ ذلك الحين تم الوصول إليها على نطاق واسع. تم تقييم أداء الخوارزمية باستخدام مقاييس مثل الدقة، والدقة، والاسترجاع، ودرجة F1، المحسوبة من مجموعة بيانات تدريبية من مكتبات EndNote التي تم إزالة تكرارها. ظهرت ثلاث خوارزميات متميزة: ‘المتوازنة’، ‘المريحة’، و ‘المركزة’، كل منها مصممة لأحجام مكتبات مختلفة واحتياجات المستخدمين.
في دراسة مقارنة، أظهر المزيل المكرر تقليصًا كبيرًا في وقت إزالة التكرار—متوسط 5 دقائق لكل 1000 سجل مقارنة بـ 15 دقيقة مع EndNote—مما أدى إلى توفير 67% من الوقت. بالإضافة إلى ذلك، حقق المزيل المكرر معدل خطأ متوسط أقل قدره 1.8 أخطاء لكل 1000 سجل، مقارنة بـ 3.1 لـ EndNote، مما يدل على تحسين بنسبة 42% في الدقة. تشير النتائج إلى أن المزيل المكرر هو أداة متفوقة لإزالة التكرار في المراجعات المنهجية، خاصة للمستخدمين بمستويات خبرة متفاوتة. يُوصى باستخدام الخوارزمية ‘المريحة’ للمكتبات الأكبر حيث يكون التحقق اليدوي أقل قابلية للتطبيق، بينما تكون الخوارزمية ‘المركزة’ أكثر ملاءمة للمكتبات الأصغر حيث يكون الفحص الشامل ممكنًا. بشكل عام، تضع الطبيعة مفتوحة المصدر للمزيل المكرر ومقاييس أدائه كبديل قيم للأدوات الحالية لإزالة التكرار.
القيود
تقدم الدراسة عدة قيود قد تؤثر على تفسير نتائجها. أولاً، هناك اختلاف ملحوظ في مستويات الخبرة بين المؤلفين المشاركين في عملية إزالة التكرار. يمكن اعتبار هذا التباين كقيود؛ ومع ذلك، فإنه يعزز أيضًا تمثيل الدراسة، حيث يعكس مستويات الخبرة المتنوعة للمستخدمين المحتملين لأداة المزيل المكرر. ثانيًا، قد تنشأ مصدر محتمل للخطأ من إمكانية أن يكون كلا المؤلفين قد أغفلا نفس السجلات المكررة. على الرغم من أن مثل هذه الأخطاء لن تنعكس في النتائج المقارنة، فإن عملية إزالة التكرار المستقلة، المدعومة بخوارزمية الكمبيوتر، تشير إلى أن حدوث مثل هذه الأخطاء من المحتمل أن يكون ضئيلًا. من المهم أن هذا الإغفال المشترك لن يؤثر على التحليل المقارن لطرق إزالة التكرار المستخدمة.
بالإضافة إلى ذلك، كان تركيز الدراسة محدودًا على الخوارزمية ‘المتوازنة’ في مقارنتها المباشرة مع EndNote، بينما قدمت التطورات اللاحقة خوارزميتين جديدتين: ‘المريحة’ و ‘المركزة’. على الرغم من أنه لم يتم مقارنة هذه الخوارزميات الأحدث مباشرةً مع EndNote، إلا أنه تم تقييمها مقابل الخوارزمية ‘المتوازنة’، مع توثيق النتائج في الجدول 6. أخيرًا، نظرًا لأن هذا البحث يشكل تجربة فعالية باستخدام مجموعات بيانات مختارة، فإن مزيدًا من التحقيق ضروري لتقييم الآثار الواقعية المتعلقة بتوفير الوقت ومعدلات الخطأ المرتبطة بأداة المزيل المكرر.
DOI: https://doi.org/10.1186/s13643-024-02619-9
PMID: https://pubmed.ncbi.nlm.nih.gov/39095913
Publication Date: 2024-08-02
Author(s): Connor Forbes et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
The research investigates the efficacy of a novel systematic review automation tool, “the Deduplicator,” designed to remove duplicate records from multi-database systematic review searches. The study involved comparing the Deduplicator’s ‘balanced’ algorithm against a semi-manual deduplication method using EndNote across ten Cochrane systematic review search results. Two researchers performed deduplication on these libraries, alternating between the two methods. Additionally, the performance of three different Deduplicator algorithms (‘balanced’, ‘focused’, and ‘relaxed’) was evaluated on two datasets of previously deduplicated search results.
Results indicated that the mean library size prior to deduplication was 1962 records. The Deduplicator achieved a mean deduplication time of 5 minutes per 1000 records, significantly faster than the 15 minutes required by EndNote. The error rate with the Deduplicator was 1.8 errors per 1000 records, compared to 3.1 with EndNote. Among the Deduplicator algorithms, the ‘balanced’ algorithm yielded the highest mean F1 score of 0.9647, while the ‘focused’ algorithm exhibited the highest accuracy (0.9798) and recall (0.9757), and the ‘relaxed’ algorithm demonstrated the highest precision (0.9896). The findings suggest that the Deduplicator not only reduces the time and errors associated with deduplication but also provides a user-friendly option for new researchers, warranting further investigation into its performance relative to other deduplication methods.
Introduction
The introduction of this research paper highlights the challenges and resource demands associated with conducting systematic reviews, which typically require an average of 67 weeks and a cost of approximately USD $141,000. To enhance efficiency without sacrificing rigor, systematic review automation tools have been developed, enabling expedited reviews in as little as 11 workdays. A critical step in this process is deduplication, where duplicate records from multiple databases must be identified and removed before screening for relevance. Current methods, often semi-manual and reliant on software like EndNote, are prone to errors and lack consensus on best practices.
To address these limitations, the authors introduce the Deduplicator, an open-access automation tool integrated into the Systematic Review Accelerator (SRA). This tool offers a user-friendly interface for reviewing deduplication decisions and supports multiple file formats for compatibility with various reference management software. The paper aims to achieve two objectives: first, to detail the algorithms employed by the Deduplicator for duplicate detection, and second, to compare its performance in terms of time efficiency and accuracy against EndNote across ten systematic review search result sets.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, employing statistical analyses to evaluate the data collected from various experiments. Specific methodologies included the use of control groups, randomization, and blinding to minimize bias and ensure the reliability of the results.
Data collection involved standardized procedures, with measurements taken at predetermined intervals to assess the effects of the intervention. Statistical tests, such as t-tests and ANOVA, were applied to determine the significance of the findings, with a significance level set at p < 0.05. The results were further validated through replication of experiments and cross-validation with existing literature, ensuring robustness and generalizability of the conclusions drawn.
Results
In this study, two screeners, HG and JC, independently performed deduplication of search results across ten sets. HG, a research assistant with two years of experience in systematic reviews but no prior experience in deduplication, utilized EndNote for the odd-numbered sets (1, 3, 5, 7, and 9) and the Deduplicator for the even-numbered sets (2, 4, 6, 8, and 10). Conversely, JC, an information specialist with over 15 years of experience, screened the even-numbered sets using EndNote and the odd-numbered sets with the Deduplicator.
The deduplication process employed the IEBH EndNote method for EndNote and the Beta algorithm, referred to as the ‘balanced’ algorithm, for the Deduplicator. The results of this comparison are summarized in Table 1, highlighting the effectiveness and efficiency of the two deduplication methods utilized by the screeners.
Discussion
The Deduplicator was developed to streamline the deduplication process for systematic review search results, beginning in June 2021. Initially designed to replicate a semi-manual method employed by the Institute for Evidence-Based Healthcare (IEBH), the Deduplicator’s algorithm was refined through feedback from expert information specialists and extensive internal testing. The final production version was released in November 2021, and it has since been widely accessed. The algorithm’s performance was evaluated using metrics such as accuracy, precision, recall, and F1 score, calculated from a training dataset of deduplicated EndNote libraries. Three distinct algorithms emerged: ‘balanced’, ‘relaxed’, and ‘focused’, each tailored for different library sizes and user needs.
In a comparative study, the Deduplicator demonstrated a significant reduction in deduplication time—averaging 5 minutes per 1000 records compared to 15 minutes with EndNote—resulting in a 67% time savings. Additionally, the Deduplicator achieved a lower mean error rate of 1.8 errors per 1000 records, compared to 3.1 for EndNote, indicating a 42% improvement in accuracy. The findings suggest that the Deduplicator is a superior tool for deduplication in systematic reviews, particularly for users with varying levels of experience. The ‘relaxed’ algorithm is recommended for larger libraries where manual verification is less feasible, while the ‘focused’ algorithm is better suited for smaller libraries where thorough checking is possible. Overall, the Deduplicator’s open-source nature and performance metrics position it as a valuable alternative to existing deduplication tools.
Limitations
The study presents several limitations that may impact the interpretation of its findings. Firstly, there is a notable discrepancy in experience levels between the two authors involved in the deduplication process. This variation could be seen as a limitation; however, it also enhances the study’s representativeness, as it reflects the diverse experience levels of potential users of the Deduplicator tool. Secondly, a potential source of error arises from the possibility that both authors may have overlooked the same duplicate records. While such errors would not be reflected in the comparative results, the independent deduplication process, supported by a computer algorithm, suggests that the incidence of such errors is likely minimal. Importantly, this shared oversight would not influence the comparative analysis of the deduplication methods employed.
Additionally, the study’s focus was limited to the ‘balanced’ algorithm in its direct comparison with EndNote, while subsequent developments have introduced two new algorithms: ‘relaxed’ and ‘focused.’ Although these newer algorithms were not directly compared to EndNote, they were evaluated against the ‘balanced’ algorithm, with results documented in Table 6. Lastly, as this research constitutes an efficacy trial utilizing selected datasets, further investigation is necessary to assess the real-world implications regarding time savings and error rates associated with the Deduplicator tool.