DOI: https://doi.org/10.1017/rsm.2026.10116
PMID: https://pubmed.ncbi.nlm.nih.gov/42764547
تاريخ النشر: 2026-09-21
المؤلف: John Alan Nunnery
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تناقش هذه القسم تقييم الفحص المعاون بالآلية للعناوين والملخصات، مع التأكيد على أهمية مقاييس مثل الاسترجاع والدقة وتقليل عبء العمل. تنتقد الممارسة الحالية لتلخيص النتائج عبر الدراسات، حيث تجادل بأن مثل هذا التركيب يفترض قابلية مقارنة أهداف التقييم، وهو ما قد لا يكون صحيحًا. يقترح المؤلفون أن أهداف التقييم تتأثر بتدفقات العمل المحددة بدلاً من أن تكون متأصلة في مهمة الفحص نفسها. يحددون أربعة أبعاد لتصميم التقييم – التمثيل، الاستدلال، الحوكمة، والتقييم – جنبًا إلى جنب مع مجموعة القرارات المرجعية، والتي تحدد معًا تكوينات التقييم.
يسلط المقال الضوء على أن المقاييس المتشابهة اسميًا يمكن أن تعطي تقديرات مختلفة عبر الدراسات بسبب الاختلافات في الأهداف الناتجة عن تدفقات العمل. وبالتالي، فإن المقارنات عبر الدراسات تكون صالحة فقط عندما تتماشى هذه الأهداف. يحذر المؤلفون من أن الاختلافات في نتائج التقييم قد تنبع من التباينات في ما يتم تقديره بدلاً من التباين الإحصائي. لتسهيل التجميع المعنوي والاستدلال التراكمي، يدعو المؤلفون إلى تحديد أوضح لأهداف التقييم والنظر بعناية في اختلافات التكوين في جهود التركيب. بشكل عام، تهدف الإطار المقدم إلى تعزيز التبرير لتجميع النتائج من خلال ضمان أن المقاييس الأساسية قابلة للمقارنة.
مقدمة
تسلط المقدمة الضوء على الاعتماد المتزايد على الأتمتة في المراجعات النظامية والتحليلات التلوية بسبب الزيادة في حجم الأدبيات المنشورة، مما جعل المعالجة اليدوية غير عملية. يتم استخدام الأتمتة لتعزيز كفاءة المهام مثل الاسترجاع والفحص واستخراج البيانات، بهدف الحفاظ على الجدوى والملاءمة في تركيب الأبحاث. ومع ذلك، فإن تقييم الأساليب الآلية قد برز كأحد التحديات المنهجية الكبيرة، حيث غالبًا ما تقيم الدراسات الأداء باستخدام مقاييس مثل الاسترجاع والدقة وتقليل عبء العمل، ومع ذلك فإن تنوع مواضيع المراجعة ومصادر البيانات وتدفقات العمل يعقد تجميع النتائج.
تستعرض مراجعة منهجية أجراها فنغ وآخرون هذه القضية من خلال إجراء تحليل تلوى لفحص الأدبيات المعاون بالذكاء الاصطناعي عبر 17 تقييمًا من مراجعات طبية نظامية متنوعة. واجهت الدراسة تحديات بسبب الاختلافات في القرارات المرجعية ومجموعات البيانات ومقاييس التقييم، مما أعاق القدرة على إجراء مقارنات صحيحة. على الرغم من أن المؤلفين اعترفوا بتباين البيانات، فإن التقديرات المجمعة المستمدة من نموذج تحليل تلوى تشخيصي ثنائي تعكس الأداء المتوسط عبر سياقات متنوعة بدلاً من معيار تقييم ثابت. وهذا يبرز الحاجة إلى أساليب تقييم موحدة لتسهيل المقارنات المعنوية في مجال تركيب الأبحاث المعاونة بالآلية.
مناقشة
تسلط قسم المناقشة في الورقة الضوء على التعقيدات المرتبطة بتقييم أساليب الفحص المعاونة بالآلية، مع التركيز بشكل خاص على مفهوم الاسترجاع كمقياس. يقدم دراستين افتراضيتين، A و B، كلاهما يبلغان عن استرجاع قدره 0.95 ولكن يقيسان كميات أساسية مختلفة بسبب تدفقات العمل التشغيلية المتميزة. يعتمد استرجاع الدراسة A على مصنف آلي بالكامل تم تقييمه مقابل مجموعة مرجعية من 500 سجل ذي صلة، بينما يتم اشتقاق استرجاع الدراسة B من خوارزمية ترتيب مع معيار إيقاف مبكر، مما يؤدي إلى مقام مختلف بناءً على الصلة المقدرة. توضح هذه الفجوة أن تسميات المقاييس المتطابقة يمكن أن تخفي اختلافات كبيرة في أهداف التقييم، مما يستلزم فهمًا واضحًا لما يقدره كل مقياس.
يجادل المؤلفون بأن التركيب عبر الدراسات غالبًا ما يعيقه الفشل في مواءمة أهداف التقييم عبر الدراسات، حيث يمكن أن تؤدي الخيارات التشغيلية المختلفة في التمثيل والاستدلال والحوكمة والتقييم إلى مقاييس لا تشير إلى نفس الكميات الأساسية. يقترحون إطارًا لتفكيك أهداف تقييم الفحص، مع التأكيد على أهمية تحديد تدفق العمل والخيارات التقييمية التي تعرف هذه الأهداف. تؤكد الورقة على أنه بدون تحديد دقيق لمجموعة القرارات المرجعية والخيارات التشغيلية المتخذة، قد تخلط المقاييس المبلغ عنها بين أداء الطريقة وخصائص البيانات وتدفقات العمل، مما يعقد في النهاية الاستدلال التراكمي في أبحاث الفحص المعاونة بالآلية.
القيود
تتعدد قيود الإطار المقترح. أولاً، هو ذو طبيعة نظرية ولا يقدم تقديرات لانتشار التكوينات المختلفة الموجودة في الأدبيات. التكوينات المقدمة ليست شاملة، مما يشير إلى أن أنماط تدفق العمل الإضافية قد تتطلب مزيدًا من التحليل. علاوة على ذلك، قد تتطلب أحكام التوافق في الإطار تفسيرًا، خاصة عندما يكون التقرير غير مكتمل، حيث يحدد خيارات مهمة ولكن لا يمكنه تعويض التفاصيل التشغيلية المفقودة.
بالإضافة إلى ذلك، بينما يشخص الإطار بفعالية حالات عدم التوافق، فإنه لا يحدد أي هدف هو الصحيح جوهريًا؛ هذه التحديد يعتمد على تطبيق نتائج الفحص. يركز تطوير الإطار بشكل أساسي على مراحل التعرف والفحص من إرشادات PRISMA 2020، مع ذكر موجز فقط لمراحل استخراج البيانات والتركيب اللاحق. على الرغم من أن التعديلات الإحصائية وتحليلات الحساسية قد تؤدي إلى مقارنات عبر الدراسات قابلة للتفسير على الرغم من فشل التوافق الخام، فإن مثل هذه الأساليب تعتمد على افتراضات لا يحددها الإطار بشكل صريح.
DOI: https://doi.org/10.1017/rsm.2026.10116
PMID: https://pubmed.ncbi.nlm.nih.gov/42764547
Publication Date: 2026-09-21
Author(s): John Alan Nunnery
Primary Topic: Meta-analysis and systematic reviews
Overview
The section discusses the evaluation of automation-assisted title-abstract screening, emphasizing the importance of metrics such as recall, precision, and workload reduction. It critiques the current practice of summarizing results across studies, arguing that such synthesis assumes comparability of evaluation targets, which may not hold true. The authors propose that evaluation targets are influenced by specific workflows rather than being inherent to the screening task itself. They identify four dimensions of evaluation design—representation, inference, governance, and evaluation—along with the reference-decision set, which together define evaluation configurations.
The article highlights that nominally similar metrics can yield different estimates across studies due to variations in workflow-induced targets. Consequently, cross-study comparisons are only valid when these targets align. The authors caution that differences in evaluation results may stem from discrepancies in what is being estimated rather than from statistical heterogeneity. To facilitate meaningful aggregation and cumulative inference, the authors advocate for clearer specification of evaluation targets and careful consideration of configuration variations in synthesis efforts. Overall, the framework presented aims to enhance the justification for aggregating results by ensuring that the underlying metrics are comparable.
Introduction
The introduction highlights the growing reliance on automation in systematic reviews and meta-analyses due to the increasing volume of published literature, which has made manual processing impractical. Automation is employed to enhance the efficiency of tasks such as retrieval, screening, and data extraction, with the goal of maintaining feasibility and timeliness in research synthesis. However, the evaluation of automated methods has emerged as a significant methodological challenge, as studies often assess performance using metrics like recall, precision, and workload reduction, yet the diversity in review topics, data sources, and workflows complicates the aggregation of results.
A systematic review by Feng et al. exemplifies this issue by conducting a meta-analysis of artificial intelligence-assisted literature screening across 17 evaluations from various medical systematic reviews. The study faced challenges due to differences in reference decisions, datasets, and evaluation metrics, which hindered the ability to draw valid comparisons. Although the authors acknowledged the heterogeneity of the data, the pooled estimates derived from a bivariate diagnostic meta-analysis model reflect average performance across diverse contexts rather than a consistent evaluative standard. This underscores the need for standardized evaluation methods to facilitate meaningful comparisons in the field of automated research synthesis.
Discussion
The discussion section of the paper highlights the complexities involved in evaluating automation-assisted screening methods, particularly focusing on the concept of recall as a metric. It presents two hypothetical studies, A and B, both reporting a recall of 0.95 but measuring different underlying quantities due to distinct operational workflows. Study A’s recall is based on a fully automated classifier evaluated against a reference set of 500 relevant records, while Study B’s recall is derived from a ranking algorithm with an early stopping criterion, leading to a different denominator based on estimated relevance. This discrepancy illustrates that identical metric labels can obscure significant differences in evaluation targets, necessitating a clear understanding of what each metric estimates.
The authors argue that cross-study synthesis is often hindered by the failure to align evaluation targets across studies, as different operational choices in representation, inference, governance, and evaluation can lead to metrics that do not refer to the same underlying quantities. They propose a framework to decompose screening evaluation targets, emphasizing the importance of specifying the workflow and evaluation choices that define these targets. The paper underscores that without careful specification of the reference-decision set and the operational choices made, reported metrics may conflate method performance with the characteristics of the data and workflows, ultimately complicating cumulative inference in automation-assisted screening research.
Limitations
The limitations of the proposed framework are multifaceted. Firstly, it is conceptual in nature and does not provide estimates of the prevalence of various configurations found in the literature. The configurations presented are not exhaustive, indicating that additional workflow patterns may necessitate further analysis. Furthermore, the framework’s alignment judgments may require interpretation, particularly when reporting is incomplete, as it identifies significant choices but cannot compensate for missing operational details.
Additionally, while the framework effectively diagnoses instances of nonalignment, it does not determine which target is substantively correct; this determination is contingent upon the application of the screening results. The focus of the development is primarily on the Identification and Screening stages of the PRISMA 2020 guidelines, with only brief mentions of the data extraction and downstream synthesis stages. Although statistical adjustments and sensitivity analyses could potentially yield interpretable cross-study comparisons despite raw alignment failures, such approaches depend on assumptions that the framework does not explicitly outline.
