DOI: https://doi.org/10.1186/s41073-026-00200-7
PMID: https://pubmed.ncbi.nlm.nih.gov/42260682
تاريخ النشر: 2026-06-08
المؤلف: Carlos De las Cuevas
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تبحث ورقة البحث في ديناميات اختلاف الآراء بين المراجعين في عملية المراجعة من قبل الأقران، متحدية الرأي التقليدي بأن القرارات التحريرية مدفوعة أساسًا بالإجماع بين المراجعين. من خلال تحليل بحثي شامل للبيانات التحريرية المجهولة من مجلة الرعاية الصحية، تفحص الدراسة توصيات المراجعين عبر عدة جولات من المراجعة لكل من المخطوطات المنشورة والمرفوضة. تكشف النتائج أن عدم توافق المراجعين شائع، خاصة في الجولة الأولى من المراجعة، بمعدلات تصل إلى 74.8% للمخطوطات المنشورة و85.8% للمخطوطات المرفوضة. ومن الجدير بالذكر أنه بينما ينخفض عدم التوافق بين المخطوطات المنشورة بشكل كبير بحلول الجولة النهائية (إلى 29.3%)، فإنه يبقى مرتفعًا للمخطوطات المرفوضة (71.4%).
تسلط الدراسة الضوء على أنه، على الرغم من وجود ارتباط قوي (حوالي 88%) بين توصية الأغلبية في الجولة النهائية من المراجعة والنتيجة التحريرية، هناك حالات تتباين فيها القرارات التحريرية عن توصيات المراجعين. على وجه التحديد، كانت 6.3% من المخطوطات المنشورة لديها توصية أغلبية بالرفض، و8.0% احتفظت بتوصية واحدة على الأقل بالرفض. تشير التحليلات إلى أن عدم التوافق غالبًا ما يتم حله لصالح التوافق للمخطوطات المنشورة (53.1% انتقلت من عدم التوافق إلى التوافق)، بينما يميل إلى الاستمرار للمخطوطات المرفوضة (61.4% ظلت غير متوافقة). في النهاية، تقترح الأبحاث أن مراجعة الأقران تعمل أكثر كعملية تحكيم، حيث يتم دمج حكم التحرير مع مدخلات متنوعة من المراجعين، بدلاً من أن تكون آلية تصويت بسيطة. هذه الفهم الدقيق يبرز تعقيد مراجعة الأقران كعملية تفسيرية تتشكل من خلال الوساطة التحريرية بدلاً من مجرد تجميع آراء المراجعين.
مقدمة
تسلط مقدمة ورقة البحث هذه الضوء على الدور الحاسم لمراجعة الأقران في الحفاظ على الجودة الأكاديمية من خلال تقييمات خبراء مستقلين. ومع ذلك، تشير إلى أن توصيات المراجعين غالبًا ما تختلف بشكل كبير بسبب اختلافات في الخبرة والمعايير التقييمية، مما يؤدي إلى اتفاق محدود بين المراجعين عبر مختلف التخصصات. تثير هذه الفجوة مخاوف بشأن موثوقية مراجعة الأقران كآلية لحماية الجودة وكمحتمل أن تكون عائقًا أمام الابتكار. بينما استكشفت الدراسات التجريبية الحالية مراجعة الأقران من خلال الاستطلاعات والمقاييس، فإنها غالبًا ما تفشل في التقاط ديناميات الاختلاف عبر عدة جولات من المراجعة وتأثيرها على القرارات التحريرية.
تهدف الدراسة الحالية إلى سد هذه الفجوة من خلال تحليل البيانات التحريرية المجهولة من مجلة الرعاية الصحية بين عامي 2021 و2025. تسعى للإجابة على سؤالين رئيسيين: (i) درجة التوافق بين توصيات المراجعين والنتائج التحريرية النهائية، و(ii) تطور عدم توافق المراجعين من الجولة الأولى إلى الجولة النهائية، مع مقارنة المخطوطات المنشورة والمرفوضة. من خلال فحص هذه الأنماط الطولية، تهدف الدراسة إلى تقديم فهم دقيق لكيفية التنقل في الاختلاف في عمليات مراجعة الأقران في العالم الحقيقي وكيف ترتبط النتائج التحريرية، ولكن لا تعكس ببساطة، توصيات المراجعين.
الطرق
تحدد قسم “الطرق” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث تم استخدام التحليلات الإحصائية لتقييم البيانات التي تم جمعها من تجارب مختلفة. شملت المنهجيات المحددة تجارب مختبرية محكومة، حيث تم التلاعب بالمتغيرات بشكل منهجي لمراقبة تأثيراتها على النتائج المعنية.
شملت جمع البيانات استخدام أدوات موحدة لضمان الموثوقية والصلاحية، بينما تم تطبيق اختبارات إحصائية مثل ANOVA وتحليل الانحدار لتفسير النتائج. كما يتناول القسم أيضًا طرق أخذ العينات المستخدمة لاختيار المشاركين، مما يضمن عينة تمثيلية تعزز من قابلية تعميم النتائج. بشكل عام، فإن الطرق المستخدمة قوية، مما يسمح بفحص شامل للأسئلة البحثية المطروحة.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مسلطًا الضوء على النتائج المهمة المستمدة من الإجراءات التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط واضح بين المتغيرات قيد التحقيق، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية.
بالإضافة إلى ذلك، تظهر النتائج أن تطبيق الطريقة المقترحة يؤدي إلى تحسينات في مقاييس الأداء، مثل الدقة والكفاءة، مقارنة بالأساليب الحالية. تمثل الرسوم البيانية، بما في ذلك الأشكال والجداول، هذه النتائج بشكل أكبر، مما يوفر نظرة شاملة على اتجاهات البيانات ويدعم الاستنتاجات المستخلصة من البحث. بشكل عام، تدعم النتائج الفرضية وتساهم بأفكار قيمة في مجال الدراسة.
المناقشة
تقدم الدراسة تحليلًا ميتا بحثيًا رجعيًا للبيانات التحريرية من مجلة الرعاية الصحية، مع التركيز على ديناميات توصيات المراجعين وتأثيرها على النتائج التحريرية من 2021 إلى 2025. شمل التحليل 12,187 مخطوطة منشورة و3,819 مخطوطة مرفوضة، حيث تم فحص تطور عدم توافق المراجعين عبر عدة جولات من المراجعة. تشير النتائج الرئيسية إلى أنه بينما يوجد توافق عالٍ بشكل عام بين توصيات المراجعين والقرارات التحريرية، فإن هناك اختلافًا كبيرًا شائعًا، خاصة في الجولات الأولى من المراجعة. بالنسبة للمخطوطات المنشورة، انخفض عدم توافق المراجعين من 74.8% في الجولة الأولى إلى 29.3% في الجولة النهائية، مما يشير إلى أن التقارب بين المراجعين هو سمة من سمات التقديمات الناجحة. على العكس من ذلك، أظهرت المخطوطات المرفوضة عدم توافق مستمر، حيث أظهر 85.8% اختلافًا في الجولة الأولى وانخفضت فقط بشكل طفيف إلى 71.4% في الجولة النهائية.
تؤكد الدراسة على أن اختلاف المراجعين لا يدل على وجود عملية مراجعة معيبة، بل يعكس التباين الفطري في تقييمات الخبراء. وتبرز أن القرارات التحريرية ليست مجرد نتيجة ميكانيكية لإجماع المراجعين؛ بل تتضمن عملية تحكيم معقدة حيث يتم دمج التقييمات المتنوعة تحت ظروف عدم اليقين. هذا الفهم الدقيق يتحدى الفكرة القائلة بأن اتفاق المراجعين هو حالة مثالية ويبرز الدور الحاسم لحكم التحرير في الوساطة بين التقييمات المتنافسة. بشكل عام، تساهم النتائج في المناقشات المستمرة حول الشفافية والإصلاح في مراجعة الأقران، داعيةً إلى الاعتراف بالطبيعة التفسيرية للعملية.
القيود
تعترف الدراسة بعدة قيود قد تؤثر على قابلية تعميم وتفسير نتائجها. أولاً، كان التحليل مقصورًا على مجلة واحدة، مما يحد من قابلية تطبيق النتائج على سياقات تحريرية أخرى قد تستخدم ممارسات مراجعة مختلفة. ثانيًا، كانت تصنيفات توصيات المراجعين تفتقر إلى رؤى نوعية، مما قد يحرم من بعض الفروق المهمة الموجودة في محتوى المراجعة الفعلي. ثالثًا، تم استنتاج عملية اتخاذ القرار التحريري من النتائج بدلاً من أن تُلاحظ مباشرة، مما يحد من فهم المنطق الأساسي. أخيرًا، بينما أشارت تحليلات الحساسية إلى قوة النتائج، يُلاحظ أن عمليات التشغيل المختلفة قد تنتج تقديرات مطلقة متفاوتة.
DOI: https://doi.org/10.1186/s41073-026-00200-7
PMID: https://pubmed.ncbi.nlm.nih.gov/42260682
Publication Date: 2026-06-08
Author(s): Carlos De las Cuevas
Primary Topic: scientometrics and bibliometrics research
Overview
The research paper investigates the dynamics of reviewer disagreement in the peer review process, challenging the conventional view that editorial decisions are primarily driven by consensus among reviewers. Through a meta-research analysis of anonymized editorial data from the journal Healthcare, the study examines the recommendations of reviewers across multiple rounds of review for both published and rejected manuscripts. The findings reveal that reviewer discordance is prevalent, particularly in the initial review round, with rates of 74.8% for published and 85.8% for rejected manuscripts. Notably, while discordance among published manuscripts decreases significantly by the final round (to 29.3%), it remains high for rejected manuscripts (71.4%).
The study highlights that, despite a strong correlation (approximately 88%) between the majority recommendation in the final review round and the editorial outcome, there are instances where editorial decisions diverge from reviewer recommendations. Specifically, 6.3% of published manuscripts had a majority recommendation for rejection, and 8.0% retained at least one rejection recommendation. The analysis indicates that discordance is often resolved in favor of concordance for published manuscripts (53.1% transitioned from discordant to concordant), whereas it tends to persist for rejected manuscripts (61.4% remained discordant). Ultimately, the research suggests that peer review operates more as an adjudicative process, where editorial judgment synthesizes diverse reviewer inputs, rather than a straightforward voting mechanism. This nuanced understanding underscores the complexity of peer review as an interpretative process shaped by editorial mediation rather than mere aggregation of reviewer opinions.
Introduction
The introduction of this research paper highlights the critical role of peer review in maintaining scholarly quality through independent expert evaluations. However, it notes that reviewer recommendations often vary significantly due to differences in expertise and evaluative criteria, leading to limited inter-reviewer agreement across various disciplines. This divergence raises concerns about the reliability of peer review as both a gatekeeping mechanism and a potential barrier to innovation. While existing empirical studies have explored peer review through surveys and metrics, they often fail to capture the dynamics of disagreement across multiple review rounds and its impact on editorial decisions.
The current study aims to fill this gap by analyzing anonymized editorial data from the journal Healthcare between 2021 and 2025. It seeks to answer two primary questions: (i) the degree of alignment between reviewer recommendations and final editorial outcomes, and (ii) the evolution of reviewer discordance from the first to the final review round, particularly comparing published and rejected manuscripts. By examining these longitudinal patterns, the study intends to provide a nuanced understanding of how disagreement is navigated in real-world peer review processes and how editorial outcomes relate to, but do not simply mirror, reviewer recommendations.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, employing statistical analyses to evaluate the data collected from various experiments. Specific methodologies included controlled laboratory experiments, where variables were systematically manipulated to observe their effects on the outcomes of interest.
Data collection involved the use of standardized instruments to ensure reliability and validity, while statistical tests such as ANOVA and regression analysis were applied to interpret the results. The section also details the sampling methods used to select participants, ensuring a representative sample that enhances the generalizability of the findings. Overall, the methods employed are robust, allowing for a comprehensive examination of the research questions posed.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experimental or analytical procedures employed. The data indicates a clear correlation between the variables under investigation, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant.
Additionally, the results demonstrate that the application of the proposed method yields improvements in performance metrics, such as accuracy and efficiency, compared to existing approaches. Graphical representations, including figures and tables, further illustrate these findings, providing a comprehensive overview of the data trends and supporting the conclusions drawn from the research. Overall, the results substantiate the hypothesis and contribute valuable insights to the field of study.
Discussion
The study presents a retrospective meta-research analysis of editorial data from the journal Healthcare, focusing on the dynamics of reviewer recommendations and their influence on editorial outcomes from 2021 to 2025. The analysis included 12,187 published manuscripts and 3,819 rejected manuscripts, examining the evolution of reviewer discordance across multiple review rounds. Key findings indicate that while there is a high overall alignment between reviewer recommendations and editorial decisions, significant disagreement is prevalent, particularly in initial review rounds. For published manuscripts, reviewer discordance decreased from 74.8% in the first round to 29.3% in the final round, suggesting that convergence among reviewers is characteristic of successful submissions. Conversely, rejected manuscripts exhibited persistent discordance, with 85.8% showing disagreement in the first round and only a modest decline to 71.4% in the final round.
The study emphasizes that reviewer disagreement is not indicative of a flawed review process but rather reflects the inherent variability in expert evaluations. It highlights that editorial decisions are not merely a mechanical outcome of reviewer consensus; rather, they involve a complex adjudication process where diverse assessments are integrated under conditions of uncertainty. This nuanced understanding challenges the notion that reviewer agreement is an ideal state and underscores the critical role of editorial judgment in mediating between competing evaluations. Overall, the findings contribute to ongoing discussions about transparency and reform in peer review, advocating for a recognition of the interpretative nature of the process.
Limitations
The study acknowledges several limitations that may affect the generalizability and interpretability of its findings. Firstly, the analysis was confined to a single journal, which restricts the applicability of the results to other editorial contexts that may employ different review practices. Secondly, the categorization of reviewer recommendations lacked qualitative insights, potentially omitting important nuances present in the actual review content. Thirdly, the editorial decision-making process was inferred from outcomes rather than directly observed, limiting the understanding of the underlying reasoning. Lastly, while sensitivity analyses indicated the robustness of the findings, it is noted that different operationalizations could produce varying absolute estimates.