DOI: https://doi.org/10.1038/s41586-026-10251-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41922705
تاريخ النشر: 2026-04-01
المؤلف: Abel Brodeur وآخرون
الموضوع الرئيسي: تحليل البيانات الشامل والمراجعات المنهجية
نظرة عامة
تقدم هذه الورقة البحثية جهدًا منهجيًا واسع النطاق لتقييم إمكانية إعادة إنتاج النتائج وقوتها في مجالات الاقتصاد والعلوم السياسية. شمل الدراسة إعادة إنتاج التحليلات من 110 مقالات نُشرت في مجلات بارزة تفرض سياسات إلزامية لمشاركة البيانات والرموز. تشير النتائج إلى أن أكثر من 85% من الادعاءات المنشورة كانت قابلة للإعادة حسابيًا. علاوة على ذلك، خلال فحوصات القوة، ظلت 72% من التقديرات ذات الدلالة الإحصائية ذات دلالة وثبات في الاتجاه، مع كون حجم التأثير المعاد إنتاجه يساوي تقريبًا حجم التأثير المبلغ عنه أصلاً، محققًا 99% من القيمة المنشورة.
بالإضافة إلى ذلك، شمل البحث ستة فرق مستقلة تحقق في 12 فرضية محددة مسبقًا بشأن محددات القوة. ومن الجدير بالذكر أن النتائج كشفت أن الفرق البحثية الأكثر خبرة أبلغت عن مستويات أقل من القوة، ولم يكن هناك ارتباط بين القوة وخصائص المؤلفين أو توفر البيانات. تساهم هذه الدراسة في النقاش المستمر حول مصداقية البحث والطبيعة ذاتية التصحيح للاستقصاء العلمي.
مقدمة
تؤكد مقدمة هذه الورقة البحثية على أهمية إمكانية إعادة الإنتاج في العلوم، لا سيما في مجالات الاقتصاد والعلوم السياسية. تبرز أن جهود إعادة الإنتاج تعزز موثوقية النتائج المنشورة، وتساعد على التصحيح الذاتي، وتوجه صنع السياسات. الدراسة، التي قادها معهد إعادة الإنتاج (I4R)، تجري إعادة إنتاج ضخمة لـ 110 دراسات نُشرت في مجلات مرموقة بين عامي 2022 و2023، مع التركيز على كل من الاقتصاد (79 دراسة) والعلوم السياسية (31 دراسة). ومن الجدير بالذكر أن الدراسات المختارة تلتزم بسياسات توفر البيانات والرموز، التي تفرضها محررون مخصصون للبيانات، على الرغم من أن العينة ليست ممثلة لجميع الدراسات في هذه المجالات.
يميز المشروع نفسه عن جهود إعادة الإنتاج السابقة في العلوم الاجتماعية من خلال إعادة إنتاج الدراسات غير التجريبية باستخدام البيانات الأصلية، وتقييم إمكانية إعادة الإنتاج الحسابي، واختبار قوة التقديرات ضد مواصفات بديلة. تهدف هذه المبادرة إلى تقديم أول دليل بشأن قوة النتائج في الاقتصاد والعلوم السياسية، مع التركيز على الدراسات الحديثة وطموحها للتوسع عبر التخصصات. تقدم الورقة نتائج من الـ 110 إعادة إنتاج الأولية، مما يساهم في الحركة الأوسع لإمكانية إعادة الإنتاج في العلوم الاجتماعية.
نقاش
في هذا القسم، يعرف المؤلفون المصطلحات الرئيسية المتعلقة بإمكانية إعادة الإنتاج في البحث: الادعاء قابل للإعادة حسابيًا إذا كان يمكن تكرار نتائجه باستخدام البيانات والبروتوكولات الأصلية، قوي إذا كانت النتائج تتحمل قرارات تحليلية بديلة، وقابل للتكرار إذا كان يمكن تكرار النتائج ببيانات جديدة. سُهلت جهود إمكانية إعادة الإنتاج في الدراسة من خلال نهج منظم يتضمن مجلس تحرير وألعاب إعادة الإنتاج، حيث اختارت فرق الباحثين الدراسات لإعادة إنتاجها. ومن الجدير بالذكر أن المشروع حقق معدل إمكانية إعادة إنتاج حسابي بنسبة 85%، مما يتناقض مع النتائج السابقة التي أظهرت معدلات أقل في الاقتصاد. يُعزى هذا النجاح إلى تحسين السياسات التحريرية وممارسات مشاركة البيانات في المجلات الرائدة على مدار السنوات الأخيرة.
كشفت تحليل القوة أن متوسط معدل القوة كان 71% للاقتصاد و78% للعلوم السياسية، مع وجود اختلافات كبيرة في معدلات القوة بناءً على نوع إعادة التحليل الذي تم إجراؤه. كما حددت الدراسة انتشارًا مقلقًا للأخطاء البرمجية في حوالي 25% من الدراسات التي تم تحليلها، مما قد يقوض نزاهة النتائج الأصلية. وُجد أن التواصل بين المعيدين والمؤلفين الأصليين يعزز جودة تقارير إعادة الإنتاج، مع معدل استجابة مرتفع من المؤلفين. بشكل عام، تسلط النتائج الضوء على إمكانيات مبادرات إعادة الإنتاج واسعة النطاق في التخفيف من عدم تماثل المعلومات في الأوساط الأكاديمية وتحسين موثوقية نتائج البحث.
DOI: https://doi.org/10.1038/s41586-026-10251-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41922705
Publication Date: 2026-04-01
Author(s): Abel Brodeur et al.
Primary Topic: Meta-analysis and systematic reviews
Overview
This research paper presents a systematic and large-scale effort to assess the reproducibility and robustness of findings in economics and political science. The study involved reproducing analyses from 110 articles published in prominent journals that enforce mandatory data and code sharing policies. The results indicate that over 85% of the published claims were computationally reproducible. Furthermore, during robustness checks, 72% of statistically significant estimates remained significant and consistent in direction, with the median reproduced effect size being approximately equal to the originally reported effect size, achieving 99% of the published value.
Additionally, the research involved six independent teams investigating 12 pre-specified hypotheses regarding the determinants of robustness. Notably, the findings revealed that more experienced research teams reported lower levels of robustness, and there was no correlation between robustness and author characteristics or data availability. This study contributes to the ongoing discourse on research credibility and the self-correcting nature of scientific inquiry.
Introduction
The introduction of this research paper emphasizes the importance of reproducibility in science, particularly in the fields of economics and political science. It highlights that reproducibility efforts enhance the reliability of published findings, facilitate self-correction, and guide policymaking. The study, led by the Institute for Replication (I4R), conducts a mega-reproduction of 110 studies published in prestigious journals between 2022 and 2023, focusing on both economics (79 studies) and political science (31 studies). Notably, the selected studies adhere to data and code availability policies, which are enforced by dedicated data editors, although the sample is not representative of all studies in these fields.
The project distinguishes itself from previous social science replication efforts by primarily reproducing non-experimental studies using the original data, assessing computational reproducibility, and testing the robustness of estimates against alternative specifications. This initiative aims to provide the first evidence regarding the robustness of findings in economics and political science, concentrating on recent studies and aspiring to expand across disciplines. The paper presents findings from the initial 110 reproductions, contributing to the broader reproducibility movement in social sciences.
Discussion
In this section, the authors define key terms related to reproducibility in research: a claim is computationally reproducible if its results can be replicated using the original data and protocols, robust if results withstand alternative analytical decisions, and replicable if results can be repeated with new data. The study’s reproducibility efforts were facilitated by a structured approach involving a board of editors and replication games, where teams of researchers selected studies to reproduce. Notably, the project achieved an 85% computational reproducibility rate, contrasting with previous findings of lower rates in economics. This success is attributed to improved editorial policies and data sharing practices in leading journals over recent years.
The analysis of robustness revealed that the average robustness rate was 71% for economics and 78% for political science, with significant differences in robustness rates based on the type of re-analysis conducted. The study also identified a concerning prevalence of coding errors in approximately 25% of the analyzed studies, which could undermine the integrity of original findings. Communication between reproducers and original authors was found to enhance the quality of reproduction reports, with a high response rate from authors. Overall, the findings highlight the potential of large-scale reproducibility initiatives to mitigate information asymmetries in academia and improve the reliability of research outcomes.