DOI: https://doi.org/10.1038/s44488-026-00015-x
تاريخ النشر: 2026-10-22
المؤلف: Kevin L. Coakley وآخرون
الموضوع الرئيسي: الحوسبة العلمية وإدارة البيانات
مقدمة
تهدف مقدمة قوائم التحقق من القابلية لإعادة الإنتاج في أبحاث الذكاء الاصطناعي إلى تعزيز وتوحيد ممارسات التوثيق، ومع ذلك لا يزال تأثير هذه القوائم على القابلية الفعلية لإعادة الإنتاج غير واضح. قامت هذه الدراسة بتحليل العلاقة بين تنفيذ قوائم التحقق من القابلية لإعادة الإنتاج ومقاييس القابلية لإعادة الإنتاج المختلفة عبر أربعة مؤتمرات رئيسية في الذكاء الاصطناعي: NeurIPS و AAAI و IJCAI و ICML، مع تقديم ICLR إرشادات اختيارية. من خلال ملاءمة خطوط الاتجاه لمتغيرات القابلية لإعادة الإنتاج، قام الباحثون بتقييم التغيرات في معدلات التوثيق قبل وبعد تقديم القوائم، مع افتراض أن زيادة في ميل هذه الاتجاهات ستشير إلى تأثير إيجابي.
تكشف النتائج أنه بينما تحسنت ممارسات التوثيق بشكل عام – كما يتضح من انخفاض عدد الأوراق التي توثق أيًا من متغيرات القابلية لإعادة الإنتاج السبعة (من 3% إلى 0.3%) وزيادة في تلك التي توثق جميع السبعة (من 0.1% إلى 1.7%) – لم تؤدِ مقدمة القوائم إلى تحسين إحصائي في معدل تحسين التوثيق. أظهر اختبار ثنائي الجانب عدم وجود تغيير كبير في معدلات التوثيق بعد القوائم (p = 0.84). ومن الجدير بالذكر أن المتغير “مواصفات الأجهزة” أظهر زيادة معتدلة عبر المؤتمرات بعد اعتماد القوائم، مدفوعًا بشكل خاص من قبل NeurIPS. بشكل عام، كانت الاتجاهات نحو تحسين ممارسات التوثيق واضحة حتى قبل المقدمة الرسمية للقوائم.
الطرق
تحدد قسم “الطرق” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث قاموا بإجراء تحليلات إحصائية لتقييم البيانات التي تم جمعها من تجارب مختلفة. تضمنت المنهجيات المحددة تجارب محكومة، حيث تم التلاعب بالمتغيرات بشكل منهجي لملاحظة تأثيراتها على النتائج المعنية.
شملت جمع البيانات استخدام أدوات موحدة لضمان الموثوقية والصلاحية. تم إجراء التحليل باستخدام أدوات برمجية سهلت تطبيق الاختبارات الإحصائية المناسبة، مثل اختبارات t و ANOVA، لتحديد الفروق المهمة بين المجموعات. يبرز القسم أهمية القابلية للتكرار والشفافية في الطرق المستخدمة، مما يسمح للدراسات المستقبلية بالبناء على النتائج المقدمة.
النتائج
في هذه الدراسة، أجرينا تحليلًا لـ 56,800 ورقة تم تقديمها في خمسة مؤتمرات رائدة في الذكاء الاصطناعي وتعلم الآلة – AAAI و ICLR و ICML و IJCAI و NeurIPS – تمتد من عام 2014 إلى 2024. تكشف نتائجنا عن زيادة كبيرة في حجم المنشورات، حيث ارتفعت من 1,206 ورقة في 2014 إلى 12,026 في 2024، مما يمثل نموًا بمقدار عشرة أضعاف على مدار العقد.
من إجمالي الأوراق التي تم تحليلها، تم تصنيف 52,328 (92%) كأبحاث تجريبية، والتي شكلت أساس تحليلنا. كان استبعاد الأوراق النظرية مقصودًا، حيث تتطلب مخاوف القابلية لإعادة الإنتاج المرتبطة بالعمل النظري نهجًا تحليليًا متميزًا.
المناقشة
تسلط قسم المناقشة من ورقة البحث الضوء على التقدم الكبير في ممارسات التوثيق ومعدلات القابلية لإعادة الإنتاج داخل مجتمع أبحاث الذكاء الاصطناعي على مدار 11 عامًا، تمتد عبر خمسة مؤتمرات رئيسية. تكشف الدراسة أن نسبة الأوراق التجريبية التي تقدم توثيقًا لخمس أو أكثر من متغيرات القابلية لإعادة الإنتاج زادت من 8% في 2014 إلى 43% في 2024. يرتبط هذا التحسن بزيادة مضاعفة في معدل القابلية لإعادة الإنتاج المقدّر، الذي ارتفع من 28% إلى 64%، ويرجع ذلك أساسًا إلى تحسين مشاركة الأكواد المفتوحة ومجموعات البيانات. ومن الجدير بالذكر أن التحليل يشير إلى أن هذه الاتجاهات بدأت قبل تقديم قوائم التحقق الرسمية، مما يشير إلى تحول ثقافي نحو العلوم المفتوحة وتحسين ممارسات التوثيق داخل المجتمع.
تستعرض الورقة أيضًا الفروق في ممارسات التوثيق بين المؤلفين الأكاديميين والمقترنين بالصناعة، حيث لم يتم العثور على اختلافات منهجية في توثيق متغيرات القابلية لإعادة الإنتاج. ومع ذلك، ظهرت اتجاهات ملحوظة بعد عام 2018، حيث بدأت الأوراق المرتبطة بالصناعة في توثيق متغيرات القابلية لإعادة الإنتاج بمعدلات أعلى من نظرائها الأكاديميين. قد يعكس هذا التحول تغييرًا في طبيعة التقديمات الصناعية، التي تشبه بشكل متزايد معايير البحث الأكاديمي. بالإضافة إلى ذلك، تلاحظ الدراسة انخفاضًا في الأبحاث النظرية البحتة، حيث تشكل الدراسات التجريبية الآن 94% من الأعمال المنشورة، مما يبرز أهمية ممارسات العلوم المفتوحة لضمان الصرامة والموثوقية في أبحاث الذكاء الاصطناعي. يستنتج المؤلفون أنه على الرغم من تحقيق تقدم، لا تزال التحديات قائمة، خاصة فيما يتعلق بمشاركة الأكواد والبيانات، والتي تعتبر ضرورية لتعزيز القابلية لإعادة الإنتاج في هذا المجال.
DOI: https://doi.org/10.1038/s44488-026-00015-x
Publication Date: 2026-10-22
Author(s): Kevin L. Coakley et al.
Primary Topic: Scientific Computing and Data Management
Introduction
The introduction of reproducibility checklists in AI research aimed to enhance and standardize documentation practices, yet the impact of these checklists on actual reproducibility remains unclear. This study analyzed the correlation between the implementation of reproducibility checklists and various reproducibility metrics across four major AI conferences: NeurIPS, AAAI, IJCAI, and ICML, with ICLR introducing optional guidelines. By fitting trend lines to reproducibility variables, the researchers assessed changes in documentation rates before and after checklist introduction, hypothesizing that an increase in the slope of these trends would indicate a positive effect.
The findings reveal that while documentation practices improved overall—evidenced by a decrease in papers documenting none of the seven reproducibility variables (from 3% to 0.3%) and an increase in those documenting all seven (from 0.1% to 1.7%)—the introduction of checklists did not statistically enhance the rate of documentation improvement. A one-sided binomial test showed no significant change in the documentation rates post-checklist (p = 0.84). Notably, the variable “Hardware specification” did show a moderate increase across conferences following checklist adoption, particularly driven by NeurIPS. Overall, the trends toward better documentation practices were evident even prior to the formal introduction of checklists.
Methods
The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, employing statistical analyses to evaluate the data collected from various experiments. Specific methodologies included controlled trials, where variables were systematically manipulated to observe their effects on the outcomes of interest.
Data collection involved the use of standardized instruments to ensure reliability and validity. The analysis was conducted using software tools that facilitated the application of appropriate statistical tests, such as t-tests and ANOVA, to determine significant differences between groups. The section emphasizes the importance of replicability and transparency in the methods used, allowing for future studies to build upon the findings presented.
Results
In this study, we conducted an analysis of 56,800 papers presented at five leading AI and machine learning conferences—AAAI, ICLR, ICML, IJCAI, and NeurIPS—spanning the years 2014 to 2024. Our findings reveal a significant increase in the volume of publications, escalating from 1,206 papers in 2014 to 12,026 in 2024, marking a tenfold growth over the decade.
Out of the total papers analyzed, 52,328 (92%) were classified as empirical research, which served as the foundation for our analysis. The exclusion of theoretical papers was intentional, as the reproducibility concerns associated with theoretical work necessitate a distinct analytical approach.
Discussion
The discussion section of the research paper highlights significant advancements in documentation practices and reproducibility rates within the AI research community over an 11-year period, spanning five major conferences. The study reveals that the proportion of empirical papers providing documentation for five or more reproducibility variables increased from 8% in 2014 to 43% in 2024. This improvement correlates with a doubling of the estimated reproducibility rate, which rose from 28% to 64%, primarily due to enhanced sharing of open code and datasets. Notably, the analysis indicates that these trends began prior to the introduction of formal reproducibility checklists, suggesting a cultural shift towards open science and improved documentation practices within the community.
The paper further examines the differences in documentation practices between academic and industry-affiliated authors, finding no systematic disparities in the documentation of reproducibility variables. However, a notable trend emerged post-2018, where industry-affiliated papers began to document reproducibility variables at higher rates than their academic counterparts. This shift may reflect a change in the nature of industry submissions, which increasingly resemble academic research standards. Additionally, the study observes a decline in purely theoretical research, with empirical studies now constituting 94% of published works, underscoring the importance of open science practices for ensuring the rigor and reliability of AI research. The authors conclude that while progress has been made, challenges remain, particularly regarding the sharing of code and data, which are essential for further enhancing reproducibility in the field.
