التقييم الذاتي كمتنبئ للأثر العلمي يتجاوز مراجعة الأقران Self-rankings as a predictor of scientific impact beyond peer review

شارك:
المجلة: Nature Computational Science، المجلد: 6، العدد: 9
DOI: https://doi.org/10.1038/s43588-026-01039-0
PMID: https://pubmed.ncbi.nlm.nih.gov/42637843
تاريخ النشر: 2026-08-24
المؤلف: 苏步新 وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics

نظرة عامة

تناقش هذه القسم التحديات التي تواجه مراجعة الأقران في مجال الذكاء الاصطناعي (AI) الذي ينمو بسرعة، حيث أن حجم الطلبات قد تجاوز بشكل كبير توفر المراجعين ذوي الخبرة. وقد أدى هذا الوضع إلى زيادة الاعتماد على المراجعين الأقل خبرة والأدوات الآلية، مما قد يهدد تقييم كل من الدقة الفنية والأهمية طويلة الأمد للبحث. يقترح المؤلفون نهجًا مبتكرًا لتعزيز تحديد الأبحاث ذات التأثير العالي من خلال الاستفادة من تصنيفات المؤلفين الذاتية لطلباتهم المقدمة إلى مؤتمرات الذكاء الاصطناعي.

من خلال تجربة واسعة النطاق في مؤتمر بارز للذكاء الاصطناعي، وجد المؤلفون أن الأوراق التي حصلت على أعلى تصنيف من مؤلفيها حصلت على ضعف عدد الاقتباسات مقارنة بتلك التي حصلت على أدنى تصنيف. ومن الجدير بالذكر أن التصنيفات الذاتية أثبتت أنها أكثر فعالية من درجات مراجعة الأقران التقليدية في التنبؤ بعدد الاقتباسات المستقبلية، خاصةً في تحديد الأوراق ذات الاقتباسات العالية. تشير هذه النتائج إلى أن المؤلفين يمتلكون رؤى فريدة حول العمق المفاهيمي والأثر المحتمل لعملهم، مما يدل على أن التصنيفات الذاتية يمكن أن تكون مكملًا قيمًا لعملية مراجعة الأقران في التعرف على الأبحاث المؤثرة في مجال الذكاء الاصطناعي.

النتائج

في قسم النتائج من الدراسة، يوضح المؤلفون نتائج استبيان ما قبل المراجعة الذي تم إجراؤه في ICML 2023، والذي شمل 6,538 طلبًا من 18,535 مؤلفًا. بعد موعد تقديم الطلبات في 26 يناير 2023، شارك ما مجموعه 5,634 مؤلفًا (معدل استجابة 30.4%) في الاستبيان، حيث قام 1,342 مؤلفًا بتصنيف طلباتهم المتعددة. تم الحصول على التصنيفات لـ 2,592 طلبًا، تمثل 39.6% من جميع الطلبات. تم ربط ردود الاستبيان بدرجات المراجعة والقرارات النهائية من OpenReview، حيث تم تقييم الأوراق على مقياس من 1-10. ميز التحليل بين درجات ما قبل الرد وما بعد الرد، مما سمح للمؤلفين بمعالجة تعليقات المراجعين خلال مرحلة الرد.

تضمنت المرحلة الثانية من الدراسة بناء مجموعة بيانات للاقتباسات للطلبات المصنفة باستخدام Semantic Scholar، مما أسفر عن مجموعة بيانات نهائية تضم 797 مؤلفًا و1,527 طلبًا فريدًا بسجلات اقتباس صالحة. كشف التحليل أن الأوراق ذات التصنيف العالي حصلت على متوسط 19.99 اقتباسًا، وهو ما يزيد بشكل كبير عن متوسط 9.99 اقتباسات للأوراق ذات التصنيف المنخفض (P < 0.001). كما قامت الدراسة بتصنيف الطلبات بناءً على حالة قبولها، مع تحديد مجموعات من الأوراق المقبولة والمرفوضة لتسهيل المقارنات داخل محفظة كل مؤلف. يبرز هذا النهج الشامل العلاقة بين الجودة المدركة وتأثير الاقتباسات، مما يوفر رؤى حول ديناميات النشر الأكاديمي.

المناقشة

في هذا القسم من المناقشة، يحلل المؤلفون العلاقة بين عدد الاقتباسات والتصنيفات الذاتية للأوراق البحثية المقدمة في مؤتمرات الذكاء الاصطناعي الكبرى، مع التركيز بشكل خاص على المؤتمر الدولي لتعلم الآلة (ICML). تشير النتائج إلى أن الأوراق ذات التصنيف العالي تتلقى اقتباسات بمعدل يقارب ضعف معدل الأوراق ذات التصنيف المنخفض، مع ملاحظات اختلافات كبيرة عبر عتبات الاقتباس المختلفة. على سبيل المثال، خلال الفترة من يوليو 2023 إلى نوفمبر 2024، حصلت الأوراق المقبولة ذات التصنيف العالي على متوسط 27.64 اقتباسًا، مقارنة بـ 12.42 للأوراق المرفوضة ذات التصنيف العالي. ومن الجدير بالذكر أن التصنيفات الذاتية ظهرت كمؤشر أكثر موثوقية لتأثير الاقتباسات مقارنةً بدرجات المراجعة التقليدية، مع ملاحظات اختلافات ذات دلالة إحصائية في عدد الاقتباسات عبر مختلف مواقع التصنيف.

يؤكد المؤلفون أنه بينما تعتبر عدد الاقتباسات مؤشرًا عمليًا على تأثير الورقة، إلا أنها لا تعكس بالكامل الجودة الجوهرية أو القيمة العملية للبحث. كما تسلط الدراسة الضوء على الإمكانية التي توفرها التصنيفات الذاتية لتقديم رؤى قيمة في تحديد الأوراق المؤثرة ومرشحي الجوائز، مما يشير إلى أنه ينبغي أن تكمل هذه التصنيفات، بدلاً من استبدال، عمليات مراجعة الأقران التقليدية. تؤكد النتائج على أهمية فهم ديناميات ممارسات الاقتباس في مجالات سريعة التطور مثل الذكاء الاصطناعي، حيث قد يمتد تأثير الورقة إلى ما هو أبعد من الاقتباسات الأكاديمية إلى التطبيقات العملية في الصناعة. هناك حاجة إلى مزيد من البحث لاستكشاف هذه الديناميات عبر مؤتمرات وسياقات أوسع مختلفة.

Journal: Nature Computational Science, Volume: 6, Issue: 9
DOI: https://doi.org/10.1038/s43588-026-01039-0
PMID: https://pubmed.ncbi.nlm.nih.gov/42637843
Publication Date: 2026-08-24
Author(s): 苏步新 et al.
Primary Topic: scientometrics and bibliometrics research

Overview

The section discusses the challenges of peer review in the rapidly growing field of artificial intelligence (AI), where the volume of submissions has significantly outpaced the availability of experienced reviewers. This situation has led to an increased reliance on less experienced reviewers and automated tools, which may compromise the assessment of both technical accuracy and the long-term significance of research. The authors propose an innovative approach to enhance the identification of high-impact research by utilizing authors’ self-rankings of their submissions to AI conferences.

Through a large-scale experiment at a prominent AI conference, the authors found that papers ranked highest by their authors garnered twice as many citations as those ranked lowest. Notably, self-rankings proved to be more effective than traditional peer-review scores in predicting future citation counts, particularly for identifying highly cited papers. These findings suggest that authors possess unique insights into the conceptual depth and potential impact of their work, indicating that self-rankings could serve as a valuable complement to the peer review process in recognizing influential research in the AI domain.

Results

In the results section of the study, the authors detail the outcomes of a prereview survey conducted at ICML 2023, which involved 6,538 submissions from 18,535 authors. Following the submission deadline on January 26, 2023, a total of 5,634 authors (30.4% response rate) participated in the survey, with 1,342 authors ranking their multiple submissions. Rankings were obtained for 2,592 submissions, representing 39.6% of all submissions. The survey responses were linked to review scores and final decisions from OpenReview, where papers were evaluated on a scale of 1-10. The analysis distinguished between pre-rebuttal and post-rebuttal scores, allowing authors to address reviewer comments during the rebuttal phase.

The second phase of the study involved constructing a citation dataset for the ranked submissions using Semantic Scholar, resulting in a final dataset of 797 authors and 1,527 unique submissions with valid citation records. The analysis revealed that high-ranked papers received an average of 19.99 citations, which is significantly higher than the average of 9.99 citations for low-ranked papers (P < 0.001). The study also categorized submissions based on their acceptance status, identifying groups of accepted and rejected papers to facilitate comparisons within each author's portfolio. This comprehensive approach highlights the correlation between perceived quality and citation impact, providing insights into the dynamics of academic publishing.

Discussion

In this discussion section, the authors analyze the relationship between citation counts and self-rankings of research papers presented at major AI conferences, specifically focusing on the International Conference on Machine Learning (ICML). The findings indicate that high-ranked papers receive citations at approximately twice the rate of low-ranked papers, with significant differences observed across various citation thresholds. For instance, during the period from July 2023 to November 2024, accepted high-ranked papers averaged 27.64 citations, compared to 12.42 for rejected high-ranked papers. Notably, self-rankings emerged as a more reliable predictor of citation impact than traditional review scores, with statistically significant differences in citation counts observed across various ranking positions.

The authors emphasize that while citation counts serve as a practical indicator of a paper’s influence, they do not fully capture the intrinsic quality or practical value of the research. The study also highlights the potential for self-rankings to provide valuable insights for identifying impactful papers and award candidates, suggesting that they should complement, rather than replace, traditional peer review processes. The results underscore the importance of understanding the dynamics of citation practices in fast-evolving fields like AI, where the influence of a paper may extend beyond academic citations to practical applications in industry. Further research is needed to explore these dynamics across different conferences and broader contexts.