DOI: https://doi.org/10.1515/jdis-2026-0048
تاريخ النشر: 2026-09-18
المؤلف: Ulf Sandström وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تبحث ورقة البحث في فعالية نماذج اللغة الكبيرة (LLMs) في تقييم مقترحات المنح، مع تحليل علاقتها مع درجات مراجعة الأقران الخبراء. تستخدم الدراسة مجموعة بيانات من طلبات زمالة ما بعد الدكتوراه من المجلس الطبي السويدي من عام 1994، وتقارن الدرجات من نماذج LLMs ذات الأوزان المفتوحة المتوسطة مع تلك الخاصة بالمراجعين البشريين. تكشف النتائج عن وجود علاقة معتدلة بين درجات LLM (متوسط ارتباط سبيرمان 0.34) وعلاقة ضعيفة ولكن ذات دلالة إحصائية مع درجات الخبراء (متوسط ارتباط سبيرمان 0.22). ومن الجدير بالذكر أن نموذج Gemma 3 27b أظهر أعلى ارتباط رتبي قدره 0.33 مع درجات الخبراء، مما يشير إلى أن LLMs يمكن أن توفر رؤى حول تقييمات المقترحات، على الرغم من وجود قيود.
تشير التحليلات إلى أنه بينما تظهر LLMs قدرة ضعيفة على تقييم مقترحات المنح بما يتماشى مع المراجعين البشريين، إلا أنها قد لا تزال تلعب أدوارًا عملية في فرز الطلبات وسيناريوهات كسر التعادل. تسلط الدراسة الضوء على أنه يمكن إجراء التنبؤات بشكل فعال باستخدام عناوين المقترحات وملخصاتها فقط، مما يبرز الطبيعة القائمة على الأنماط لتقييمات LLM. يوصي المؤلفون بمتوسط الدرجات من نماذج وأنواع إدخال متعددة لتعزيز دقة التنبؤ. في النهاية، تدعم الأبحاث استخدام LLMs كأدوات تكميلية في عملية مراجعة المنح، خاصة للتصنيفات الأولية أو فحوصات التحيز، مع التأكيد على ضرورة الإشراف البشري في اتخاذ القرارات النهائية.
مقدمة
تسلط مقدمة ورقة البحث الضوء على الدور الحاسم لتمويل الأبحاث التنافسية في توجيه الموارد بشكل فعال داخل الأنظمة الأكاديمية، غالبًا من خلال عملية مراجعة الأقران التي يمكن أن تكون بطيئة وغير فعالة. يحدد المؤلفون القضايا الرئيسية، مثل استهلاك وقت المراجعين الخبراء على المقترحات المرفوضة والتأخيرات التي يمكن أن تعيق التمويل الفوري للأفكار البحثية العاجلة. لمعالجة هذه التحديات، بدأت بعض منظمات التمويل، مثل La Caixa، في استخدام الذكاء الاصطناعي (AI) ونماذج اللغة الكبيرة (LLMs) لتبسيط عملية المراجعة، مما يظهر تقليصًا في عدد المراجعات المطلوبة.
تهدف هذه الدراسة إلى تقييم فعالية LLMs في تقييم جودة طلبات تمويل المنح، مع التركيز بشكل خاص على طلبات زمالة المجلس الطبي السويدي (MRC) لما بعد الدكتوراه من عام 1994. تستقصي أسئلة البحث العلاقة بين درجات LLM ودرجات مراجعة الخبراء، والتناسق بين LLMs المختلفة، ومستويات الاتفاق بين LLMs والمراجعين الخبراء مقارنة بالاتفاق بين الخبراء أنفسهم. من خلال استخدام بيانات تاريخية متاحة للجمهور، تسعى الدراسة إلى تحديد ما إذا كانت LLMs يمكن أن تقارب تقييمات الخبراء بشكل موثوق في سيناريوهات التمويل الواقعية، وبالتالي تساهم في النقاش المستمر حول فعالية الذكاء الاصطناعي في عمليات مراجعة الأقران الأكاديمية.
الطرق
في هذه الدراسة، هدف المؤلفون إلى تقييم أداء نماذج اللغة الكبيرة (LLMs) المختلفة من خلال تحويل طلبات الزمالة الطبية السويدية من عام 1994 إلى نص باللغة الإنجليزية. ثم تم تقديم الوثائق المحولة إلى عدة LLMs للتقييم. تمت مقارنة هذه الدرجات بعد ذلك مع تلك التي قدمتها لجان الخبراء، التي قامت بتقييم الطلبات تحت برامج مختلفة. يؤكد المؤلفون على الحاجة إلى تجميع وتفسير درجات الخبراء بعناية بسبب الاختلافات في معايير التقييم عبر اللجان، وهي مسألة يتم تناولها بالتفصيل في الأقسام اللاحقة من الورقة.
النتائج
تشير النتائج إلى أن نماذج اللغة الكبيرة (LLMs) تظهر علاقات ضعيفة ولكن إيجابية عمومًا مع متوسط درجات المراجعين عبر أبعاد مختلفة، بما في ذلك التقييمات العامة. تم ملاحظة علاقات بشكل خاص لكل من العنوان والملخص، وكذلك للعناوين والملخصات والنص الرئيسي. من بين النماذج المختبرة، أظهر نموذج Gemma 3 27b أقوى العلاقات، على الرغم من أن الاختلافات بين النماذج لم تكن ذات دلالة إحصائية. ومن الجدير بالذكر أن توقعات LLM كانت الأقل فعالية بالنسبة للوحة التنقل. تشير التحليلات إلى أنه لا يوجد ميزة واضحة في استخدام إما العنوان والملخص أو النص الكامل كمدخلات لـ LLMs، حيث ظلت الأداء متسقًا عبر كلا التنسيقين.
في الحالات التي كانت فيها درجتان للوحة متاحة لنفس الاقتراح، كشفت علاقات سبيرمان عن درجات متفاوتة من الاتفاق بين اللجان، حيث أظهرت الفئة العامة ارتباطًا قدره 0.63 وفئة التنقل عند 0.83. بشكل عام، أظهرت اللجان اتفاقًا أقوى مع بعضها البعض مقارنة باتفاق LLMs مع درجات المراجعين، التي بلغ متوسطها 0.22. ومن المثير للاهتمام أن LLMs أظهرت اتفاقًا داخليًا أعلى (0.34) مقارنة بالمراجعين البشريين، خاصة عند معالجة العناوين والملخصات. يشير هذا إلى أن LLMs قد تستخرج أنماطًا ذات صلة مختلفة من المقترحات، وأن متوسط مخرجاتها قد يعزز الارتباط، على الرغم من أن التحسين لم يكن ذا دلالة إحصائية. قد تشير الاتفاقية المنخفضة الملحوظة مع النصوص الأطول إلى أن زيادة طول النص يسمح بتنوع أكبر في كيفية تفسير الخوارزميات للمعلومات.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على قضية موثوقية المراجعين في مراجعة منح الأقران، مشيرًا إلى أن الاتفاق بين المراجعين عادة ما يكون معتدلاً عبر مختلف التخصصات وسياقات التمويل. أظهرت الدراسات السابقة أن العلاقات بين درجات المراجعين المستقلين غالبًا ما تتراوح من ضعيفة إلى معتدلة، مع ظهور تباين منهجي نتيجة لاختلاف التركيز على معايير مثل الأصالة والجدوى. يشير هذا التباين إلى أن انخفاض موثوقية المراجعين ليس مجرد نتيجة لعدم كفاءة المراجعين، بل يعكس الطبيعة المعقدة القائمة على الحكم لتقييمات المنح. وبالتالي، تشير النتائج إلى أن أي نظام تقييم خارجي، بما في ذلك نماذج اللغة الكبيرة (LLMs)، سيواجه قيودًا متأصلة في تحقيق مستويات اتفاق عالية، كما يتضح من العلاقات الضعيفة إلى المعتدلة التي لوحظت بين درجات LLM التي تم إنشاؤها ودرجات مراجعي الخبراء.
تناقش الورقة أيضًا إمكانيات LLMs في تقييم الأبحاث، مشيرة إلى قدرتها على توليد درجات للمقالات المنشورة التي ترتبط إيجابيًا بمراجعات الخبراء، على الرغم من وجود قيود. وجدت الدراسة أن LLMs يمكن أن تقدم ملاحظات واقتراحات مفيدة للمخطوطات غير المنشورة، على الرغم من أن فعاليتها تختلف حسب المجال. على الرغم من العلاقات الإيجابية، يحذر المؤلفون من أن درجات LLM يجب أن تُفسر كتكهنات قائمة على الأنماط بدلاً من تقييمات نهائية، خاصة لأنها تعتمد على بيانات إدخال محدودة. تشير النتائج إلى أنه بينما يمكن أن تساعد LLMs في تصنيف المقترحات، يجب أن تكمل تطبيقها الحكم البشري بدلاً من استبداله، خاصة في السياقات الدقيقة مثل قرارات تمويل المنح. بشكل عام، تؤكد الدراسة على الحاجة إلى النظر بعناية في أدوار LLMs في عمليات مراجعة الأقران، داعية إلى استخدامها كأدوات داعمة بدلاً من مقيمين منفردين.
DOI: https://doi.org/10.1515/jdis-2026-0048
Publication Date: 2026-09-18
Author(s): Ulf Sandström et al.
Primary Topic: scientometrics and bibliometrics research
Overview
The research paper investigates the effectiveness of Large Language Models (LLMs) in scoring grant proposals, specifically analyzing their correlation with expert peer review scores. The study utilizes a dataset from the Swedish Medical Council’s post-doctoral fellowship applications from 1994, comparing scores from various medium-sized open weights LLMs to those of human reviewers. The findings reveal a moderate correlation among LLM scores (mean Spearman correlation of 0.34) and a weak but statistically significant correlation with expert scores (mean Spearman correlation of 0.22). Notably, the Gemma 3 27b model demonstrated the highest rank correlation of 0.33 with expert scores, indicating that LLMs can provide insights into proposal evaluations, albeit with limitations.
The analysis suggests that while LLMs exhibit a weak ability to score grant proposals in alignment with human reviewers, they may still serve practical roles in application triage and tie-breaking scenarios. The study highlights that predictions can be effectively made using only proposal titles and abstracts, underscoring the pattern-based nature of LLM evaluations. The authors recommend averaging scores from multiple models and input types to enhance predictive accuracy. Ultimately, the research supports the use of LLMs as supplementary tools in the grant review process, particularly for initial rankings or bias checks, while emphasizing the necessity of human oversight in final decision-making.
Introduction
The introduction of the research paper highlights the critical role of competitive research funding in directing resources effectively within academic systems, often through a peer review process that can be slow and inefficient. The authors identify key issues, such as the consumption of expert reviewer time on rejected proposals and the delays that can hinder timely funding of urgent research ideas. To address these challenges, some funding organizations, like La Caixa, have begun employing Artificial Intelligence (AI) and Large Language Models (LLMs) to streamline the review process, demonstrating a reduction in the number of required reviews.
This study aims to evaluate the effectiveness of LLMs in assessing the quality of grant funding applications, specifically focusing on Swedish Medical Research Council (MRC) postdoctoral fellowship applications from 1994. The research questions investigate the correlation between LLM scores and expert review scores, the consistency among different LLMs, and the agreement levels between LLMs and expert reviewers compared to the agreement among experts themselves. By utilizing historical data that is publicly accessible, the study seeks to determine whether LLMs can reliably approximate expert evaluations in real-world funding scenarios, thereby contributing to the ongoing discourse on the efficacy of AI in academic peer review processes.
Methods
In this study, the authors aimed to evaluate the performance of various large language models (LLMs) by converting Swedish medical fellowship applications from 1994 into English-language plain text. The converted documents were then submitted to multiple LLMs for scoring. These scores were subsequently compared to those provided by expert panels, which had assessed the applications under varying program mandates. The authors emphasize the need for careful aggregation and interpretation of the expert scores due to the differences in evaluation criteria across the panels, a concern that is addressed in detail in the subsequent sections of the paper.
Results
The results indicate that large language models (LLMs) exhibit weak but generally positive correlations with mean reviewer scores across various dimensions, including overall assessments. Specifically, correlations were observed for both the title and summary, as well as for the title, summary, and main text. Among the models tested, Gemma 3 27b demonstrated the strongest correlations, although differences between models were not statistically significant. Notably, the LLM predictions were least effective for the Mobility panel. The analysis suggests that there is no clear advantage in using either the title and summary or the full text as input for the LLMs, as the performance remained consistent across both formats.
In cases where two panel scores were available for the same proposal, Spearman correlations revealed varying degrees of agreement among panels, with the General category showing a correlation of 0.63 and the Mobility category at 0.83. Overall, the panels exhibited stronger agreement with each other compared to the LLMs’ agreement with reviewer scores, which averaged 0.22. Interestingly, LLMs demonstrated higher internal agreement (0.34) than with human reviewers, particularly when processing titles and summaries. This suggests that LLMs may extract different relevant patterns from proposals, and averaging their outputs could enhance correlation, although the improvement was not statistically significant. The lower agreement observed with longer texts may indicate that increased text length allows for greater variability in how algorithms interpret information.
Discussion
The discussion section of the research paper highlights the issue of inter-reviewer reliability in grant peer review, noting that agreement among reviewers is typically modest across various disciplines and funding contexts. Previous studies have shown that correlations between independent reviewer scores often range from weak to moderate, with systematic variability arising from differing emphases on criteria such as originality and feasibility. This variability suggests that low inter-reviewer reliability is not merely due to reviewer incompetence but reflects the complex, judgment-based nature of grant assessments. Consequently, the findings imply that any external evaluation system, including Large Language Models (LLMs), will face inherent limitations in achieving high agreement levels, as evidenced by the weak-to-moderate correlations observed between LLM-generated scores and expert reviewer scores.
The paper also discusses the potential of LLMs in research evaluation, noting their ability to generate scores for published articles that correlate positively with expert reviews, albeit with limitations. The study found that LLMs could provide useful feedback and suggestions for unpublished manuscripts, although their effectiveness varies by field. Despite the positive correlations, the authors caution that LLM scores should be interpreted as pattern-based guesses rather than definitive evaluations, particularly since they rely on limited input data. The results indicate that while LLMs can assist in ranking proposals, their application should complement rather than replace human judgment, particularly in nuanced contexts such as grant funding decisions. Overall, the study underscores the need for careful consideration of LLMs’ roles in peer review processes, advocating for their use as supportive tools rather than sole evaluators.