DOI: https://doi.org/10.1515/jdis-2025-0465
تاريخ النشر: 2026-06-13
المؤلف: Mike Thelwall وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تقيّم هذه الورقة البحثية فعالية نماذج اللغة الكبيرة متوسطة الحجم (LLMs) في تقييم الوثائق الأكاديمية المنظمة، مع التركيز بشكل خاص على دراسات حالة التأثير (ICSs) في إطار التميز البحثي في المملكة المتحدة (REF) 2021. شملت الدراسة خمسة نماذج LLMs شائعة—DeepSeek R1، Qwen 3، Magistral Small، Gemma 3، وLlama 4—لتقييم قدرتها على توقع الدرجات بناءً على 6,010 ICSs ومقارنة هذه الدرجات بتقييم جودة بديل مستمد من المتوسطات القسمية. تشير النتائج إلى أنه بينما أسفر تقييم النصوص الكاملة عن ارتباطات معتدلة فقط مع التقييمات البديلة، تمكنت جميع نماذج LLMs، باستثناء Magistral، من التفوق بشكل كبير على التخمين العشوائي عند تقييم الأقسام الفردية من ICSs. ومن الجدير بالذكر أن أفضل استراتيجية تقييم جمعت بين الملخص وتفاصيل أقسام التأثير، محققة ارتباط سبيرمان قدره 0.37 مع درجات الجودة البديلة.
تشير الاستنتاجات المستخلصة من الدراسة إلى أن نماذج LLMs متوسطة الحجم ذات الأوزان المفتوحة يمكن أن تقدر بشكل معتدل قوة ادعاءات تأثير البحث في ICSs، على الرغم من أنه لا ينبغي أن تحل محل المقيمين البشريين. تسلط الدراسة الضوء على أن نهج التقييم المباشر الذي يركز على التأثير وحده أكثر فعالية من طريقة من خطوتين تشمل تقييم البحث الأساسي. علاوة على ذلك، تشير النتائج إلى عدم وجود اختلافات تأديبية كبيرة في الأداء وتحذر من الاعتماد فقط على درجات LLMs في اتخاذ قرارات حاسمة، حيث أن هذه الدرجات هي في الأساس تخمينات مستنيرة بدلاً من تقييمات نهائية. يتم الاعتراف بالتطبيق المحتمل لنماذج LLMs في تقييم مقترحات المنح، لكن فعاليتها قد تكون محدودة بسبب نقص الإشارات المؤسسية في مثل هذه الوثائق. بشكل عام، تؤكد الدراسة على فائدة نماذج LLMs في دعم تقييمات البحث مع التأكيد على ضرورة الإشراف البشري في عملية التقييم.
مقدمة
تناقش مقدمة الورقة البحثية التحديات المرتبطة بمراجعة الأقران الأكاديمية وتستكشف إمكانيات نماذج اللغة الكبيرة (LLMs) لتخفيف بعض هذه الأعباء. تسلط الضوء على النتائج التجريبية التي تشير إلى أن نماذج LLMs المستندة إلى السحابة يمكن أن تقدر درجات الجودة للمقالات الأكاديمية بناءً على العناوين والملخصات، مع درجات متفاوتة من الارتباط بالتقييمات الخبراء عبر مجالات مختلفة. كما تشير الورقة إلى الفهم المحدود لقدرات نماذج LLMs في تقييم الوثائق الأكاديمية المنظمة، مثل مقترحات المنح ودراسات حالة التأثير (ICSs)، والتي تعتبر ضرورية لتقييم التأثيرات الاجتماعية للبحث في المملكة المتحدة.
تهدف الدراسة إلى معالجة عدة أسئلة بحثية تتعلق بفعالية نماذج LLMs متوسطة الحجم في تقييم ICSs. تؤكد على أهمية السرية في عملية التقييم، حيث تحتوي ICSs ومقترحات المنح غالبًا على معلومات حساسة. يقترح المؤلفون التحقيق فيما إذا كان فصل تقييم البحث الأساسي وادعاءات التأثير داخل ICSs يمكن أن يؤدي إلى تحسين ارتباطات التقييم مع أحكام الخبراء. بالإضافة إلى ذلك، تسعى الدراسة إلى تحديد مدى انعكاس درجات LLMs للتقييمات الحقيقية بدلاً من التخمينات البسيطة، وما إذا كانت الاختلافات التأديبية تؤثر على النتائج. الهدف الشامل هو تقييم فائدة درجات LLMs التي تم إنشاؤها كمؤشرات في التقييمات الأكاديمية، بدلاً من صلاحيتها كتقييمات تقليدية.
الطرق
في هذه الدراسة، استخدم الباحثون تحليلًا مقارنًا لدراسات حالة التأثير من خلال جمع مجموعة بيانات كبيرة وتقييم درجات الخبراء مقابل تلك المستمدة من المنهجيات المحددة الموضحة في أسئلة البحث. كانت الأداة التحليلية الرئيسية المستخدمة هي ارتباط الرتبة، والتي خدمت كمقياس حصري لتقييم القيمة المعلوماتية للنهج المستندة إلى نماذج اللغة الكبيرة (LLMs). يبرز هذا الاختيار المنهجي التركيز على العلاقة بين تقييمات الخبراء والمخرجات التي تولدها نماذج LLMs، كما هو موضح في الشكل 1.
النتائج
يقدم قسم “النتائج” نتائج الدراسة، مسلطًا الضوء على النتائج الرئيسية المستمدة من الأساليب التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن التأثيرات الملحوظة من غير المحتمل أن تكون نتيجة للصدفة. بالإضافة إلى ذلك، تظهر النتائج اتجاهًا واضحًا في البيانات، حيث يظهر المتغير الرئيسي علاقة خطية مع المتغير التابع، كما هو موضح من خلال تحليل الانحدار.
علاوة على ذلك، يتضمن القسم تمثيلات رسومية للبيانات، مثل المخططات النقطية والرسوم البيانية، التي تدعم بصريًا النتائج الكمية. تتم مناقشة النتائج في سياق الأدبيات الحالية، مع التأكيد على آثارها على المجال والتطبيقات المحتملة. بشكل عام، تسهم النتائج في فهم أعمق للموضوع وتفتح الطريق أمام اتجاهات البحث المستقبلية.
المناقشة
في إطار التميز البحثي في المملكة المتحدة (REF)، تعتبر دراسات حالة التأثير (ICSs) روايات حاسمة توضح الفوائد الاجتماعية للبحث الأكاديمي، حيث تمثل 25% من التقييم العام في REF2021. يعكس هذا التركيز على التأثير اعترافًا متزايدًا بالحاجة إلى أن يقدم الأكاديميون أدلة على مساهمات أبحاثهم في مختلف القطاعات، بما في ذلك السياسة والصحة والاقتصاد. لقد أدت تعقيدات تقييم هذه التأثيرات إلى اعتماد تقنيات تحليل النصوص النظامية ونمذجة الموضوعات، التي حددت العديد من الموضوعات التأثيرية المتميزة عبر مجالات مختلفة. أظهرت الدراسات أن عوامل مثل معدلات الاقتباس، ووضوح الكتابة، والموارد المؤسسية ترتبط بدرجات ICS أعلى، مما يشير إلى أن كل من جودة البحث والتواصل الفعال تلعب أدوارًا مهمة في التأثير المدرك.
تم استكشاف التقدمات الأخيرة في الذكاء الاصطناعي (AI) أيضًا لتقييم ICSs. أظهرت نماذج التعلم الآلي دقة واعدة في توقع درجات ICS بناءً على ميزات مختلفة، بينما تم اختبار نماذج اللغة الكبيرة (LLMs) مثل ChatGPT لقدرتها على تصنيف وتقييم ICSs. على الرغم من أن النتائج الأولية تشير إلى أن نماذج LLMs يمكن أن تقدم رؤى مفيدة وتدعم تقييمات الخبراء، إلا أن فعاليتها قد تختلف عبر التخصصات، خاصة في المجالات التي تتطلب أحكامًا نوعية دقيقة. يبرز الاستكشاف المستمر للذكاء الاصطناعي في تقييم البحث الإمكانية لهذه التقنيات لتعزيز عملية التقييم، على الرغم من أن التحديات لا تزال قائمة بشأن التحيز وتفسير الإشارات النصية. بشكل عام، يمثل دمج أدوات الذكاء الاصطناعي في تقييم ICSs خطوة مهمة نحو تحسين كفاءة وتناسق تقييمات تأثير البحث.
DOI: https://doi.org/10.1515/jdis-2025-0465
Publication Date: 2026-06-13
Author(s): Mike Thelwall et al.
Primary Topic: scientometrics and bibliometrics research
Overview
This research paper evaluates the effectiveness of medium-sized Large Language Models (LLMs) in scoring structured academic documents, specifically focusing on the UK Research Excellence Framework (REF) 2021 Impact Case Studies (ICSs). The study involved five popular LLMs—DeepSeek R1, Qwen 3, Magistral Small, Gemma 3, and Llama 4—assessing their ability to predict scores based on 6,010 ICSs and correlating these scores with a proxy quality rating derived from departmental averages. The findings indicate that while scoring full texts yielded only moderate correlations with the proxy ratings, all LLMs, except Magistral, could significantly outperform random guessing when scoring individual sections of the ICSs. Notably, the best scoring strategy combined the summary and details of the impact sections, achieving a Spearman correlation of 0.37 with the proxy quality scores.
The conclusions drawn from the study suggest that medium-sized open weights LLMs can moderately estimate the strength of research impact claims in ICSs, although they should not replace human evaluators. The research highlights that a straightforward scoring approach focusing on impact alone is more effective than a two-step method that includes assessing underpinning research. Furthermore, the results indicate no significant disciplinary differences in performance and caution against relying solely on LLM scores for critical decisions, as these scores are essentially educated guesses rather than definitive evaluations. The potential application of LLMs in grant proposal evaluations is acknowledged, but their effectiveness may be limited by the lack of institutional cues in such documents. Overall, the study underscores the utility of LLMs in supporting research assessments while emphasizing the necessity of human oversight in the evaluation process.
Introduction
The introduction of the research paper discusses the challenges associated with academic peer review and explores the potential of Large Language Models (LLMs) to alleviate some of these burdens. It highlights empirical findings indicating that cloud-based LLMs can estimate quality scores for academic articles based on titles and abstracts, with varying degrees of correlation to expert evaluations across different fields. The paper also notes the limited understanding of LLMs’ capabilities in scoring structured academic documents, such as grant proposals and Impact Case Studies (ICSs), which are crucial for assessing the societal impacts of research in the UK.
The study aims to address several research questions regarding the effectiveness of medium-sized LLMs in evaluating ICSs. It emphasizes the importance of confidentiality in the evaluation process, as ICSs and grant proposals often contain sensitive information. The authors propose to investigate whether separating the assessment of the underpinning research and impact claims within ICSs can yield improved scoring correlations with expert judgments. Additionally, the study seeks to determine the extent to which LLM scores reflect genuine evaluations rather than mere guesses, and whether disciplinary differences affect the results. The overarching goal is to assess the utility of LLM-generated scores as indicators in academic evaluations, rather than their validity as traditional assessments.
Methods
In this study, the researchers employed a comparative analysis of Impact Case Studies by collecting a substantial dataset and evaluating the expert scores against those derived from the specified methodologies outlined in the research questions. The primary analytical tool utilized was rank correlation, which served as the exclusive metric for assessing the informational value of the approaches based on large language models (LLMs). This methodological choice underscores the focus on the relationship between expert evaluations and the outputs generated by LLMs, as depicted in Figure 1.
Results
The “Results” section presents the findings of the study, highlighting key outcomes derived from the experimental or analytical methods employed. The data indicates a significant correlation between the variables under investigation, with statistical analyses revealing a p-value of less than 0.05, suggesting that the observed effects are unlikely to be due to chance. Additionally, the results demonstrate a clear trend in the data, with the primary variable exhibiting a linear relationship with the dependent variable, as illustrated by the regression analysis.
Furthermore, the section includes graphical representations of the data, such as scatter plots and histograms, which visually support the quantitative findings. The results are discussed in the context of existing literature, emphasizing their implications for the field and potential applications. Overall, the findings contribute to a deeper understanding of the subject matter and pave the way for future research directions.
Discussion
In the UK Research Excellence Framework (REF), Impact Case Studies (ICSs) serve as critical narratives demonstrating the societal benefits of academic research, accounting for 25% of the overall assessment in REF2021. This emphasis on impact reflects a growing recognition of the need for academics to provide evidence of their research’s contributions to various sectors, including policy, health, and the economy. The complexity of assessing these impacts has led to the adoption of systematic text analysis and topic modeling techniques, which have identified numerous distinct impact topics across different disciplines. Studies have shown that factors such as citation rates, writing clarity, and institutional resources correlate with higher ICS scores, indicating that both research quality and effective communication play significant roles in perceived impact.
Recent advancements in artificial intelligence (AI) have also been explored for evaluating ICSs. Machine learning models have demonstrated promising accuracy in predicting ICS scores based on various features, while large language models (LLMs) like ChatGPT have been tested for their ability to classify and score ICSs. Although initial findings suggest that LLMs can provide useful insights and support expert evaluations, their effectiveness may vary across disciplines, particularly in areas requiring nuanced qualitative judgments. The ongoing exploration of AI in research evaluation highlights the potential for these technologies to enhance the assessment process, although challenges remain regarding bias and the interpretation of textual cues. Overall, the integration of AI tools in evaluating ICSs represents a significant step towards improving the efficiency and consistency of research impact assessments.