DOI: https://doi.org/10.22452/mjlis.vol30no2.4
تاريخ النشر: 2025-08-30
المؤلف: Mike Thelwall
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تقيّم ورقة البحث قدرة نموذج اللغة الكبير القابل للتنزيل (LLM) Gemma-3-27b-it في تقييم مقالات المجلات الأكاديمية من حيث جودة البحث. وتجد الدراسة أن درجات النموذج تتوافق إيجابياً مع تقييمات الخبراء عبر جميع وحدات التقييم الـ 34 من إطار التميز البحثي في المملكة المتحدة 2021، محققة 83.8% من قوة الارتباط مع ChatGPT 4o و94.7% من ChatGPT 4o-mini. على عكس النماذج الأكبر، لا يظهر Gemma-3-27b-it تحسينًا كبيرًا في الارتباط عندما يتم حساب الدرجات على مدى عدة تكرارات، وتكون مخرجاته أقل تنوعًا في الأسلوب. وهذا يشير إلى أنه بينما قد توفر LLMs الأكبر أداءً متفوقًا، يمكن للنماذج الأصغر مثل Gemma-3-27b-it أن تدعم تقييم البحث بفعالية، لا سيما في السياقات التي تتطلب معالجة غير متصلة بالإنترنت أو كفاءة من حيث التكلفة.
تشير النتائج إلى أن أمناء المكتبات الأكاديميين يمكنهم استخدام LLMs القابلة للتنزيل للتقييمات الكمية في تقييمات البحث، مثل REF، دون خطر فقدان الوظائف بسبب ترقيات النموذج. كما توحي النتائج بأن القدرة على تقييم جودة البحث ليست حصرية للنماذج الأكبر، كما يتضح من أداء نموذج Gemma-3-27b-it الذي يحتوي على 27 مليار معلمة. ومع ذلك، تشير الدراسة إلى وجود حد محتمل في حجم النموذج الذي قد لا يكون فيه التقييم الفعال ممكنًا. بشكل عام، تسلط الأبحاث الضوء على جدوى LLMs الأصغر في الأوساط الأكاديمية، مما يمكّن من تحسين قدرات المعالجة لتقييم الوثائق الخاصة.
مقدمة
تناقش مقدمة ورقة البحث أهمية تقييم البحث في الأوساط الأكاديمية، لا سيما دور المؤشرات المعتمدة على الاقتباسات في هذه العملية. غالبًا ما يشارك أمناء المكتبات الأكاديميين في إنشاء أو تفسير هذه المؤشرات، ومع ارتفاع استخدام الذكاء الاصطناعي (AI) في البحث، هناك حاجة ملحة لاستكشاف ما إذا كان بإمكان الذكاء الاصطناعي تعزيز كفاءة تقييمات البحث. تسلط الورقة الضوء على فائدة ChatGPT في هذا السياق، مشيرة إلى قدراته في تلخيص الوثائق وتقديم تقديرات جودة للدرجات لمقالات المجلات، والتي تتوافق إيجابياً مع حكم الخبراء، وغالبًا ما تتفوق على مقاييس الاقتباس التقليدية.
يؤكد المؤلفون على إمكانيات نماذج اللغة الكبيرة “ذات الأوزان المفتوحة” الأصغر التي يمكن استخدامها دون اتصال بالإنترنت لتقييم البحث، لا سيما في السيناريوهات التي تكون فيها الخصوصية ذات أهمية قصوى، مثل تقييم المخطوطات غير المنشورة أو الوثائق السرية. من خلال إظهار فعالية هذه النماذج غير المتصلة، تهدف الأبحاث إلى الدعوة لتطبيقها بشكل أوسع في الأوساط الأكاديمية، بما في ذلك عمليات مراجعة الأقران وتقييمات مقترحات التمويل. يمكن أن يعزز هذا الاستكشاف بشكل كبير الأدوات المتاحة لأمناء المكتبات والباحثين، خاصة في المجالات التي تكون فيها أعداد الاقتباسات أقل أهمية، مما يثري المشهد العام لتقييم البحث.
الطرق
في هذه الدراسة، يهدف المؤلفون إلى تقييم أداء نماذج اللغة الأصغر (LLMs) في توليد درجات جودة البحث عبر مختلف التخصصات العلمية، مع معالجة فجوة ملحوظة في الأدبيات الحالية التي تركز بشكل أساسي على الطب الحيوي. تم هيكلة البحث حول سؤالين رئيسيين: يستقصي RQ1 ما إذا كانت LLMs الأصغر، وبالتحديد تلك التي تحتوي على أوزان مفتوحة قابلة للتنزيل، يمكن أن تنتج درجات جودة بحث تتوافق إيجابياً مع تقييمات الخبراء عبر جميع المجالات العلمية. يفحص RQ2 تأثير حساب متوسط الدرجات من تكرارات متعددة على الارتباط مع أحكام الخبراء، بناءً على النتائج السابقة التي تشير إلى أن هذا النهج يعزز الدقة.
لإجابة هذه الأسئلة، استخدم الباحثون LLM الأصغر Gemma لتقييم مجموعة شاملة من مقالات المجلات التي تغطي مجالات علمية متنوعة. ثم تم ربط الدرجات التي تم توليدها بواسطة Gemma مع مؤشرات جودة الخبراء المعتمدة للمقالات. بالنسبة لـ RQ2، قارنّت الدراسة معاملات الارتباط المستمدة من درجات LLM الفردية مع تلك التي تم الحصول عليها من الدرجات المتوسطة عبر خمس تكرارات، وبالتالي تقييم ضرورة وفعالية التكرار في التقييم. تم تصميم هذا الإطار المنهجي لتقديم رؤى حول جدوى LLMs الأصغر في تقييم جودة البحث.
النتائج
في قسم النتائج، وُجد أن Gemma نادراً ما تعطي أدنى درجة (1*) وعادةً ما تقدم درجات أقل مقارنةً بخبراء REF عبر مجالات متنوعة. ومن الجدير بالذكر أن Gemma نادراً ما منحت درجات تتجاوز 3* في العلوم الاجتماعية والفنون والعلوم الإنسانية. تشير الإحصائيات الوصفية المقدمة في الجدول 1 إلى أن المجموعات والمتوسطات المستمدة من وحدات التقييم (UoAs) تعكس العد المزدوج للمقالات التي تظهر في وحدات تقييم متعددة.
كشفت التحليلات عن وجود ارتباط إيجابي بين درجات Gemma ومتوسط درجات REF القسمين عبر جميع المجالات، مع ملاحظات ارتباطات ذات دلالة إحصائية في 30 من أصل 34 وحدة تقييم، مع استبعاد وحدات التقييم الأصغر التي تحتوي على 426 مقالة أو أقل. توضح الشكل 1 ارتباطات سبيرمان جنبًا إلى جنب مع فترات الثقة المعاد تشكيلها بنسبة 95%، مما يشير إلى أنه بينما يظهر Gemma قدرة متسقة على تقدير درجات جودة البحث، فإن قوة هذا الارتباط عمومًا ضعيفة (أقل من 0.3) أو معتدلة عبر معظم المجالات.
المناقشة
تسلط قسم المناقشة في ورقة البحث هذه الضوء على قدرات وقيود نماذج اللغة الكبيرة (LLMs) في تقييم مقالات المجلات الأكاديمية من حيث جودة البحث. ويؤكد على أنه بينما يمكن أن تتوافق LLMs مثل Gemma-3-27b-it إيجابياً مع أحكام الخبراء، قد يكون أداؤها مقيدًا بالبيانات المستخدمة، والتي تقتصر على المقالات المعتمدة في المملكة المتحدة ومتوسطات الدرجات القسمين بدلاً من تقييمات المقالات الفردية. قد تؤدي هذه القيود إلى تقليل الارتباطات الملحوظة، وقد تختلف فعالية النموذج عند تطبيقه على مخرجات من دول أخرى أو في سياقات مختلفة. كما تلاحظ الدراسة أن الارتباطات التي تم تحقيقها مع Gemma عمومًا أقل من تلك المبلغ عنها لنماذج ChatGPT، على الرغم من أنها لا تزال تظهر قدرة كبيرة على تصنيف المقالات عبر مجالات متنوعة.
علاوة على ذلك، تناقش الورقة أسلوب التقرير المنظم لـ Gemma مقارنةً بالمخرجات الأكثر تنوعًا من ChatGPT، مما يشير إلى أن النهج الموحد للأخير قد يعزز موثوقية تقييماته. تشير النتائج إلى أن تقييم جودة البحث ليس خاصية ناشئة فقط للنماذج الأكبر، كما يتضح من قدرات نموذج Gemma الذي يحتوي على 27 مليار معلمة. تدعو النتائج إلى استخدام LLMs الأصغر القابلة للتنزيل في الأوساط الأكاديمية، لا سيما لمهام معالجة الوثائق الخاصة، حيث يمكن أن توفر قدرات متقدمة مقارنةً بالنماذج الأكبر بينما تكون أكثر وصولًا للمؤسسات ذات الموارد الحاسوبية المحدودة. بشكل عام، تؤكد الدراسة على إمكانيات LLMs في دعم تقييمات جودة البحث، مع الحذر بشأن قيودها والسياقات التي يتم تطبيقها فيها.
DOI: https://doi.org/10.22452/mjlis.vol30no2.4
Publication Date: 2025-08-30
Author(s): Mike Thelwall
Primary Topic: scientometrics and bibliometrics research
Overview
The research paper evaluates the capability of the downloadable Large Language Model (LLM) Gemma-3-27b-it in scoring academic journal articles for research quality. The study finds that the model’s scores correlate positively with expert evaluations across all 34 Units of Assessment from the UK Research Excellence Framework 2021, achieving 83.8% of the correlation strength of ChatGPT 4o and 94.7% of ChatGPT 4o-mini. Unlike the larger models, Gemma-3-27b-it does not show significant improvement in correlation when scores are averaged over multiple iterations, and its outputs are less varied in style. This indicates that while larger LLMs may provide superior performance, smaller models like Gemma-3-27b-it can still effectively support research evaluation, particularly in contexts requiring offline processing or cost efficiency.
The findings suggest that academic librarians can utilize downloadable LLMs for quantitative assessments in research evaluations, such as the REF, without the risk of losing functionality due to model upgrades. The results also imply that the ability to score research quality is not exclusive to larger models, as demonstrated by the performance of the 27 billion parameter Gemma-3-27b-it. However, the study notes a potential threshold in model size below which effective scoring may not be achievable. Overall, the research highlights the viability of smaller LLMs in academic settings, enabling enhanced processing capabilities for private document evaluations.
Introduction
The introduction of the research paper discusses the significance of research evaluation in academia, particularly the role of citation-based indicators in this process. Academic librarians often engage in creating or interpreting these indicators, and with the rise of Artificial Intelligence (AI) in research, there is a pressing need to explore whether AI can enhance the efficiency of research evaluations. The paper highlights the utility of ChatGPT in this context, noting its capabilities in summarizing documents and providing quality score estimates for journal articles, which correlate positively with expert judgment, often outperforming traditional citation metrics.
The authors emphasize the potential of smaller “open weights” large language models (LLMs) that can be used offline for research evaluation, particularly in scenarios where privacy is paramount, such as evaluating unpublished manuscripts or confidential documents. By demonstrating the effectiveness of these offline models, the research aims to advocate for their broader application in academic settings, including peer review processes and funding proposal evaluations. This exploration could significantly enhance the tools available to librarians and researchers, especially in fields where citation counts are less relevant, thereby enriching the overall research evaluation landscape.
Methods
In this study, the authors aim to evaluate the performance of smaller language models (LLMs) in generating research quality scores across various scientific disciplines, addressing a notable gap in existing literature that primarily focuses on biomedicine. The research is structured around two key questions: RQ1 investigates whether smaller LLMs, specifically those with downloadable open weights, can produce research quality scores that positively correlate with expert evaluations across all scientific fields. RQ2 examines the impact of averaging scores from multiple repetitions on the correlation with expert judgments, building on prior findings that suggest this approach enhances accuracy.
To address these questions, the researchers employed the smaller LLM Gemma to score a comprehensive dataset of journal articles spanning diverse scientific domains. The scores generated by Gemma were then correlated with established expert quality indicators for the articles. For RQ2, the study compared the correlation coefficients derived from individual LLM scores against those obtained from averaged scores across five repetitions, thereby assessing the necessity and effectiveness of repetition in scoring. This methodological framework is designed to provide insights into the viability of smaller LLMs in research quality assessment.
Results
In the results section, it was found that Gemma infrequently assigned the lowest score (1*) and generally provided lower scores compared to REF experts across various fields. Notably, Gemma seldom awarded scores exceeding 3* in the social sciences, arts, and humanities. Descriptive statistics presented in Table 1 indicate that the totals and averages derived from Units of Assessment (UoAs) reflect double counting for articles appearing in multiple UoAs.
The analysis revealed a positive correlation between Gemma scores and departmental average REF scores across all fields, with statistically significant correlations observed in 30 out of 34 UoAs, particularly excluding smaller UoAs with 426 or fewer articles. Figure 1 illustrates the Spearman correlations along with 95% bootstrapped confidence intervals, indicating that while Gemma demonstrates a consistent capacity to estimate research quality scores, the strength of this correlation is generally weak (below 0.3) or moderate across most fields.
Discussion
The discussion section of this research paper highlights the capabilities and limitations of large language models (LLMs) in evaluating academic journal articles for research quality. It emphasizes that while LLMs like Gemma-3-27b-it can correlate positively with expert judgments, their performance may be constrained by the dataset used, which is limited to UK-based articles and departmental average scores rather than individual article evaluations. This limitation could dampen the observed correlations, and the model’s effectiveness may vary when applied to outputs from other countries or in different contexts. The study also notes that the correlations achieved with Gemma are generally lower than those reported for ChatGPT models, although they still demonstrate a significant ability to rank articles across various fields.
Furthermore, the paper discusses the structured reporting style of Gemma compared to the more varied outputs from ChatGPT, suggesting that the former’s standardized approach may enhance the reliability of its evaluations. The findings indicate that research quality scoring is not solely an emergent property of larger models, as demonstrated by the capabilities of the 27 billion parameter Gemma model. The results advocate for the use of smaller, downloadable LLMs in academic settings, particularly for private document processing tasks, as they can provide advanced capabilities comparable to larger models while being more accessible for institutions with limited computational resources. Overall, the study underscores the potential of LLMs in supporting research quality assessments, albeit with caution regarding their limitations and the contexts in which they are applied.