في أي مجالات تتماشى درجات ChatGPT بشكل أقرب مع جودة البحث مقارنة بمعدلات الاقتباس؟ In Which Fields Do ChatGPT Scores Align More Closely with Research Quality than Do Citation Rates?

شارك:
المجلة: Journal of Data and Information Science
DOI: https://doi.org/10.1515/jdis-2026-0058
تاريخ النشر: 2026-07-31
المؤلف: Mike Thelwall
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics

نظرة عامة

تقيّم ورقة البحث فعالية نماذج اللغة الكبيرة (LLMs)، وبالتحديد ChatGPT-4o mini وChatGPT-4o وChatGPT-5 mini، كمؤشرات لجودة البحث عبر مجالات أكاديمية متنوعة. تربط الدراسة بين الدرجات التي تولدها هذه النماذج مع متوسط درجات الجودة القسمي لـ 107,212 مقالة علمية مقرها المملكة المتحدة، مما يكشف أن ChatGPT-4o يظهر ارتباطًا إيجابيًا مع جودة البحث في 33 من أصل 34 وحدة تقييم (UoAs)، مع دلالة إحصائية في 31. ومن الجدير بالذكر أن درجات ChatGPT-4o تفوقت على معدلات الاقتباس طويلة الأجل في 21 وحدة تقييم ومعدلات الاقتباس قصيرة الأجل في 26 وحدة تقييم، بينما أظهرت ChatGPT-5 mini ارتباطات أقوى، خاصة عند استخدام المطالبات المنظمة.

تشير النتائج إلى أن ChatGPT يمكن أن يكون مؤشرًا قيمًا إضافيًا لجودة البحث، خاصة للأعمال المنشورة حديثًا حيث قد تكون بيانات الاقتباس غير كافية. تشير النتائج إلى أن درجات ChatGPT ترتبط عمومًا بشكل أقوى مع الجودة القسمي مقارنة بمعدلات الاقتباس، مما يبرز فائدتها المحتملة في المجالات التي تكون فيها مقاييس الاقتباس التقليدية أقل فعالية. ومع ذلك، يحذر المؤلفون من أن درجات LLM تعتمد فقط على العناوين والملخصات، مما قد يقدم تحيزات، ويوصون باستخدام هذه الدرجات كأدوات داعمة بدلاً من مقاييس نهائية للجودة. بشكل عام، توفر الدراسة أدلة مقنعة على دمج مؤشرات قائمة على LLM في عمليات التقييم الأكاديمية، مع الاعتراف أيضًا بالحاجة إلى اعتبار دقيق لقيودها والتحيزات المحتملة.

مقدمة

تناقش مقدمة ورقة البحث قيود مؤشرات الاقتباس في تقييم جودة البحث، ولا سيما عدم قدرتها على عكس جوانب مثل الصرامة والأصالة والأثر الاجتماعي بشكل كافٍ. بينما تم اقتراح مقاييس بديلة مثل مقاييس براءات الاختراع والمقاييس البديلة، تظهر نماذج اللغة الكبيرة (LLMs) مثل ChatGPT وعدًا في معالجة هذه النقائص. لقد أظهرت LLMs، وخاصة المحولات المدربة مسبقًا (GPTs)، أداءً متفوقًا في مهام معالجة اللغة الطبيعية، بما في ذلك تقديم ملاحظات على الأوراق الأكاديمية وتقييم جودة البحث، مع وجود بعض الدراسات التي تشير إلى ارتباطات إيجابية بين الدرجات التي تولدها LLM والتقييمات من قبل الأقران.

تهدف الورقة إلى سد عدة فجوات بحثية من خلال مقارنة أداء ChatGPT-4o ونسخته الأصغر، ChatGPT-4o mini، في توقع درجات جودة البحث عبر مجالات أكاديمية متنوعة. كما تسعى لتقييم ارتباط هذه الدرجات من LLM مع مؤشرات الاقتباس قصيرة ومتوسطة الأجل، وبالتالي تقييم فعاليتها النسبية. تركز أسئلة البحث على القوة المقارنة للإصدارين من ChatGPT في الارتباط مع تقييمات الجودة من الخبراء، بالإضافة إلى استكشاف التحسينات المحتملة التي تقدمها ChatGPT-5 الجديدة. بشكل عام، تهدف الدراسة إلى تقديم رؤى حول قابلية تطبيق LLMs في تقييم البحث ومزاياها المحتملة مقارنة بمقاييس الاقتباس التقليدية.

طرق البحث

في هذه الدراسة، استخدم الباحثون تصميمًا ارتباطيًا لتحليل مجموعة كبيرة من المقالات العلمية عبر مجالات متنوعة. كان الهدف الرئيسي هو مقارنة درجات الجودة البديلة المستمدة من هذه المقالات مع تقييمات الجودة التي تولدها إصدارات مختلفة من نموذج ChatGPT، وبالتحديد ChatGPT-4o وChatGPT-4o mini وChatGPT-5 mini. بالإضافة إلى ذلك، كانت الدراسة تهدف إلى ربط هذه الدرجات بالجودة مع مؤشرات قائمة على الاقتباس، مما يوفر تقييمًا شاملاً لفعالية النماذج في تقييم الجودة الأكاديمية. تسهل هذه الطريقة المنهجية فهم العلاقة بين درجات الجودة التي تولدها الذكاء الاصطناعي ومقاييس الاقتباس التقليدية.

النتائج

يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب أو التحليلات التي تم إجراؤها. يوضح نتائج اختبارات متنوعة، بما في ذلك الدلالة الإحصائية والمقاييس ذات الصلة التي تدعم الفرضيات المطروحة في الدراسة. غالبًا ما يتم توضيح النتائج من خلال الجداول والأشكال، التي توفر تمثيلات بصرية للبيانات، مما يعزز وضوح النتائج.

بالإضافة إلى ذلك، قد يسلط القسم الضوء على أنماط أو اتجاهات محددة تم ملاحظتها في البيانات، مثل الارتباطات أو العلاقات السببية، ويناقش آثارها في سياق أسئلة البحث. بشكل عام، تسهم النتائج في فهم أعمق للموضوع وتضع الأساس لمزيد من المناقشة والتفسير في الأقسام اللاحقة من الورقة.

المناقشة

يستعرض قسم المناقشة في ورقة البحث المنهجية والنتائج المتعلقة بتقييم المقالات العلمية المقدمة لتقييم REF2021 الوطني في المملكة المتحدة. تتكون مجموعة البيانات من 107,212 مقالة علمية من 157 مؤسسة، تم تقييم كل منها من قبل خبراء للجودة عبر الأصالة والأهمية والصرامة، مما أسفر عن نظام تسجيل يتراوح من نجمة واحدة إلى أربع نجوم. استخدم المؤلفون ChatGPT-4o وChatGPT-4o mini لتوليد درجات الجودة لهذه المقالات، مع الإشارة إلى أن درجات ChatGPT-4o ارتبطت إيجابيًا مع متوسط درجات REF2021 القسمي في 31 من أصل 34 وحدة تقييم، مما يشير إلى إمكانيته كمؤشر موثوق لجودة البحث.

قارن التحليل أيضًا درجات ChatGPT-4o مع مؤشرات قائمة على الاقتباس، مما كشف أن ChatGPT-4o تفوقت على درجات الاقتباس المحولة بشكل طبيعي (NLCS) في معظم وحدات التقييم، خاصة في سياق الاقتباسات المبكرة. كما استكشفت الدراسة أداء ChatGPT-5 mini، الذي أظهر وعدًا في تحسين دقة التسجيل مع الحفاظ على فعالية التكلفة. ومع ذلك، اعترف المؤلفون بالقيود، بما في ذلك إمكانية تسرب البيانات والتحيزات الناجمة عن طبيعة بيانات الإدخال. وأكدوا أنه بينما قد تعكس درجات ChatGPT جودة البحث الأساسية، يمكن أن تؤثر التأثيرات غير المباشرة مثل أهمية الموضوع وسمعة النشر على النتائج، مما يتطلب تفسيرًا حذرًا للنتائج.

Journal: Journal of Data and Information Science
DOI: https://doi.org/10.1515/jdis-2026-0058
Publication Date: 2026-07-31
Author(s): Mike Thelwall
Primary Topic: scientometrics and bibliometrics research

Overview

The research paper evaluates the effectiveness of Large Language Models (LLMs), specifically ChatGPT-4o mini, ChatGPT-4o, and ChatGPT-5 mini, as indicators of research quality across various academic fields. The study correlates the scores generated by these models with departmental average quality scores for 107,212 UK-based journal articles, revealing that ChatGPT-4o demonstrates a positive correlation with research quality in 33 out of 34 Units of Assessment (UoAs), with statistical significance in 31. Notably, ChatGPT-4o scores outperformed long-term citation rates in 21 UoAs and short-term citation rates in 26 UoAs, while ChatGPT-5 mini exhibited even stronger correlations, particularly when structured prompts were utilized.

The findings suggest that ChatGPT can serve as a valuable supplementary research quality indicator, especially for recently published works where citation data may be insufficient. The results indicate that ChatGPT scores generally correlate more strongly with departmental quality than citation rates, highlighting their potential utility in fields where traditional citation metrics are less effective. However, the authors caution that LLM scores are based solely on titles and abstracts, which may introduce biases, and recommend that these scores be used as supportive tools rather than definitive measures of quality. Overall, the study provides compelling evidence for the integration of LLM-based indicators in academic evaluation processes, while also acknowledging the need for careful consideration of their limitations and potential biases.

Introduction

The introduction of the research paper discusses the limitations of citation-based indicators in evaluating research quality, particularly their inability to adequately reflect aspects such as rigor, originality, and societal impact. While alternative metrics like patent metrics and altmetrics have been proposed, Large Language Models (LLMs) like ChatGPT show promise in addressing these shortcomings. LLMs, particularly Generative Pretrained Transformers (GPTs), have demonstrated superior performance in natural language processing tasks, including providing feedback on academic papers and scoring research quality, with some studies indicating positive correlations between LLM-generated scores and peer review evaluations.

The paper aims to fill several research gaps by comparing the performance of ChatGPT-4o and its smaller variant, ChatGPT-4o mini, in predicting research quality scores across various academic fields. It also seeks to assess the correlation of these LLM scores with short-term and medium-term citation-based indicators, thereby evaluating their relative effectiveness. The research questions focus on the comparative strength of the two ChatGPT versions in correlating with expert quality assessments, as well as exploring the potential improvements offered by the newly released ChatGPT-5. Overall, the study aims to provide insights into the applicability of LLMs in research evaluation and their potential advantages over traditional citation metrics.

Methods

In this study, the researchers employed a correlational design to analyze a substantial collection of journal articles across various fields. The primary objective was to compare proxy quality scores derived from these articles with quality assessments generated by different versions of the ChatGPT model, specifically ChatGPT-4o, ChatGPT-4o mini, and ChatGPT-5 mini. Additionally, the study aimed to correlate these quality scores with citation-based indicators, thereby providing a comprehensive evaluation of the models’ effectiveness in assessing academic quality. This methodological approach facilitates an understanding of the relationship between AI-generated quality scores and traditional citation metrics.

Results

The “Results” section of the research paper presents the key findings derived from the conducted experiments or analyses. It details the outcomes of various tests, including statistical significance and relevant metrics that support the hypotheses put forth in the study. The results are often illustrated through tables and figures, which provide visual representations of the data, enhancing the clarity of the findings.

Additionally, the section may highlight specific patterns or trends observed in the data, such as correlations or causal relationships, and discusses their implications in the context of the research questions. Overall, the results contribute to a deeper understanding of the subject matter and lay the groundwork for further discussion and interpretation in subsequent sections of the paper.

Discussion

The discussion section of the research paper outlines the methodology and findings related to the evaluation of journal articles submitted for the UK REF2021 national evaluation. The dataset comprised 107,212 journal articles from 157 institutions, each assessed by experts for quality across originality, significance, and rigor, resulting in a scoring system ranging from one to four stars. The authors utilized ChatGPT-4o and ChatGPT-4o mini to generate quality scores for these articles, with the results indicating that ChatGPT-4o scores positively correlated with departmental average REF2021 scores in 31 out of 34 units of assessment (UoAs), suggesting its potential as a reliable indicator of research quality.

The analysis further compared ChatGPT-4o scores with citation-based indicators, revealing that ChatGPT-4o outperformed normalized log-transformed citation scores (NLCS) in most UoAs, particularly in the context of early citations. The study also explored the performance of ChatGPT-5 mini, which showed promise in improving scoring accuracy while maintaining cost-effectiveness. However, the authors acknowledged limitations, including the potential for data leakage and biases stemming from the nature of the input data. They emphasized that while ChatGPT scores may reflect underlying research quality, indirect influences such as topic significance and publication prestige could affect the outcomes, warranting cautious interpretation of the results.