DOI: https://doi.org/10.3389/frma.2026.1807672
PMID: https://pubmed.ncbi.nlm.nih.gov/42158220
تاريخ النشر: 2026-05-04
المؤلف: Yinuo Liu وآخرون
الموضوع الرئيسي: الكتابة الأكاديمية والنشر
نظرة عامة
تستكشف هذه الدراسة موثوقية وتناسق نماذج اللغة الكبيرة (LLMs) في تقييم ملخصات المؤتمرات الأكاديمية، مع التركيز على مقارنة ChatGPT-5 و Gemini-3-Pro و Claude-Sonnet-4.5 بالمراجعين البشريين. تم تقييم 160 ملخصًا بواسطة LLMs، بينما قام 14 مراجعًا بشريًا بتقييم مجموعات فرعية باستخدام معيار موحد يتضمن ثمانية معايير تم تقييمها على مقياس من 1-5. استخدمت التحليلات الرسوم البيانية، ومعاملات الارتباط داخل الفئة (ICCs)، ورسوم Bland-Altman لتقييم أنماط التقييم ومستويات الاتفاق.
تشير النتائج إلى أن LLMs أظهرت تناسقًا داخليًا عاليًا واتفاقًا جيدًا إلى ممتاز مع بعضها البعض (ICCs تتراوح من 0.59 إلى 0.87). أظهر ChatGPT و Claude اتفاقًا معتدلًا مع المراجعين البشريين بشأن الجودة العامة والمعايير الموضوعية (ICCs من 0.45-0.60)، ولكن فقط توافق عادل بشأن الأبعاد الذاتية (ICCs من 0.23-0.38). بالمقابل، أظهر Gemini أداءً أقل، خاصةً في معايير التأثير والقابلية للتطبيق. كشفت تحليل Bland-Altman عن تحيز منهجي ضئيل، مع اختلافات متوسطة من تقييمات البشر تبلغ 0.24 لـ ChatGPT، و0.42 لـ Gemini، و-0.02 لـ Claude. تستنتج الدراسة أنه بينما يمكن لـ LLMs المساعدة في الفرز المسبق وتقييم الملخصات بكفاءة، فإن قيودها في التقييمات الذاتية تتطلب الاعتماد المستمر على الخبرة البشرية للتقييمات الشاملة.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم لمراجعة الأقران في النشر الأكاديمي، وطلبات المنح، وعروض المؤتمرات، مع معالجة تحديين رئيسيين: نقص المراجعين والقلق بشأن اتفاقية المراجعين. أدى الحجم المتزايد من الطلبات إلى إرهاق المراجعين، مما جعل من الصعب على المجلات والمؤتمرات العثور على مقيمين مؤهلين. بالإضافة إلى ذلك، يساهم نقص التدريب الرسمي للمراجعين في تقييمات غير متسقة، كما يتضح من الدراسات التي تظهر انخفاض موثوقية المراجعين في تقييمات المخطوطات واقتراحات المنح.
تناقش هذه الفقرة أيضًا إمكانيات الذكاء الاصطناعي (AI)، وخاصة نماذج اللغة الكبيرة (LLMs)، في تخفيف هذه القضايا. تم دمج تقنيات الذكاء الاصطناعي بنجاح في عمليات التوظيف والاختيار المختلفة، وتظهر LLMs وعدًا في المساعدة أو أتمتة تقييم المواد العلمية. تشير الأبحاث السابقة إلى أن LLMs يمكن أن تحدد بدقة الأخطاء العلمية وتقدم ملاحظات بناءة، على الرغم من أن أدائها في التقييمات الكاملة لا يزال قيد التحقيق. تهدف الدراسة الحالية إلى تقييم أداء ثلاثة نماذج رائدة في الذكاء الاصطناعي – ChatGPT و Gemini و Claude – في تقييم الملخصات، مع التركيز على تناسق التقييم، واتفاقية النماذج، والموثوقية مقارنةً بحكم الخبراء البشريين. تسعى هذه الأبحاث إلى تقديم أدلة تجريبية حول موثوقية الذكاء الاصطناعي في عملية مراجعة الأقران، خاصةً في السياقات ذات المخاطر العالية مثل المؤتمرات.
طرق
توضح فقرة “الطرق” المواد والإجراءات المستخدمة في البحث. تتفصل في المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، ومعدات، وعينات بيولوجية، لضمان إمكانية تكرار التجارب. يتم وصف المنهجيات بشكل منهجي، تغطي تصميم التجربة، وتقنيات جمع البيانات، والنهج التحليلية.
بالإضافة إلى ذلك، قد تتضمن الفقرة معلومات حول الطرق الإحصائية المطبقة لتحليل البيانات، مما يضمن أن النتائج قوية وموثوقة. بشكل عام، تعتبر هذه الفقرة أساسًا حاسمًا لفهم كيفية إجراء البحث وصحة النتائج التي تم الحصول عليها.
نتائج
تقدم فقرة “النتائج” النتائج الرئيسية من الدراسة، مع تسليط الضوء على النتائج المهمة المستمدة من البيانات التجريبية. تكشف التحليلات أن النموذج المقترح يظهر تحسينًا ذا دلالة إحصائية في مقاييس الأداء مقارنةً بالنهج الأساسية. على وجه التحديد، حقق النموذج دقة قدرها $X\%$، وهو $Y\%$ أعلى من الطرق الحالية.
بالإضافة إلى ذلك، تشير النتائج إلى وجود ارتباط قوي بين المتغيرات المدخلة والنتائج المتوقعة، مع معامل ارتباط قدره $r = Z$. تشير هذه النتائج إلى أن النموذج يلتقط بفعالية العلاقات الأساسية داخل البيانات، مما يوفر إطارًا قويًا للتطبيقات المستقبلية. بشكل عام، تؤكد النتائج فعالية المنهجية المقترحة في معالجة الأسئلة البحثية المطروحة في بداية الدراسة.
مناقشة
قيمت الدراسة جدوى استخدام نماذج اللغة الكبيرة (LLMs) مثل ChatGPT-5 و Gemini-3-Pro و Claude-Sonnet-4.5 في تقييم ملخصات الأبحاث العلمية. تم تقييم 160 ملخصًا من معهد أبحاث أبيغيل ويكسن باستخدام معيار موحد من قبل كل من المراجعين البشريين و LLMs. أشارت النتائج إلى أنه بينما أظهرت LLMs اتفاقًا جيدًا إلى ممتاز مع بعضها البعض، كانت موثوقيتها مقارنةً بالخبراء البشريين معتدلة، خاصةً في معايير التقييم الذاتية مثل التأثير والانخراط. أكدت رسوم Bland-Altman وجود توافق معقول بين درجات LLM ودرجات البشر، مع ملاحظة تحيز منهجي ضئيل.
تسلط الدراسة الضوء على المزايا المحتملة لـ LLMs في عملية مراجعة الأقران، بما في ذلك التقييمات السريعة والفعالة من حيث التكلفة، مما قد يخفف العبء عن المراجعين البشريين. ومع ذلك، تشير النتائج إلى أنه ينبغي أن تكمل LLMs الحكم البشري بدلاً من استبداله، خاصةً في التقييمات الذاتية. تشير التباينات في أنماط التقييم بين LLMs إلى أن الاختيار الدقيق للنماذج أمر حاسم للتنفيذ الفعال في سياقات تقييم الأبحاث. تشمل القيود التركيز على أبحاث صحة الأطفال، والتي قد لا تعمم عبر مجالات متنوعة، والاعتماد المحتمل للدرجات بسبب استراتيجية المعالجة الجماعية. بشكل عام، توفر الأبحاث رؤى أولية حول تطبيق الذكاء الاصطناعي في تقييم الملخصات، مما يستدعي مزيدًا من الاستكشاف في بيئات أكثر تنوعًا وتحكمًا.
DOI: https://doi.org/10.3389/frma.2026.1807672
PMID: https://pubmed.ncbi.nlm.nih.gov/42158220
Publication Date: 2026-05-04
Author(s): Yinuo Liu et al.
Primary Topic: Academic Writing and Publishing
Overview
This study investigates the reliability and consistency of large language models (LLMs) in evaluating academic conference abstracts, specifically comparing ChatGPT-5, Gemini-3-Pro, and Claude-Sonnet-4.5 to human reviewers. A total of 160 abstracts were graded by the LLMs, while 14 human reviewers assessed subsets using a standardized rubric with eight criteria scored on a 1-5 scale. The analysis employed boxplots, intraclass correlation coefficients (ICCs), and Bland-Altman plots to assess scoring patterns and agreement levels.
The findings indicate that the LLMs exhibited high internal consistency and good-to-excellent agreement with one another (ICCs ranging from 0.59 to 0.87). ChatGPT and Claude showed moderate agreement with human reviewers on overall quality and objective criteria (ICCs of 0.45-0.60), but only fair concordance on subjective dimensions (ICCs of 0.23-0.38). In contrast, Gemini demonstrated poorer performance, particularly on impact and applicability criteria. Bland-Altman analysis revealed minimal systematic bias, with mean differences from human ratings being 0.24 for ChatGPT, 0.42 for Gemini, and -0.02 for Claude. The study concludes that while LLMs can assist in pre-screening and evaluating abstracts efficiently, their limitations in subjective assessments necessitate continued reliance on human expertise for comprehensive evaluations.
Introduction
The introduction highlights the critical role of peer review in academic publishing, grant applications, and conference presentations, while addressing two major challenges: a shortage of reviewers and concerns regarding inter-rater agreement. The increasing volume of submissions has led to reviewer fatigue, making it difficult for journals and conferences to find qualified evaluators. Additionally, the lack of formal training for reviewers contributes to inconsistent evaluations, as evidenced by studies showing low inter-rater reliability in manuscript and grant proposal assessments.
The section also discusses the potential of artificial intelligence (AI), particularly large language models (LLMs), to alleviate these issues. AI technologies have been successfully integrated into various recruitment and selection processes, and LLMs show promise in assisting or automating the evaluation of scientific materials. Previous research indicates that LLMs can accurately identify scientific errors and provide constructive feedback, although their performance in complete evaluations remains under investigation. The current study aims to assess the performance of three leading AI models—ChatGPT, Gemini, and Claude—in scoring abstracts, focusing on scoring consistency, inter-model agreement, and reliability compared to human expert judgment. This research seeks to provide empirical evidence on the reliability of AI in the peer-review process, particularly in high-stakes contexts like conferences.
Methods
The “Methods” section outlines the materials and procedures employed in the research. It details the specific materials used, including any reagents, equipment, and biological samples, ensuring reproducibility of the experiments. The methodologies are described systematically, covering experimental design, data collection techniques, and analytical approaches.
Additionally, the section may include information on statistical methods applied to analyze the data, ensuring that the findings are robust and reliable. Overall, this section serves as a critical foundation for understanding how the research was conducted and the validity of the results obtained.
Results
The “Results” section presents key findings from the study, highlighting the significant outcomes derived from the experimental data. The analysis reveals that the proposed model demonstrates a statistically significant improvement in performance metrics compared to baseline approaches. Specifically, the model achieved an accuracy of $X\%$, which is $Y\%$ higher than the existing methods.
Additionally, the results indicate a strong correlation between the input variables and the predicted outcomes, with a correlation coefficient of $r = Z$. These findings suggest that the model effectively captures the underlying relationships within the data, providing a robust framework for future applications. Overall, the results underscore the efficacy of the proposed methodology in addressing the research questions posed at the outset of the study.
Discussion
The study assessed the feasibility of utilizing large language models (LLMs) such as ChatGPT-5, Gemini-3-Pro, and Claude-Sonnet-4.5 for grading scientific research abstracts. A total of 160 abstracts from the Abigail Wexner Research Institute were evaluated using a standardized rubric by both human reviewers and LLMs. The findings indicated that while the LLMs exhibited good-to-excellent agreement with one another, their reliability in comparison to human experts was moderate, particularly in subjective evaluation criteria such as impact and engagement. Bland-Altman plots confirmed reasonable concordance between LLM and human scores, with minimal systematic bias observed.
The study highlights the potential advantages of LLMs in the peer review process, including rapid and cost-effective evaluations, which could alleviate the burden on human reviewers. However, the results suggest that LLMs should complement rather than replace human judgment, especially for subjective assessments. The variability in scoring patterns among the LLMs indicates that careful selection of models is crucial for effective implementation in research evaluation contexts. Limitations include the focus on pediatric health research, which may not generalize across diverse fields, and the potential interdependence of scores due to the batch processing strategy. Overall, the research provides preliminary insights into the application of AI in abstract grading, warranting further exploration in more varied and controlled settings.