هل يمكن أن يكون ChatGPT تابعًا جيدًا للنماذج الأكاديمية؟ تقييمات جودة البحث في مجالات علم الاجتماع المتضاربة Can ChatGPT be a Good Follower of Academic Paradigms? Research Quality Evaluations in Conflicting Areas of Sociology

شارك:
المجلة: Journal of Data and Information Science
DOI: https://doi.org/10.1515/jdis-2025-0390
تاريخ النشر: 2026-04-27
المؤلف: Mike Thelwall وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics

نظرة عامة

تبحث الدراسة في التحيز المحتمل لنماذج اللغة الكبيرة (LLMs)، وبشكل خاص ChatGPT، في تقييم المنشورات الأكاديمية عبر paradigms السوسيولوجيا المتنافسة. تضمنت الدراسة 1 تقييم 1,490 مقالة من المجلات من ثمانية أزواج من paradigms، حيث تم توجيه ChatGPT لتبني أدوار مختلفة، بما في ذلك تابع paradigm ومعارض. أظهرت النتائج أن المقالات حصلت على درجات أعلى عند تقييمها من منظور paradigms الخاصة بها ودرجات أقل عند تقييمها من paradigms المعاكسة. على الرغم من أن ChatGPT التابع أظهر تحيزًا ضئيلًا مقارنةً بالحياديين، إلا أن المقالات التي تم تقييمها من قبل paradigms المعاكسة واجهت عيوبًا كبيرة.

استكشفت الدراسة 2 هذا التحيز بشكل أعمق مع paradigms محددة بشكل أكثر دقة، مما يعزز فكرة أن صياغة المطالبات يمكن أن تؤثر بشكل كبير على نتائج التقييم. كشفت التحليلات أن 66% من المقالات المختارة عشوائيًا تتماشى مع paradigm الصحيح، بينما 23.5% تتطابق مع paradigm المعاكس، مما يشير إلى مشاكل محتملة في التصنيف. تؤكد النتائج على ضرورة التصميم الدقيق لمطالبات LLM للحفاظ على حيادية paradigms في تقييمات البحث، حيث يمكن أن تؤدي التحيزات بشكل غير مقصود إلى تقليل قيمة المساهمات من بعض paradigms. تسلط هذه الدراسة الضوء على الآثار المترتبة على السوسيولوجيا والمشهد الأكاديمي الأوسع، خاصة مع زيادة الاعتماد على أدوات الذكاء الاصطناعي للوصول إلى المعرفة.

مقدمة

تناقش مقدمة هذه الورقة البحثية الدور المتطور لمؤشرات الاقتباس في تقييم البحث والقدرات الناشئة لنماذج اللغة الكبيرة (LLMs) في تقييم جودة البحث. تشير الدراسات الحديثة إلى أن LLMs يمكن أن تقيم مقالات المجلات بطريقة تتماشى بشكل وثيق مع أحكام الخبراء، وغالبًا ما تتجاوز المقاييس التقليدية للاقتباس (Thelwall، 2025؛ Thelwall & Yang، 2025). تثير هذه التطورات مخاوف بشأن التحيزات المحتملة في تقييمات LLM، خاصة في المجالات التي تتميز بوجود paradigms بحثية متنافسة. تسلط الورقة الضوء على أن paradigms الأكاديمية المختلفة – المعرفة على أنها معتقدات وأساليب مشتركة داخل المجتمعات الأكاديمية – يمكن أن تؤدي إلى صراعات في كيفية إدراك البحث وتقييمه (Kuhn، 1962؛ Chomsky، 2012).

تركز الدراسة على آثار هذه التحيزات داخل السوسيولوجيا، وهي تخصص يتميز بتجزئة نظرية كبيرة و paradigms متنافسة، مثل الوضعية والتفسيرية (Korom، 2023). يهدف المؤلفون إلى التحقيق فيما إذا كانت LLMs، وبشكل خاص ChatGPT، تظهر تحيزات تفضل بعض paradigms على الأخرى، مما قد يؤدي إلى تهميش الباحثين المرتبطين بوجهات نظر أقل هيمنة. السؤال البحثي المركزي هو ما إذا كانت المطالبات المقدمة إلى ChatGPT يمكن أن تؤثر على تقييماته، مما يحولها بشكل فعال إلى مراجع حزبي وسط هذه الصراعات paradigms. هذه الاستفسارات ضرورية لفهم موثوقية وعدالة تقييمات البحث المدفوعة بالذكاء الاصطناعي في مشهد أكاديمي متنوع.

الطرق

في هذا القسم، يحدد المؤلفون نهجهم المنهجي لمقارنة درجات مقالات المجلات من paradigms سوسيولوجية متنافسة باستخدام ChatGPT. تتضمن الدراسة اختيار أزواج من paradigms المتعارضة وتقييم مقالاتها من خلال تقديرات درجات ChatGPT الحزبية والحيادية، بما في ذلك الدرجات من ChatGPT paradigm المنافس. لتعزيز فهم paradigms من قبل ChatGPT، قام المؤلفون بتفويض اختيار paradigms وصياغة الاستفسارات البيبليومترية إلى نموذج اللغة نفسه. بينما قد يُعتبر هذا النهج عادة غير مناسب في البحث الأكاديمي بسبب الحاجة إلى تبرير مؤلفي وخبرة، يجادل المؤلفون بأنه مناسب لهذه الدراسة الأولية. يهدف هذا القرار إلى مواءمة paradigms مع المعرفة الداخلية لـ ChatGPT، مما يزيد من احتمالية اكتشاف الفروق في الدرجات عبر paradigms. ستتناول الدراسة التالية قيود هذا النهج، مع توفر تفاصيل إضافية في الملفات الإلكترونية التكميلية.

النتائج

تشير النتائج إلى أن ChatGPT يمنح درجات أعلى للمقالات التي تتماشى مع paradigm الخاص به، على الرغم من أن الفرق مقارنة بالتقييمات الحيادية ضئيل. من الجدير بالذكر أن المقالات المرتبطة بـ paradigms المعادية تتلقى درجات منخفضة بشكل غير متوقع، وهو ما قد يُعزى إلى عدة عوامل: وجود مقالات paradigms متنافسة في العينة، أو احتمال سوء تفسير المقالات من قبل ChatGPT، أو نهج تقييم حذر بشكل عام بسبب موقفه المعاكس. تكشف البيانات عن اتجاه ثابت حيث يقدم المتابعون المعادون أدنى متوسط درجات عبر معظم paradigms، مع ملاحظات كبيرة في 14 من 16 حالة. تشمل الاستثناءات النسوية المادية والسوسيولوجيا الماركسية/النيوماركسية، حيث تم نسب أدنى الدرجات إلى المتابعين الخاصين بـ ChatGPT، مما يشير إلى احتمال تلوث العينة أو سوء تفسير.

في تحليل ثانوي، تعزز نتائج الدراسة 2 فكرة أن المعارضة بين paradigms يمكن أن تؤثر سلبًا على التقييم، حيث غالبًا ما يقدم المتابعون الحزبيون أدنى المتوسطات. هذا الاتجاه بارز بشكل خاص في تقييم الأبحاث التفسيرية من قبل المتابعين الوضعين، مما يشير إلى تحيز محتمل يعكس المعتقدات الأكاديمية في العالم الحقيقي. من المثير للاهتمام أن الدرجات لعلوم الحوسبة والشبكات تشير إلى أن منظور نقدي قد يعزز التقييمات ما لم يتم تبني موقف معارض قوي. بالإضافة إلى ذلك، تكشف النتائج الخاصة بالسوسيولوجيا الماركسية والنيوماركسية والنسوية المادية أن الدرجات من paradigms التي تركز على الثقافة لا تضر بالضرورة بالنهج المادي، مما يعني أن ChatGPT قد يتعرف على توافق الحجج الثقافية والمادية على الرغم من اختلاف التركيزات.

المناقشة

في هذا القسم، يناقش المؤلفون المنهجية والنتائج الخاصة بأبحاثهم حول paradigms المتعارضة داخل السوسيولوجيا، باستخدام ChatGPT لتحديد وتقييم أزواج من paradigms. كان هدف عملية الاختيار هو تسليط الضوء على الحالات القصوى من صراع paradigms، كما عرّفها كوهين، حيث يتجاهل أتباع paradigm واحد عمل الآخر على أنه بلا قيمة. تم تحديد ثمانية أزواج من paradigms المعاصرة، بما في ذلك السوسيولوجيا الماركسية/النيوماركسية والسوسيولوجيا البورديوسية/الثقافية، من بين أمور أخرى. يعترف المؤلفون أنه على الرغم من أن هذه paradigms معقولة وتتوافق مع الأدبيات الموجودة، إلا أنها قد لا تمثل أكثر خطوط الصدع المعترف بها في السوسيولوجيا، وأن تقييم paradigms من قبل ChatGPT قد يتأثر بصياغة المطالبات المحددة.

يتناول المؤلفون أيضًا قيود دراستهم، مشيرين إلى أن الاعتماد على نموذج لغة كبير واحد (LLM) قد يؤثر على النتائج وأن الأبحاث المستقبلية يجب أن تستكشف نماذج LLM متعددة عبر مجالات مختلفة. يقدمون أدلة على أن صياغة المطالبات يمكن أن تؤدي إلى تحيز في تقييم ChatGPT للمقالات الأكاديمية، مما يبرز الحاجة إلى اعتبار دقيق عند طلب التقييمات. بالإضافة إلى ذلك، يسلطون الضوء على الأخطاء المحتملة في الاستفسارات المحددة لل paradigms المستخدمة لمطابقة المقالات في قاعدة بيانات Scopus، مما يشير إلى أنه بينما تؤكد بعض الاختلافات في الدرجات صحة الاستفسارات، قد تكون الفعالية العامة محدودة. تؤكد النتائج على تعقيدات تقييم الأعمال الأكاديمية من خلال الأنظمة الآلية وأهمية تصميم المطالبات في التخفيف من التحيز.

Journal: Journal of Data and Information Science
DOI: https://doi.org/10.1515/jdis-2025-0390
Publication Date: 2026-04-27
Author(s): Mike Thelwall et al.
Primary Topic: scientometrics and bibliometrics research

Overview

The research investigates the potential bias of Large Language Models (LLMs), specifically ChatGPT, in evaluating academic publications across competing sociology paradigms. Study 1 involved assessing 1,490 journal articles from eight pairs of paradigms, where ChatGPT was prompted to adopt various roles, including paradigm follower and opponent. Findings indicated that articles received higher scores when evaluated from the perspective of their respective paradigms and lower scores when assessed from opposing paradigms. Although follower ChatGPTs exhibited minimal bias compared to neutral ones, articles evaluated by opposing paradigms faced significant disadvantages.

Study 2 further explored this bias with more narrowly defined paradigms, reinforcing the notion that the wording of prompts can substantially influence evaluation outcomes. The analysis revealed that 66% of randomly selected articles aligned with the correct paradigm, while 23.5% matched the opposing paradigm, indicating potential misclassification issues. The results underscore the necessity for careful design of LLM prompts to maintain paradigm neutrality in research evaluations, as biases could inadvertently devalue contributions from certain paradigms. This study highlights the implications for sociology and the broader academic landscape, particularly as reliance on AI tools for knowledge access increases.

Introduction

The introduction of this research paper discusses the evolving role of citation-based indicators in research evaluation and the emerging capabilities of Large Language Models (LLMs) in assessing research quality. Recent studies indicate that LLMs can evaluate journal articles in a manner that aligns closely with expert judgments, often surpassing traditional citation metrics (Thelwall, 2025; Thelwall & Yang, 2025). This advancement raises concerns regarding potential biases in LLM evaluations, particularly in fields characterized by competing research paradigms. The paper highlights that differing academic paradigms—defined as shared beliefs and methodologies within scholarly communities—can lead to conflicts in how research is perceived and valued (Kuhn, 1962; Chomsky, 2012).

The focus of the study is on the implications of these biases within sociology, a discipline marked by significant theoretical fragmentation and competing paradigms, such as positivism and interpretivism (Korom, 2023). The authors aim to investigate whether LLMs, specifically ChatGPT, exhibit biases that favor certain paradigms over others, potentially marginalizing researchers aligned with less dominant perspectives. The central research question is whether prompts given to ChatGPT can influence its evaluations, effectively turning it into a partisan reviewer amidst these paradigm conflicts. This inquiry is crucial for understanding the reliability and fairness of AI-driven research assessments in a diverse academic landscape.

Methods

In this section, the authors outline their methodological approach for comparing journal article scores from competing sociological paradigms using ChatGPT. The study involves selecting pairs of conflicting paradigms and assessing their articles through both partisan and neutral ChatGPT score estimates, including scores from a competing paradigm ChatGPT. To enhance the understanding of the paradigms by ChatGPT, the authors delegated the selection of paradigms and the formulation of bibliometric queries to the language model itself. While this approach may typically be deemed inappropriate in academic research due to the necessity for authorial justification and expertise, the authors argue that it is suitable for this initial study. This decision aims to align the paradigms with ChatGPT’s internal knowledge, thereby increasing the likelihood of detecting differences in scoring across paradigms. The subsequent study will address the limitations of this approach, with additional details available in the supplementary online files.

Results

The results indicate that ChatGPT assigns higher scores to articles that align with its own paradigm, although the difference compared to neutral evaluations is minimal. Notably, articles associated with antagonistic paradigms receive unexpectedly low scores, which may be attributed to several factors: the presence of competing paradigm articles in the sample, potential misinterpretation of articles by ChatGPT, or an overall cautious scoring approach due to its opposing stance. The data reveal a consistent trend where antagonistic followers yield the lowest average scores across most paradigms, with significant disparities observed in 14 out of 16 cases. Exceptions include Materialist Feminism and Marxist/Neo-Marxist sociology, where the lowest scores were attributed to ChatGPT’s own followers, suggesting possible sample contamination or misinterpretation.

In a secondary analysis, results from Study 2 reinforce the notion that paradigm opposition can negatively impact scoring, with partisan followers often yielding the lowest mean scores. This trend is particularly pronounced in the evaluation of interpretivist research by positivist followers, indicating a potential bias reflective of real-world academic beliefs. Interestingly, the scores for Computational and Network Science suggest that a critical perspective may enhance evaluations unless a strong opposing stance is adopted. Additionally, the findings for Marxist and Neo-Marxist Sociology and Materialist Feminism reveal that scores from culturally focused paradigms do not necessarily disadvantage materialist approaches, implying that ChatGPT may recognize the compatibility of cultural and materialist arguments despite differing emphases.

Discussion

In this section, the authors discuss the methodology and findings of their research on conflicting paradigms within sociology, utilizing ChatGPT to identify and evaluate pairs of paradigms. The selection process aimed to highlight extreme cases of paradigm conflict, as defined by Kuhn, where adherents of one paradigm dismiss the work of another as worthless. Eight pairs of contemporary paradigms were identified, including Marxist/Neo-Marxist Sociology and Bourdieusian/Cultural Sociology, among others. The authors acknowledge that while these paradigms are plausible and align with existing literature, they may not represent the most recognized fault lines in sociology, and the evaluation of paradigms by ChatGPT may be influenced by the specific wording of prompts.

The authors also address the limitations of their study, noting that the reliance on a single large language model (LLM) may affect the results and that future research should explore multiple LLMs across various fields. They provide evidence that the formulation of prompts can induce bias in ChatGPT’s scoring of academic articles, emphasizing the need for careful consideration when requesting evaluations. Additionally, they highlight the potential inaccuracies in the paradigm-specific queries used to match articles in the Scopus database, suggesting that while some differences in scoring validate the queries, the overall effectiveness may be limited. The findings underscore the complexities of evaluating academic work through automated systems and the importance of prompt design in mitigating bias.