DOI: https://doi.org/10.1108/jd-11-2025-0330
تاريخ النشر: 2026-01-20
المؤلف: Mike Thelwall
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
تبحث الدراسة في قدرة نماذج اللغة الكبيرة (LLMs)، وبشكل خاص ChatGPT 4o-mini وChatGPT 4.1، على استرجاع معلومات أساسية حول مقالات المجلات الأكاديمية. طرحت الدراسة أربعة أسئلة تتعلق بـ 64,055 مقالة من عام 2021، مع التركيز على جوانب مثل انتماء المؤلف الأول، والمجلة الناشرة، وسنة النشر. كشفت النتائج عن نقص كبير في الدقة، حيث حقق ChatGPT 4o-mini دقة تبلغ 42% فقط لمجلة *Physical Review B*، وحتى ChatGPT 4.1 حددت غالبية المجلات للأوراق الأكثر استشهادًا بشكل هامشي فقط.
تشير تداعيات هذه النتائج إلى أن نماذج اللغة الصغيرة قد لا تقيم المقالات بفعالية دون عمليات بحث عبر الإنترنت، حيث تميل إلى استناد ردودها فقط على نصوص المقالات بدلاً من الاستفادة من معلومات الاستشهاد الخارجية. يبرز هذا القيد القوة المحتملة للتقييمات المعتمدة على LLMs ضد محاولات التلاعب في تقييماتها من خلال الآراء عبر الإنترنت، حيث تكافح النماذج لربط الانتقادات بمقالات معينة. علاوة على ذلك، تسلط الدراسة الضوء على قضية أوسع تتعلق بحدود استرجاع الحقائق من LLMs، مما يشير إلى أنها قد لا تتعرف على مقالات المجلات ككيانات متميزة، مما قد يؤدي إلى معرفة غير متصلة وعدم القدرة على ربط المعلومات الحرجة، مثل إشعارات السحب، بالمقالات المعنية.
مقدمة
تناقش مقدمة الورقة التطبيق المتزايد لنماذج اللغة الكبيرة (LLMs) في علم المعلومات، وخاصة دورها في تقييم جودة البحث ودعم مهام بيبليومترية متنوعة. من الجدير بالذكر أن LLMs مثل ChatGPT أظهرت قدرة على تقييم المقالات بما يتماشى مع تقييمات الخبراء، مما قد يحل محل المقاييس التقليدية المعتمدة على الاستشهادات. ومع ذلك، يبقى سؤال حاسم حول ما إذا كانت تقييمات LLM تعتمد على محتوى المقالات نفسها أو تتأثر بمصادر خارجية، مثل الآراء عبر الإنترنت. هذه التفرقة مهمة، حيث تثير مخاوف بشأن إمكانية تلاعب المؤلفين بنتائج LLM من خلال التأييدات الخارجية.
تسلط الورقة أيضًا الضوء على القابلية للتفسير الميكانيكي لـ LLMs، التي تستخدم شبكات احتمالية متعددة الطبقات لتوليد ردود بناءً على احتمالات اللغة بدلاً من الاحتفاظ بمعلومات واقعية. يثير هذا تساؤلات حول قدرتها على التعرف على المقالات الفردية وتقييمها بدقة. يهدف المؤلفون إلى التحقيق في مدى قدرة LLMs، وخاصة ChatGPT 4o-mini، على استرجاع حقائق أساسية حول مقالات المجلات، مثل تفاصيل النشر، وما إذا كانت هذه القدرة تتأثر بعدد الاستشهادات للمقالات. تستند الدراسة إلى ثلاثة أسئلة بحثية تركز على قدرات استرجاع الحقائق لـ LLMs وتنوعها عبر نماذج مختلفة.
الطرق
استخدمت الدراسة تصميمًا منهجيًا لتقييم دقة نماذج اللغة الكبيرة (LLMs) في استرجاع معلومات أساسية حول مقالات المجلات، مقارنة ردودها بمعدلات الاستشهاد. تم بناء عشرة مجموعات بيانات، بما في ذلك مجموعتين رئيسيتين من المقالات ذات الاستشهادات العالية وغير المستشهد بها، مدعومةً بثماني مجموعات بيانات لمجلة واحدة للتحكم في التباينات في تأثيرات المجلة والمجال. تتكون مجموعة المقالات ذات الاستشهادات العالية من أعلى 1000 مقالة مرتبة حسب عدد الاستشهادات، بينما تتكون مجموعة المقالات غير المستشهد بها من 1000 مقالة بدون استشهادات. كانت المجلات المختارة من بين الأكثر إنتاجية في عام 2021، مما يضمن تمثيلًا متنوعًا وزيادة احتمالية أن تكون LLMs مألوفة بمحتواها.
لاستخراج المعلومات، تم تطوير مطالبة منظمة، توجيه LLMs لـ “تخمين” بدلاً من “الإبلاغ” عن تفاصيل مثل اسم المجلة، وسنة النشر، وانتماء المؤلف الأول، وعدد الاستشهادات. تم تحسين هذا النهج من خلال الاختبار التجريبي، مما أدى إلى تحسين معدلات الاستجابة. تمت معالجة المقالات باستخدام ChatGPT 4o-mini وتمت مقارنتها مع ردود من LLMs أخرى، بما في ذلك أحدث إصدار من ChatGPT وخمسة نماذج مفتوحة الوزن بارزة. ركز التحليل على المجموعات البيانات الرئيسية لتحديد الفروق العامة في الأداء عبر النماذج، حيث تم تقديم جميع المطالبات بين أواخر أكتوبر وأوائل نوفمبر 2025.
النتائج
في تحليل عشر مجموعات بيانات، أظهر ChatGPT 4o-mini معدلًا عاليًا من الأخطاء، كما هو مفصل في الجدول 1. من الجدير بالذكر أن النموذج أظهر أداءً محسنًا عند تقييم المقالات ذات الاستشهادات العالية، حيث حقق تقريبًا ضعف الدقة في توقع سنة النشر وانتماء المؤلف مقارنة بالمقالات غير المستشهد بها. لوحظت أكبر تحسينات في الدقة المعتمدة على الاستشهادات لأسماء المجلات، التي زادت من 2.7% للمقالات غير المستشهد بها إلى 32.6% للمقالات ذات الاستشهادات العالية. من المحتمل أن يُعزى هذا التحسن إلى الطبيعة التكرارية لأسماء المجلات في المراجع المستشهد بها، على عكس المعلومات الأقل اتساقًا بشأن سنة النشر وانتماءات المؤلفين.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على قيود ChatGPT ونماذج اللغة الكبيرة الأخرى (LLMs) في تحديد المعلومات الأساسية بدقة حول مقالات المجلات الأكاديمية. وجدت الدراسة أنه بينما أظهرت LLMs، وخاصة ChatGPT 4o-mini وChatGPT 4.1، بعض القدرة على التعرف على المقالات ذات الاستشهادات العالية، كانت دقتها العامة في مطابقة أسماء المجلات وسنوات النشر وانتماءات المؤلفين منخفضة. على سبيل المثال، حقق ChatGPT 4o-mini دقة تبلغ 32.6% فقط في التعرف على المجلات للأوراق الأكثر استشهادًا، مع ارتباط ضعيف قدره 0.211 بين توقعاته للاستشهادات وعدد الاستشهادات الفعلي من Scopus. تشير النتائج إلى أن LLMs تميل إلى الأداء بشكل أفضل مع المعلومات التي يتم مواجهتها بشكل متكرر، لكنها تكافح بشكل كبير مع الاستفسارات الأقل شيوعًا أو الأكثر تعقيدًا، مثل استرجاع عناوين المقالات الطويلة.
علاوة على ذلك، تشير النتائج إلى أن عملية المطابقة لانتماءات المؤلفين تقريبية بطبيعتها بسبب التباين في كيفية تقديم الانتماءات في قواعد البيانات مثل Scopus. تثير الدراسة أيضًا مخاوف بشأن إمكانية تأثير سياسات مشاركة البيانات بين LLMs والناشرين على الدقة، خاصةً بالنسبة للمقالات الحديثة. من المهم أن تشير النتائج إلى أن LLMs لا تتعرف بشكل فعال على مقالات المجلات ككيانات متميزة، مما قد يسهم في عدم دقتها. يبرز هذا القيد الحاجة إلى طرق تحقق إضافية، مثل عمليات البحث عبر الإنترنت، لتعزيز موثوقية مخرجات LLM في السياقات الأكاديمية. بشكل عام، تؤكد الدراسة على التحديات التي تواجهها LLMs في تقديم معلومات أكاديمية دقيقة، مما يبرز ضرورة الحذر عند الاعتماد على مخرجاتها لأغراض أكاديمية.
DOI: https://doi.org/10.1108/jd-11-2025-0330
Publication Date: 2026-01-20
Author(s): Mike Thelwall
Primary Topic: Topic Modeling
Overview
The research investigates the ability of Large Language Models (LLMs), specifically ChatGPT 4o-mini and ChatGPT 4.1, to recall basic information about academic journal articles. The study posed four questions regarding 64,055 articles from 2021, focusing on aspects such as the first author’s affiliation, the publishing journal, and the publication year. The findings revealed a significant lack of accuracy, with ChatGPT 4o-mini achieving only 42% correctness for the journal *Physical Review B*, and even ChatGPT 4.1 identifying a majority of journals for top-cited papers only marginally.
The implications of these results suggest that smaller LLMs may not effectively evaluate articles without web searches, as they tend to base their responses solely on the text of the articles rather than leveraging external citation information. This limitation highlights the potential robustness of LLM-based evaluations against attempts to manipulate their assessments through online opinions, as the models struggle to connect critiques with specific articles. Furthermore, the study underscores a broader issue regarding the factual recall limitations of LLMs, indicating that they may not recognize journal articles as distinct entities, which could lead to disjointed knowledge and an inability to associate critical information, such as retraction notices, with the respective articles.
Introduction
The introduction of the paper discusses the growing application of Large Language Models (LLMs) in information science, particularly their role in evaluating research quality and supporting various bibliometric tasks. Notably, LLMs like ChatGPT have demonstrated a capacity to score articles in alignment with expert evaluations, potentially replacing traditional citation-based metrics. However, a critical question remains regarding whether LLM evaluations are based on the content of the articles themselves or influenced by external sources, such as online opinions. This distinction is crucial, as it raises concerns about the potential for authors to manipulate LLM scores through external endorsements.
The paper also highlights the mechanistic interpretability of LLMs, which utilize multilayered probabilistic networks to generate responses based on language probabilities rather than retaining factual information. This raises questions about their ability to recognize and evaluate individual articles accurately. The authors aim to investigate the extent to which LLMs, particularly ChatGPT 4o-mini, can recall basic facts about journal articles, such as publication details, and whether this ability is influenced by the articles’ citation counts. The study is driven by three research questions focused on the factual recall capabilities of LLMs and their variability across different models.
Methods
The research employed a systematic design to evaluate the accuracy of large language models (LLMs) in retrieving basic information about journal articles, comparing their responses to citation rates. A total of ten datasets were constructed, including two primary datasets of highly cited and uncited articles, supplemented by eight single-journal datasets to control for variations in journal and field influences. The highly cited set consisted of the top 1000 articles sorted by citation count, while the uncited set comprised 1000 articles with zero citations. The journals selected were among the most prolific in 2021, ensuring a diverse representation and increasing the likelihood that LLMs would be familiar with their content.
To extract information, a structured prompt was developed, instructing LLMs to “guess” rather than “report” details such as the journal name, publication year, first author’s affiliation, and citation count. This approach was refined through pilot testing, leading to improved response rates. The articles were processed using ChatGPT 4o-mini and compared against responses from other LLMs, including the latest version of ChatGPT and five notable open-weight models. The analysis focused on the primary datasets to identify broad differences in performance across the models, with all prompts submitted between late October and early November 2025.
Results
In the analysis of ten datasets, ChatGPT 4o-mini exhibited a high rate of inaccuracies, as detailed in Table 1. Notably, the model demonstrated improved performance when assessing highly cited articles, achieving nearly double the accuracy in predicting publication year and author affiliation compared to uncited articles. The most significant enhancement in citation-based accuracy was observed for journal names, which increased from 2.7% for uncited articles to 32.6% for highly cited ones. This improvement is likely attributed to the repetitive nature of journal names in citing references, contrasting with the less consistent information regarding publication year and author affiliations.
Discussion
The discussion section of the research paper highlights the limitations of ChatGPT and other large language models (LLMs) in accurately identifying basic information about academic journal articles. The study found that while LLMs, particularly ChatGPT 4o-mini and ChatGPT 4.1, demonstrated some ability to recognize highly cited articles, their overall accuracy in matching journal names, publication years, and first author affiliations was low. For instance, ChatGPT 4o-mini achieved only 32.6% accuracy in journal recognition for highly cited papers, with a weak correlation of 0.211 between its citation predictions and actual citation counts from Scopus. The findings suggest that LLMs tend to perform better with frequently encountered information, yet they struggle significantly with less common or more complex queries, such as recalling long article titles.
Moreover, the results indicate that the matching process for author affiliations is inherently approximate due to the variability in how affiliations are presented in databases like Scopus. The study also raises concerns about the potential for data sharing policies between LLMs and publishers to influence accuracy, particularly for recent articles. Importantly, the findings suggest that LLMs do not effectively recognize journal articles as distinct entities, which may contribute to their inaccuracies. This limitation underscores the need for additional verification methods, such as web searches, to enhance the reliability of LLM outputs in academic contexts. Overall, the research emphasizes the challenges LLMs face in providing accurate academic information, highlighting the necessity for caution when relying on their outputs for scholarly purposes.