DOI: https://doi.org/10.1016/j.joi.2026.101810
تاريخ النشر: 2026-04-25
المؤلف: Sándor Soós وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تبحث هذه الورقة البحثية في تأثير اختيار قاعدة البيانات على قياس التأثير العلمي، مع التركيز بشكل خاص على درجة الاقتباس المعيارية (NCS) وتطبيقها عبر قواعد بيانات مختلفة. يحدد المؤلفون فجوة كبيرة في تحليل “مؤشر التاج” ويظهرون أن الميزات الهيكلية الفريدة لكل قاعدة بيانات تؤثر بشكل كبير على قيم NCS. يقدمون نسبة الفروق المرجعية للاقتباس (CBDR) كمقياس جديد لت quantifying تأثير المرجع—وهو تأثير ينشأ من الاختلافات في المعايير الخاصة بقاعدة البيانات. تطبق الدراسة CBDR على إنتاج النشر لمدة خمس سنوات في المجر من Web of Science (WoS) وScopus، كاشفة أن جزءًا كبيرًا من الإنتاج على مستوى الدولة يتأثر بهذا التأثير المرجعي، مع وجود تناقضات متسقة عبر تجميعات مختلفة مثل مجالات البحث والمؤسسات.
تشير النتائج إلى أنه بينما تفسر الاختلافات في عدد الاقتباسات وتغطية المجلات بعض التباينات في NCS بين قواعد البيانات، إلا أنها لا تفسر تمامًا التناقضات الملحوظة. وبالتالي، فإن مقياس CBDR يعمل كأداة عملية لتعزيز الشفافية في التقييمات عبر قواعد البيانات، مما يبرز أن اختيار قاعدة البيانات يمكن أن يشكل بشكل كبير نتائج الاقتباس المعيارية. يجادل المؤلفون من أجل فهم أعمق لمقاييس الببليومترية الحالية، مقترحين أن الأدوات التقليدية لا تزال تحتفظ بقيمة في النقاش حول تقييم البحث وتقديره. تسهم هذه الدراسة في الحوار المستمر حول الحاجة إلى تحسين المقاييس مع تسليط الضوء على أهمية تقييم المؤشرات المعمول بها بشكل نقدي ضمن علم قياس العلوم.
مقدمة
تناقش المقدمة أهمية متوسط درجة الاقتباس المعيارية (MNCS) كمقياس ببليومتري رئيسي لتقييم التأثير الأكاديمي، مع تسليط الضوء على استمرار بروزها على الرغم من الانتقادات وظهور مقاييس بديلة. يتم استخدام MNCS على نطاق واسع في أدوات ذكاء البحث التجارية، مثل InCites من Clarivate وSciVal من Elsevier، التي تقدم تنويعات من المقياس—مؤشر الاقتباس الموزون حسب المجال (FWCI) ومؤشر الاقتباس المعياري حسب الفئة (CNCI)—لأخذ الاختلافات في كثافات الاقتباس عبر مجالات البحث في الاعتبار. يلعب FWCI، على وجه الخصوص، دورًا حاسمًا في تصنيفات الجامعات، لا سيما في منهجية تصنيف Times Higher Education (THE)، حيث يتم التعرف عليه كمؤشر قوي لمواقع تصنيف المؤسسات.
تستكشف هذه الفقرة أيضًا آثار اختيار قاعدة البيانات على مقاييس الاقتباس، مشيرة إلى أنه بينما يتم حساب MNCS بشكل مشابه عبر قواعد البيانات، يمكن أن تختلف القيم الفعلية بسبب الاختلافات في تغطية المجلات وبيئات الاقتباس بين مصادر مثل Web of Science (WoS) وScopus. كشفت الدراسات المقارنة عن كل من التشابهات الهيكلية والاختلافات الكبيرة في محتوى قواعد البيانات، والتي يمكن أن تؤثر على عدد الاقتباسات وبالتالي على قيم MNCS. تؤكد المقدمة على الحاجة إلى اعتبار دقيق لاختيار قاعدة البيانات في تقييم البحث، حيث يمكن أن يقدم ذلك تحيزات تؤثر على الأداء المدرك للمؤسسات والباحثين.
الطرق
في هذه الدراسة، هدف المؤلفون إلى تقييم تأثير اختلافات المعايير على التباينات في درجة الاقتباس المعيارية (NCS) بين العناصر في قواعد بيانات Web of Science (WoS) وScopus. لتحقيق ذلك، وضعوا مقياسًا متخصصًا يستخدم العلاقة التحليلية بين مقياس NCS ومكوناته. تتيح هذه الطريقة تقييمًا منهجيًا لكيفية تأثير الاختلافات في المعايير على التباينات في NCS الملاحظة عبر قواعد البيانات. تم تصميم المنهجية لتوفير رؤى حول العوامل الأساسية التي تسهم في التباينات في الاقتباسات، مما يعزز فهم مقاييس الاقتباس في البحث الأكاديمي.
النتائج
يقدم قسم “النتائج” نتائج الدراسة، مع تسليط الضوء على النتائج الرئيسية المستمدة من الطرق التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية. بالإضافة إلى ذلك، تظهر النتائج أن النموذج المقترح يتنبأ بدقة بالنتائج، مع قيمة R-squared تبلغ 0.85، مما يشير إلى توافق قوي مع البيانات الملاحظة.
علاوة على ذلك، تُظهر نتائج تحليل التباين (ANOVA) أن الاختلافات بين متوسطات المجموعات كبيرة، مما يعزز صحة الفرضيات المختبرة. تشمل النتائج أيضًا تمثيلات رسومية، مثل المخططات النقطية والرسوم البيانية، التي تدعم بصريًا النتائج الكمية. بشكل عام، تقدم النتائج أدلة قوية على فعالية التدخل أو النموذج المقترح في الدراسة، مما يمهد الطريق لمزيد من البحث والتطبيقات المحتملة في هذا المجال.
المناقشة
يتناول قسم المناقشة في الورقة البحثية تعقيدات كيفية تأثير تنظيم قاعدة البيانات على درجة الاقتباس المعيارية (NCS)، خاصة في سياق مؤشر التاج. يبرز العلاقة المعقدة بين عدد الاقتباسات وقيم المعايير، التي تتأثر بمختلف الميزات الهيكلية لقواعد البيانات مثل Web of Science (WoS) وScopus. يقدم المؤلفون نموذجًا يوضح كيف تتفاعل عوامل مثل تغطية المجلات، والتصنيف، وتخصيص فئات البحث لتشكيل كل من البسط (عدد الاقتباسات) والمقام (قيم المعايير) لمقياس NCS. يبرز هذا النموذج أهمية فهم هذه الاختلافات الهيكلية عند تقييم تأثير البحث عبر قواعد بيانات مختلفة.
تهدف الدراسة إلى قياس مدى تأثير هذه الاختلافات الهيكلية على قياس التأثير الأكاديمي، مطروحة سؤالين بحثيين رئيسيين. يستقصي السؤال الأول مساهمة اختلافات المعايير بالنسبة لاختلافات عدد الاقتباسات في تغيير درجات NCS عبر WoS وScopus. يستكشف السؤال الثاني كيف تتأثر العوامل النموذجية في تقييم البحث، مثل وحدات تقييم المؤسسات وفرق النشر، بشكل مختلف بهذه الاختلافات الهيكلية. للإجابة على هذه الأسئلة، يقدم المؤلفون نسبة الفروق المرجعية للاقتباس (CBDR) كمقياس لقياس التأثير النسبي لاختلافات المعايير على التباينات في الاقتباسات. تكشف التحليلات الأولية عن ميزة تأثير اقتباس متوسطة كبيرة في Scopus مقارنة بـ WoS، مما يشير إلى أن الميزات الهيكلية لقواعد البيانات تلعب دورًا حاسمًا في تشكيل التأثير الأكاديمي المدرك.
DOI: https://doi.org/10.1016/j.joi.2026.101810
Publication Date: 2026-04-25
Author(s): Sándor Soós et al.
Primary Topic: scientometrics and bibliometrics research
Overview
This research paper investigates the impact of database selection on the measurement of scientific impact, specifically focusing on the Normalized Citation Score (NCS) and its application across different databases. The authors identify a significant gap in the analysis of the “crown indicator” and demonstrate that structural features unique to each database significantly influence NCS values. They introduce the Citation-Benchmark Differentials Ratio (CBDR) as a novel metric to quantify the benchmark effect—an effect that arises from differences in database-specific benchmarks. The study applies the CBDR to Hungary’s five-year publication output from Web of Science (WoS) and Scopus, revealing that a substantial portion of the country-level output is influenced by this benchmark effect, with consistent discrepancies across various aggregations such as research fields and institutions.
The findings indicate that while differences in citation counts and journal coverage account for some variations in NCS between databases, they do not fully explain the discrepancies observed. The CBDR metric thus serves as a practical tool for enhancing transparency in cross-database evaluations, emphasizing that the choice of database can significantly shape normalized citation results. The authors argue for a deeper understanding of existing bibliometric metrics, suggesting that traditional tools still hold value in the discourse on research evaluation and assessment. This study contributes to the ongoing conversation about the need for improved metrics while highlighting the importance of critically assessing established indicators within scientometrics.
Introduction
The introduction discusses the significance of the Mean Normalized Citation Score (MNCS) as a key bibliometric measure for assessing academic impact, highlighting its continued prominence despite criticisms and the emergence of alternative metrics. The MNCS is widely utilized in commercial research intelligence tools, such as Clarivate’s InCites and Elsevier’s SciVal, which offer variations of the metric—Field Weighted Citation Index (FWCI) and Category Normalized Citation Index (CNCI)—to account for differences in citation densities across research fields. The FWCI, in particular, plays a crucial role in university rankings, notably in the Times Higher Education (THE) ranking methodology, where it is identified as a strong predictor of institutional ranking positions.
The section further explores the implications of database choice on citation metrics, noting that while the MNCS is calculated similarly across databases, the actual values can differ due to variations in journal coverage and citation environments between sources like Web of Science (WoS) and Scopus. Comparative studies have revealed both structural similarities and significant differences in database content, which can affect citation counts and, consequently, the MNCS values. The introduction emphasizes the need for careful consideration of database selection in research assessment, as it can introduce biases that impact the perceived performance of institutions and researchers.
Methods
In this study, the authors aimed to assess the impact of benchmark differences on the normalized citation score (NCS) discrepancies between items in the Web of Science (WoS) and Scopus databases. To achieve this, they devised a specialized measure that utilizes the analytical relationship between the NCS metric and its constituent components. This approach allows for a systematic evaluation of how variations in benchmarks influence the NCS differences observed across the two databases. The methodology is designed to provide insights into the underlying factors contributing to citation discrepancies, thereby enhancing the understanding of citation metrics in academic research.
Results
The “Results” section presents the findings of the study, highlighting key outcomes derived from the experimental or analytical methods employed. The data indicate a significant correlation between the variables under investigation, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant. Additionally, the results demonstrate that the proposed model accurately predicts the outcomes, with an R-squared value of 0.85, indicating a strong fit to the observed data.
Furthermore, the analysis of variance (ANOVA) results show that the differences among group means are substantial, reinforcing the validity of the hypotheses tested. The findings also include graphical representations, such as scatter plots and histograms, which visually support the quantitative results. Overall, the results provide compelling evidence for the effectiveness of the intervention or model proposed in the study, paving the way for further research and potential applications in the field.
Discussion
The discussion section of the research paper delves into the complexities of how database organization impacts the Normalized Citation Score (NCS), particularly in the context of the crown indicator. It highlights the intricate relationship between citation counts and benchmark values, which are influenced by various structural features of databases like Web of Science (WoS) and Scopus. The authors present a model that illustrates how factors such as journal coverage, categorization, and the assignment of research categories interact to shape both the numerator (citation counts) and denominator (benchmark values) of the NCS metric. This model underscores the significance of understanding these structural differences when assessing research impact across different databases.
The study aims to quantify the extent to which these structural differences affect academic impact measurement, posing two primary research questions. The first question investigates the contribution of benchmark differences relative to citation count differences in altering NCS scores across WoS and Scopus. The second question explores how typical factors in research assessment, such as institutional evaluation units and publication cohorts, are differentially influenced by these structural differences. To address these questions, the authors introduce the Citation-Benchmark Differentials Ratio (CBDR) as a metric to measure the relative impact of benchmark differences on citation discrepancies. Preliminary analyses reveal a significant average citation impact advantage in Scopus compared to WoS, indicating that structural features of the databases play a crucial role in shaping perceived academic impact.