DOI: https://doi.org/10.1007/s11192-024-05010-6
تاريخ النشر: 2024-04-23
المؤلف: Jonathan Adams وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تستكشف هذه القسم العلاقة بين متوسط تأثير الاقتباس في بلد ما وسياسات تقييم البحث الوطنية، بالإضافة إلى التعاون الدولي. تشير النتائج إلى عدم وجود توافق بين السياسات الوطنية والتغيرات في مقاييس الأداء. ومع ذلك، تكشف الدراسة عن تغييرات متزامنة كبيرة في أنماط التعاون عبر الدول من 1981 إلى 2020، حيث انتقلت من التعاون الثنائي إلى التعاون المتعدد الأطراف، على الرغم من استراتيجيات البحث الوطنية المتنوعة.
تظهر تحليل مؤشرات الاقتباس أن متوسط تأثير الاقتباس لكل من البحث المحلي والتعاوني يبقى مستقراً نسبياً لمعظم الدول. بدلاً من ذلك، تُعزى الزيادات في تأثير الاقتباس الوطني بشكل أساسي إلى تعزيز التعاون وتشكيل شبكة بحث عالمية. يعزز هذا التعاون تنوع الموضوعات وتقاربها، مما يؤثر في النهاية على مؤشرات الأداء. من الجدير بالذكر أن هذه الاتجاهات تجعل الدول الأكبر تبدو وكأنها تحقق تأثيرات اقتباس أعلى من المتوسط العالمي. يؤكد المؤلفون على ضرورة تحسين تحليل السياسات ضمن إطار عالمي وتطوير مؤشرات أداء مناسبة لتوجيه استراتيجيات البحث بشكل فعال.
مقدمة
في مقدمة هذه الورقة البحثية، يناقش المؤلفون الزيادة الملحوظة في أداء البحث الدولي في المملكة المتحدة، كما يقاس بتأثير الاقتباس العادي حسب الفئة (CNCI)، الذي تجاوز ذلك في الولايات المتحدة ضمن اقتصادات مجموعة السبع. غالباً ما يُعزى هذا الارتفاع إلى سياسات البحث الفعالة، ولا سيما دورة تقييم البحث الدورية (RAE) التي بدأت في عام 1986. كانت RAE تهدف إلى تعزيز تأثير البحث في المملكة المتحدة من خلال تقييم مخرجات الجامعات بشكل منهجي، مما أثر ليس فقط على تخصيص التمويل ولكن أيضاً بدا أنه يتوافق مع انتعاش في تأثير الاقتباس منذ منتصف التسعينيات فصاعداً. ومع ذلك، يقترح المؤلفون تفسيراً بديلاً: قد يتأثر ارتفاع CNCI بشكل كبير بنمو التعاون البحثي الدولي بدلاً من الاعتماد فقط على سياسات التقييم المحلية.
تطرح الورقة فرضية قابلة للاختبار تفيد بأن دورات تقييم البحث الرسمية تؤدي إلى تحسينات في أداء البحث الوطني، مما يشير إلى أن التغيرات في مؤشرات البحث يجب أن تظهر بشكل متزامن داخل الدول بعد إدخال مثل هذه السياسات، بينما تظهر أنماط غير متزامنة عبر دول مختلفة. يبرز المؤلفون التأثير التحويلي للتعاون الدولي، مشيرين إلى تحول من المخرجات البحثية المحلية بشكل أساسي في الثمانينيات إلى مشهد حيث تتضمن أكثر من 70% من منشورات المملكة المتحدة الآن مؤلفين دوليين. يشيرون إلى دراسات سابقة تدعم فكرة شبكة البحث العالمية، التي تطورت بسبب تحسين التواصل والتعاون، ويهدفون إلى استكشاف العلاقة بين تأثير البحث والتعاون من خلال تحليل مقارن عبر دول مختلفة. ستفحص الورقة تزامن تنفيذ السياسات وتغيرات CNCI في دول مختارة قبل توسيع التحليل ليشمل مجموعة أوسع من الدول، في النهاية ساعين لتوضيح الروابط بين تأثير الاقتباس وجهود البحث التعاوني.
النتائج
يقدم قسم “النتائج” في الورقة البحثية النتائج الرئيسية المستمدة من التجارب أو التحليلات التي تم إجراؤها. يوضح نتائج الدراسة، مع تسليط الضوء على نقاط البيانات والاتجاهات المهمة التي لوحظت خلال البحث. عادةً ما يتم توضيح النتائج من خلال أشكال تمثيل مختلفة، مثل الجداول أو الرسوم البيانية أو المخططات، التي تساعد في تصور البيانات ودعم الاستنتاجات المستخلصة.
بالإضافة إلى ذلك، قد يتضمن القسم تحليلات إحصائية تؤكد النتائج، مثل قيم p أو فترات الثقة، لإظهار موثوقية وأهمية النتائج. بشكل عام، يخدم هذا القسم لتقديم نظرة عامة واضحة وشاملة على الأدلة التجريبية التي تم جمعها، مما يمهد الطريق للمناقشات والتفسيرات اللاحقة في الأقسام التالية من الورقة.
المناقشة
في هذه المناقشة، يقيم المؤلفون بشكل نقدي العلاقة بين سياسات تقييم البحث وأداء البحث الوطني، كما يتضح من تأثير الاقتباس العادي حسب الفئة (CNCI). يجدون أن التزامن المتوقع بين إدخال سياسات تقييم البحث وتحسينات في مقاييس الاقتباس الوطنية لا يدعمه البيانات. على وجه التحديد، زادت تأثيرات الاقتباس عبر الدول في نفس الوقت، بغض النظر عن وجود أو توقيت مثل هذه السياسات. على سبيل المثال، بينما نفذت المملكة المتحدة ونيوزيلندا وأستراليا تقييمات بحث دورية، فإن التغيرات في متوسط CNCI لديهم لا تتماشى دائماً مع إدخال هذه السياسات. بدلاً من ذلك، يلاحظ المؤلفون أن الزيادة في CNCI مدفوعة إلى حد كبير بزيادة التعاون الدولي، الذي أصبح عاملاً مهماً في تأثير الاقتباس على مدى العقود الأربعة الماضية.
يكشف التحليل أن متوسط CNCI للأوراق التي كتبها مؤلفون محليون ظل مستقراً نسبياً، بينما أظهر متوسط الأوراق التعاونية دولياً تقلبات طفيفة. وهذا يشير إلى أن التحسينات الظاهرة في CNCI الوطني هي في الأساس نتيجة لتغير أنماط النشر نحو المزيد من العمل التعاوني، بدلاً من الفوائد المباشرة من سياسات تقييم البحث. يجادل المؤلفون بأن الاعتماد البسيط على مقاييس الاقتباس الإجمالية يمكن أن يحجب الديناميكيات الدقيقة لأداء البحث، مما يبرز الحاجة إلى أن يأخذ صانعو السياسات في الاعتبار ملفات تعريف مفصلة لمخرجات البحث بدلاً من الاعتماد فقط على المتوسطات العامة. ويخلصون إلى أن فهم التفاعل بين التعاون المحلي والدولي أمر حاسم لاتخاذ قرارات مستنيرة في سياسة البحث.
DOI: https://doi.org/10.1007/s11192-024-05010-6
Publication Date: 2024-04-23
Author(s): Jonathan Adams et al.
Primary Topic: scientometrics and bibliometrics research
Overview
This section investigates the relationship between a country’s average citation impact and its national research assessment policies, as well as international collaboration. The findings indicate a lack of alignment between national policies and changes in performance metrics. However, the study reveals significant synchronous changes in collaboration patterns across nations from 1981 to 2020, transitioning from bilateral to multilateral collaborations, despite the varied national research strategies.
The analysis of citation indicators shows that the average citation impact for both domestic and collaborative research remains relatively stable for most countries. Instead, increases in national citation impact are primarily attributed to enhanced collaboration and the formation of a global research network. This collaboration fosters greater subject diversity and convergence, ultimately influencing performance indicators. Notably, this trend results in larger nations appearing to achieve higher average citation impacts than the global average. The authors emphasize the necessity for improved policy analysis within a global framework and the development of appropriate performance indicators to guide research strategies effectively.
Introduction
In the introduction of this research paper, the authors discuss the notable rise in the U.K.’s international research performance, as measured by the Category Normalized Citation Impact (CNCI), which has surpassed that of the U.S. within the G7 economies. This increase has often been attributed to effective research policies, particularly the cyclical Research Assessment Exercise (RAE) initiated in 1986. The RAE aimed to enhance the impact of U.K. research by systematically evaluating university outputs, which not only influenced funding allocations but also appeared to correlate with a resurgence in citation impact from the mid-1990s onward. However, the authors propose an alternative explanation: the rise in CNCI may be significantly influenced by the growth of international research collaboration rather than solely by domestic assessment policies.
The paper posits a testable hypothesis that formal research assessment cycles lead to improvements in national research performance, suggesting that changes in research indicators should manifest synchronously within countries following the introduction of such policies, while showing asynchronous patterns across different nations. The authors highlight the transformative impact of international collaboration, noting a shift from predominantly domestic research outputs in the 1980s to a landscape where over 70% of U.K. publications now involve international co-authors. They reference previous studies that support the notion of a global research network, which has evolved due to enhanced communication and collaboration, and they aim to explore the relationship between research impact and collaboration through comparative analysis across various countries. The paper will examine the synchrony of policy implementation and CNCI changes in selected countries before expanding the analysis to a broader set of nations, ultimately seeking to elucidate the connections between citation impact and collaborative research efforts.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments or analyses. It details the outcomes of the study, highlighting significant data points and trends observed during the research. The results are typically illustrated through various forms of representation, such as tables, graphs, or charts, which aid in visualizing the data and supporting the conclusions drawn.
Additionally, the section may include statistical analyses that validate the findings, such as p-values or confidence intervals, to demonstrate the reliability and significance of the results. Overall, this section serves to provide a clear and comprehensive overview of the empirical evidence gathered, setting the stage for subsequent discussions and interpretations in the following sections of the paper.
Discussion
In this discussion, the authors critically evaluate the relationship between research assessment policies and national research performance, as indicated by the Category Normalized Citation Impact (CNCI). They find that the anticipated synchrony between the introduction of research assessment policies and improvements in national citation metrics is not supported by the data. Specifically, citation impacts have increased across countries simultaneously, regardless of the presence or timing of such policies. For instance, while the U.K., New Zealand, and Australia have implemented cyclical research assessments, the changes in their average CNCI do not consistently align with these policy introductions. Instead, the authors observe that the rise in CNCI is largely driven by an increase in international collaboration, which has become a significant factor in citation impact over the past four decades.
The analysis reveals that the average CNCI for domestically authored papers has remained relatively stable, while the average for internationally collaborative papers has shown slight fluctuations. This suggests that the apparent improvements in national CNCI are primarily a result of shifting publication patterns towards more collaborative work, rather than direct benefits from research assessment policies. The authors argue that a simplistic reliance on aggregate citation metrics can obscure the nuanced dynamics of research performance, highlighting the need for policymakers to consider detailed profiles of research outputs rather than relying solely on headline averages. They conclude that understanding the interplay between domestic and international collaboration is crucial for informed decision-making in research policy.