DOI: https://doi.org/10.1016/j.respol.2024.105093
تاريخ النشر: 2024-08-30
المؤلف: Anna Morgan-Thomas وآخرون
الموضوع الرئيسي: التقييم وتقييم الأداء
نظرة عامة
يتناول هذا القسم تأثير ممارسات التقييم المسؤولة على تقييم البحث، لا سيما في سياق تمرين جودة البحث الوطني في المملكة المتحدة لعام 2021 ضمن تخصص الأعمال والإدارة. على الرغم من الالتزامات المؤسسية تجاه التقييم المسؤول، بما في ذلك الالتزام بإعلان تقييم البحث (DORA)، تكشف الدراسة أن العلاقة بين تصنيفات المجلات وتقييمات الخبراء تظل قوية وغير متغيرة. هذه العلاقة هي الأقوى بشكل ملحوظ بالنسبة للمجلات الأكثر شهرة.
تشير النتائج إلى أنه بينما يوجد التزام معلن بالتقييم المسؤول، فإن النتائج الفعلية لتقييمات البحث لا تزال تتأثر بشدة بالمقاييس التقليدية. يثير هذا أسئلة مهمة حول فعالية المبادرات الحالية التي تهدف إلى تعزيز حكم الخبراء بدلاً من الاعتماد على المقاييس الكمية، مما يشير إلى قيود محتملة في تنفيذ ممارسات التقييم المسؤول.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الدور الحاسم للنشر في المجلات الأكاديمية التي تخضع لمراجعة الأقران كمؤشر رئيسي للقيمة الأكاديمية لكل من الأفراد والمؤسسات. تشير إلى أن سجلات النشر تؤثر بشكل كبير على جوانب مختلفة من المسيرات الأكاديمية، بما في ذلك الوصول إلى الوظائف، والترقيات، وفرص التمويل. أصبح الاعتماد على المؤشرات المترية، مثل عدد الاقتباسات وعوامل تأثير المجلات، شائعًا في تقييم جودة البحث، ومع ذلك، واجهت هذه الاتجاهات انتقادات كبيرة من المجتمع الأكاديمي. تدعو حركة التقييم المسؤول إلى تقييمات الخبراء بدلاً من المقاييس، مما يبرز الحاجة إلى مجموعة أوسع من الأدلة في تقييم الإنتاجية الأكاديمية.
تهدف الورقة إلى التحقيق في العلاقة بين حكم الخبراء وتصنيفات المجلات في سياق إطار التميز البحثي في المملكة المتحدة (REF)، مع التركيز بشكل خاص على تخصص الأعمال والإدارة. تسعى لفهم كيف يؤثر الدعم المعلن للمؤسسات لمبادئ التقييم المسؤول، مثل تلك الموضحة في إعلان سان فرانسيسكو حول تقييم البحث (DORA)، على العلاقة بين درجات الخبراء وتصنيفات المجلات. تستخدم الدراسة طريقتين تحليليتين – خوارزمية تنبؤية وتحليل انحدار – لاستكشاف هذه الديناميات، مما يساهم في النقاش المستمر حول ممارسات تقييم البحث البديلة وآثارها على التقييمات المستقبلية.
نقاش
يتناول قسم النقاش في الورقة التعقيدات المحيطة بتقييم جودة البحث، مع التركيز بشكل خاص على مخرجات المجلات. يبرز القلق المتزايد بين مختلف أصحاب المصلحة بشأن كيفية تعريف وقياس التميز البحثي، مشيرًا إلى أنه بينما تكون المقاييس مثل عدد الاقتباسات وعوامل تأثير المجلات شائعة، فإنها غالبًا ما تفشل في التقاط الأبعاد الدقيقة لجودة البحث. تنتقد الورقة الاعتماد على هذه المؤشرات الكمية، التي يمكن أن تؤدي إلى عواقب غير مقصودة مثل انحراف الأهداف وتآكل نزاهة البحث. تؤكد على أهمية دمج تقييمات الخبراء النوعية جنبًا إلى جنب مع المقاييس لتحقيق تقييم أكثر عدلاً لمخرجات البحث.
تستكشف الورقة أيضًا آثار مبادئ DORA، التي تدعو إلى ممارسات التقييم المسؤول التي تعطي الأولوية لحكم الخبراء على المقاييس المجمعة. تقدم أدلة من إطار التميز البحثي في المملكة المتحدة (REF) للتحقيق في العلاقة بين درجات الخبراء وتصنيفات المجلات، لا سيما في سياق الموقعين وغير الموقعين على DORA. تشير النتائج إلى أنه بينما توجد بعض العلاقة بين تقييمات الخبراء وسمعة المجلات، قد تختلف العلاقة بشكل كبير اعتمادًا على السياق والمقاييس المحددة المستخدمة. يجادل المؤلفون من أجل فهم أكثر دقة لكيفية تفاعل المقاييس وحكم الخبراء، داعين إلى مزيد من البحث لتوضيح هذه الديناميات وتحسين عملية التقييم في الأوساط الأكاديمية.
القيود
تسلط قيود هذه الدراسة الضوء على عدة مجالات للبحث المستقبلي. أولاً، يحد نقص درجات مراجعة الخبراء المتاحة من إطار التميز البحثي (REF) للمخرجات الفردية من التحليل، على الرغم من التوافق الوثيق بين النتائج المتوقعة والملاحظة. يمكن أن تستفيد التحقيقات المستقبلية من دمج بيانات REF الفعلية، إذا أصبحت متاحة، لاستكشاف العلاقة بين درجات الخبراء وتصنيفات المجلات. بالإضافة إلى ذلك، قد يقوم الباحثون بتمديد المنهجية المستخدمة في هذه الدراسة إلى تخصصات ومقاييس أخرى، مثل عامل تأثير المجلة (JIF)، لتوسيع قابلية تطبيق النتائج.
ثانيًا، يثير اعتماد الدراسة على مؤشرات بديلة لالتزام مؤسسات التعليم العالي (HEI) بإعلان تقييم البحث (DORA) مخاوف بشأن التنفيذ الفعلي لمبادئ DORA. إن مجرد الإشارة إلى اعتماد DORA من قبل المؤسسات لا يضمن ممارسة فعالة، وهناك حاجة إلى بيانات أكثر قوة حول تنفيذ هذه السياسات. يمكن أن تبحث الأبحاث المستقبلية في الحواجز والميسرات للامتثال لـ DORA وإجراء دراسات مقارنة بين الموقعين وغير الموقعين على DORA لتقييم آثار الالتزام على أداء المؤسسات.
أخيرًا، يحد غياب التحليل النوعي في هذه الدراسة من عمق الفهم بشأن العوامل المؤثرة على درجات REF. يجب أن تدمج الأبحاث المستقبلية المنهجيات النوعية لإثراء النتائج، لا سيما فيما يتعلق باستخدام المقاييس المتنوعة في بيانات بيئة البحث REF2021. يمكن أن يوفر هذا منظورًا أكثر دقة حول ديناميات تقييمات البحث والنتائج، مما يكمل التركيز الكمي للدراسة الحالية.
DOI: https://doi.org/10.1016/j.respol.2024.105093
Publication Date: 2024-08-30
Author(s): Anna Morgan-Thomas et al.
Primary Topic: Evaluation and Performance Assessment
Overview
The section discusses the impact of responsible assessment practices on research evaluation, particularly in the context of the UK’s 2021 national research quality exercise within the business and management discipline. Despite institutional commitments to responsible assessment, including adherence to the Declaration on Research Assessment (DORA), the study reveals that the correlation between journal rankings and expert evaluations remains strong and unchanged. This correlation is notably strongest for the most prestigious journals.
The findings suggest that while there is a declared commitment to responsible assessment, the actual outcomes of research evaluations continue to be heavily influenced by traditional metrics. This raises important questions about the effectiveness of current initiatives aimed at promoting expert judgment over reliance on quantitative measures, indicating potential limitations in the implementation of responsible assessment practices.
Introduction
The introduction of this research paper highlights the critical role of publication in peer-reviewed academic journals as a key indicator of academic value for both individuals and institutions. It notes that publication records significantly influence various aspects of academic careers, including job access, promotions, and funding opportunities. The reliance on metric indicators, such as citation counts and journal impact factors, has become prevalent in evaluating research quality, yet this trend has faced substantial criticism from the academic community. The emergence of the responsible assessment movement advocates for expert evaluations over metrics, emphasizing the need for a broader range of evidence in assessing academic productivity.
The paper aims to investigate the relationship between expert judgment and journal rankings in the context of the UK’s Research Excellence Framework (REF), particularly focusing on the discipline of Business and Management. It seeks to understand how institutions’ declared support for responsible assessment principles, such as those outlined in the San Francisco Declaration on Research Assessment (DORA), affects the correlation between expert scores and journal rankings. The study employs two analytical methods—a predictive algorithm and regression analysis—to explore these dynamics, contributing to the ongoing discourse on alternative research assessment practices and their implications for future evaluations.
Discussion
The discussion section of the paper addresses the complexities surrounding the assessment of research quality, particularly focusing on journal outputs. It highlights the growing concern among various stakeholders regarding how research excellence is defined and measured, noting that while metrics such as citation counts and journal impact factors are prevalent, they often fail to capture the nuanced dimensions of research quality. The paper critiques the reliance on these quantitative indicators, which can lead to unintended consequences such as goal displacement and erosion of research integrity. It emphasizes the importance of integrating qualitative expert evaluations alongside metrics to achieve a more equitable assessment of research outputs.
The paper further explores the implications of the DORA principles, which advocate for responsible assessment practices that prioritize expert judgment over aggregate metrics. It presents evidence from the UK’s Research Excellence Framework (REF) to investigate the relationship between expert scores and journal rankings, particularly in the context of DORA signatories versus non-signatories. The findings suggest that while there is some correlation between expert evaluations and journal prestige, the relationship may vary significantly depending on the context and the specific metrics employed. The authors argue for a more nuanced understanding of how metrics and expert judgment interact, calling for further research to clarify these dynamics and improve the assessment process in academia.
Limitations
The limitations of this study highlight several areas for future research. Firstly, the lack of available Research Excellence Framework (REF) expert review scores for individual outputs restricts the analysis, despite a close alignment between predicted and observed outcomes. Future investigations could benefit from incorporating actual REF data, should it become accessible, to explore the relationship between expert scores and journal rankings. Additionally, researchers may extend the methodology used in this study to other disciplines and metrics, such as Journal Impact Factor (JIF), to broaden the applicability of the findings.
Secondly, the study’s reliance on proxies for Higher Education Institution (HEI) adherence to the Declaration on Research Assessment (DORA) raises concerns about the actual implementation of DORA principles. The mere signaling of DORA adoption by institutions does not guarantee effective practice, and there is a need for more robust data on the implementation of these policies. Future research could examine the barriers and facilitators to DORA compliance and conduct comparative studies between DORA signatories and non-signatories to assess the impacts of adherence on institutional performance.
Lastly, the absence of qualitative analysis in this study limits the depth of understanding regarding the factors influencing REF scores. Future research should integrate qualitative methodologies to enrich the findings, particularly in relation to the varying use of metrics in REF2021 research environment statements. This could provide a more nuanced perspective on the dynamics of research evaluations and outcomes, complementing the quantitative focus of the current study.