DOI: https://doi.org/10.1038/s41586-024-08422-9
PMID: https://pubmed.ncbi.nlm.nih.gov/39843736
تاريخ النشر: 2025-01-22
المؤلف: Boon-Han Lim وآخرون
الموضوع الرئيسي: البحث في علم القياسات العلمية والبيبلومetrics
نظرة عامة
تقييم أداء البحث أمر حاسم للحفاظ على معايير الجودة في الأوساط الأكاديمية، ويؤثر على قرارات التوظيف والترقية وسط الضغوط الخارجية. تحلل هذه الدراسة 314 سياسة ترقية من 190 مؤسسة أكاديمية و218 سياسة من 58 وكالة حكومية عبر 32 دولة في الشمال العالمي و89 في الجنوب العالمي. تكشف التحليلات عن اختلافات كبيرة في معايير الترقية، مع تفضيل ملحوظ لمؤشرات البيبليومترية في البلدان ذات الدخل المتوسط الأعلى. بينما التقييمات الكمية شائعة، إلا أنها ليست عالمية، والعديد من السياسات تعكس مسارات مهنية معيارية تحد من التنوع والفرص للباحثين.
تشير النتائج إلى تباين كبير في سياسات الترقية على مستوى العالم، دون وجود معايير موحدة، مما يبرز الحاجة إلى أطر حساسة للسياق. حدد تحليل العوامل الرئيسية أربعة مجموعات تقييم رئيسية: مقاييس الإنتاج، الرؤية والمشاركة، تطوير المسيرة المهنية، والنتائج والأثر. بينما تميل البلدان ذات الدخل المرتفع إلى إعطاء الأولوية للتدابير النوعية، فإن الاعتماد على المقاييس الكمية في الجنوب العالمي يثير القلق بشأن تعزيز الفوارق الإقليمية. قد تدعم السياسات المؤسسية، التي تكون أكثر تكيفًا مع الاحتياجات المحلية، المساهمات الأكاديمية المتنوعة بشكل أفضل مقارنة بالسياسات الوطنية الموحدة. وهذا يشير إلى أن تعزيز نظام بحثي مرن يتطلب تحقيق توازن بين العدالة العالمية وأولويات المؤسسات.
مقدمة
في هذا القسم، يستكشف المؤلفون اتجاهات التقييم في خيارات السياسات من خلال تحليل أنماط التزامن بين معايير مختلفة باستخدام تحليل العوامل الرئيسية. لقد حددوا أربعة عوامل كامنة تفسر مجتمعة 65% من التباين في البيانات. كل عامل يتوافق مع مجموعات متميزة من المعايير، مما يبرز فصلًا واضحًا بين طرق التقييم الكمية والنوعية. يشير هذا التمييز إلى أن المؤسسات تميل إلى تطبيق إما نهج كمي أو نوعي بشكل متسق في تصميم سياساتها.
العوامل الأربعة المحددة هي: (1) **مقاييس الإنتاج**، التي تركز على التقييمات الكمية مثل المنشورات والجوائز؛ (2) **الرؤية والمشاركة**، التي تشمل المشاركة المجتمعية والاعتراف؛ (3) **تطوير المسيرة المهنية**، الذي يتضمن النمو المهني والتوجيه؛ و(4) **النتائج والأثر**، المتعلقة بالبراءات، والتمويل، والمساهمات المجتمعية. تشير التحليلات إلى أنه بينما ترتبط بعض المعايير ارتباطًا قويًا بعوامل محددة، تظهر أخرى تداخلات عبر عوامل متعددة، مما يعكس تعقيد معايير التقييم في أطر السياسات. يتم تقديم نتائج مفصلة ومنهجيات في المواد التكميلية، بما في ذلك تحميلات العوامل ومصفوفات الارتباط.
الطرق
في هذه الدراسة، هدفنا إلى تحليل معايير الترقية للحصول على رتبة أستاذ كامل عبر مؤسسات عالمية مختلفة، مستخدمين الوثائق المؤسسية والحكومية كمصادر رئيسية. تم اختيار التركيز على دور الأستاذ الكامل نظرًا لقابليته للمقارنة عبر دول مختلفة، على الرغم من الاختلافات الكبيرة في مسارات التقدم المهني. كانت منهجيتنا قائمة على تحليل نصي أولي، كما هو موضح في القسم 1.1 من المعلومات التكميلية، والذي أبلغ تصميم دراستنا دون فرض مفاهيم مسبقة حول سياسات الترقية.
يستعرض قسم الطرق العمليات الخاصة بالحصول على البيانات، وإعدادها، وتحليلها، مما يضمن إمكانية إعادة إنتاج النتائج. يتم تقديم أوصاف مفصلة لتصميم الدراسة، بما في ذلك استراتيجية العينة، وتعريفات العينة الفرعية، وفئات المعايير، في القسم 1 من المعلومات التكميلية. بالإضافة إلى ذلك، فإن البروتوكولات التي تم وضعها لهذه البحث متاحة عبر Figshare، مما يسهل الشفافية وإمكانية إعادة إنتاج نتائجنا.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على ظهور مبادئ هونغ كونغ لتقييم الباحثين، والتي تهدف إلى تعزيز الموثوقية والنزاهة في البحث. ويؤكد على أن السعي نحو التميز من خلال المقاييس الكمية يمكن أن يؤدي إلى سلوكيات غير أخلاقية، وهي قضية تتردد صداها في توصية اليونسكو بشأن العلوم المفتوحة. تشير الورقة إلى حركة متزايدة نحو إصلاح ممارسات تقييم البحث، مع وجود منظمات ومبادرات مختلفة تدعو إلى عمليات تقييم أفضل تكافئ الممارسات الجيدة. يجادل المؤلفون بأن تحليلهم لسياسات الترقية العالمية يمكن أن يساعد في توضيح العلاقة بين معايير التقييم والمهارات، مما يوجه الباحثين والمديرين في بناء نظام بحثي أكثر قوة.
استخدمت الدراسة تحليلًا شاملًا مقطعيًا لسياسات الترقية عبر 121 دولة، مع التركيز على المعايير المستخدمة لتقييم المرشحين للمناصب الأكاديمية. تكشف النتائج عن تباين كبير في معايير الترقية، مع تركيز قوي على مخرجات البحث والمقاييس الكمية، خاصة في البلدان ذات الدخل المتوسط الأعلى. يحذر المؤلفون من أنه بينما تتمتع المؤسسات بالمرونة لتكييف المعايير مع سياقاتها المحددة، يمكن أن تعقد هذه التنوعات التنقل الدولي للباحثين، خاصة أولئك من الجنوب العالمي. تختتم الورقة بالتساؤل عن فعالية الاعتماد بشكل كبير على المقاييس، مشيرة إلى أنها قد لا تتماشى مع الأهداف المجتمعية الأوسع وقد تحجب المعنى الحقيقي للتقدم في البحث.
DOI: https://doi.org/10.1038/s41586-024-08422-9
PMID: https://pubmed.ncbi.nlm.nih.gov/39843736
Publication Date: 2025-01-22
Author(s): Boon-Han Lim et al.
Primary Topic: scientometrics and bibliometrics research
Overview
The assessment of research performance is crucial for maintaining quality standards in academia, influencing hiring and promotion decisions amid external pressures. This study analyzes 314 promotion policies from 190 academic institutions and 218 policies from 58 government agencies across 32 countries in the Global North and 89 in the Global South. The analysis reveals significant differences in promotion criteria, with a notable preference for bibliometric indicators in upper-middle-income countries. While quantitative assessments are prevalent, they are not universal, and many policies reflect normative career paths that limit diversity and opportunities for researchers.
The findings indicate considerable variability in promotion policies globally, with no standardized criteria, highlighting the need for context-sensitive frameworks. Principal factor analysis identified four main assessment clusters: output metrics, visibility and engagement, career development, and outcomes and impact. While high-income countries tend to prioritize qualitative measures, the reliance on quantitative metrics in the Global South raises concerns about reinforcing regional inequities. Institutional policies, which are more adaptable to local needs, may better support diverse academic contributions compared to uniform national policies. This suggests that fostering a resilient research ecosystem requires balancing global equity with institutional priorities.
Introduction
In this section, the authors explore the assessment trends in policy choices by analyzing co-occurrence patterns among various criteria using principal factor analysis. They identified four latent factors that collectively explain 65% of the variance in the data. Each factor corresponds to distinct clusters of criteria, highlighting a clear separation between quantitative and qualitative assessment methods. This differentiation suggests that institutions tend to consistently apply either quantitative or qualitative approaches in their policy designs.
The four identified factors are: (1) **Output Metrics**, which focuses on quantitative assessments such as publications and awards; (2) **Visibility and Engagement**, encompassing community engagement and recognition; (3) **Career Development**, which includes professional growth and mentoring; and (4) **Outcomes and Impact**, related to patents, funding, and societal contributions. The analysis indicates that while some criteria are strongly associated with specific factors, others show interconnections across multiple factors, reflecting the complexity of assessment criteria in policy frameworks. Detailed results and methodologies are provided in supplementary materials, including factor loadings and correlation matrices.
Methods
In this study, we aimed to analyze the promotion criteria for attaining the rank of full professor across various global institutions, utilizing institutional and governmental documents as primary sources. The focus on the full professor role was chosen due to its comparability across different countries, despite significant variations in career progression pathways. Our methodological approach was grounded in an initial textual analysis, as detailed in Supplementary Information section 1.1, which informed our study design without imposing preconceived notions about promotion policies.
The methods section outlines the processes for data acquisition, preparation, and analysis, ensuring that the results can be reproduced. Detailed descriptions of the study design, including the sampling strategy, subsample definitions, and criteria categories, are provided in Supplementary Information section 1. Additionally, the protocols established for this research are accessible via Figshare, facilitating transparency and reproducibility in our findings.
Discussion
The discussion section of the research paper highlights the emergence of the Hong Kong Principles for assessing researchers, which aim to foster trustworthiness and integrity in research. It emphasizes that the pursuit of excellence through quantitative metrics can lead to unethical behaviors, a concern echoed by UNESCO’s Recommendation on Open Science. The paper notes a growing movement towards reforming research assessment practices, with various organizations and initiatives advocating for better evaluation processes that reward good practices. The authors argue that their analysis of global promotion policies can help illuminate the connection between assessment criteria and competencies, ultimately guiding researchers and managers in building a more robust research ecosystem.
The study employed a comprehensive cross-sectional analysis of promotion policies across 121 countries, focusing on the criteria used for evaluating candidates for professorships. The findings reveal significant variability in promotion criteria, with a strong emphasis on research outputs and quantitative measures, particularly in upper-middle-income countries. The authors caution that while institutions have the flexibility to adapt criteria to their specific contexts, this diversity can complicate international mobility for researchers, particularly those from the Global South. The paper concludes by questioning the effectiveness of relying heavily on metrics, suggesting that they may not align with broader societal goals and could obscure the true meaning of progress in research.