DOI: https://doi.org/10.1016/j.respol.2026.105535
تاريخ النشر: 2026-06-24
المؤلف: Chiara Franzoni وآخرون
الموضوع الرئيسي: البحث، العلوم، والأكاديميا
نظرة عامة
تستكشف الدراسة عملية التقييم في مراجعة الأقران للمنح (GPR)، مع التركيز على كيفية دمج المراجعين لمعايير متنوعة—تحديدًا مؤهلات الباحث الرئيسي (PI)، وجودة البحث، والأهمية الاجتماعية—في تقييم واحد. باستخدام مجموعة بيانات تتكون من 2,105 تقرير مراجعة لـ 586 اقتراحًا تم تقديمها إلى المؤسسة السويدية للبحث الاستراتيجي بين عامي 2011 و2017، يجد المؤلفون أن التقييم يؤثر على حوالي 29% من الدرجات النهائية. ومن الجدير بالذكر أن جودة البحث تُعطى وزنًا أكبر بكثير من الأهمية الاجتماعية، حيث تتلقى حوالي ضعف التركيز، وهو اتجاه يبقى ثابتًا عبر مختلف ديموغرافيات المراجعين والحقول.
تشير النتائج إلى أن مؤهلات الباحث الرئيسي لها تأثير نسبي ضئيل على التقييمات، مما يوحي بأن المزايا السمعة ليست شائعة كما كان يُعتقد سابقًا. بدلاً من ذلك، من المرجح أن تؤخذ هذه المؤهلات في الاعتبار عندما يشعر المراجعون بعدم الثقة في تقييماتهم، مما يشير إلى أن السمعة تعمل كمعيار احتياطي. بشكل عام، تشير النتائج إلى أن عملية التقييم قد تفضل عن غير قصد الجدارة التقنية على الأهمية الاجتماعية، مما قد يت diverge عن النوايا الأصلية للجهات المانحة.
مقدمة
تتناول مقدمة ورقة البحث التدقيق المتزايد في عمليات مراجعة الأقران للمنح (GPR) وسط دعوات من أجل مزيد من الشفافية والعدالة في تمويل البحث. تسلط الضوء على التوتر بين المقاييس التقليدية للتميز العلمي والمبادئ الناشئة للتقييم المسؤول للبحث. يركز المؤلفون على آثار وزن المعايير في GPR، مشيرين إلى أنه يجب على المقيمين تكثيف مقترحات البحث المتنوعة في درجة عددية واحدة، وهي عملية تُعرف بالتقييم. يمكن أن تُدخل هذه الممارسة تحيزات، تفضل بشكل خاص الجدارة التقنية على الأهمية الجوهرية، مما قد يؤدي إلى قرارات تمويل لا تتماشى مع الأهداف المعلنة للوكالات المانحة.
تهدف الدراسة إلى التحقيق تجريبيًا في الانحرافات المحتملة في GPR الناجمة عن التقييم، باستخدام مجموعة بيانات من المؤسسة السويدية للبحث الاستراتيجي. يحلل المؤلفون كيف يزن المقيمون المختلفون المعايير مثل مؤهلات الباحث الرئيسي (PI)، وجودة البحث، والأهمية، وما إذا كانت هذه الأوزان تختلف بناءً على خلفيات المراجعين وخبراتهم. تشير النتائج الأولية إلى وجود تحيز كبير نحو إعطاء الأولوية لجودة البحث على الأهمية، على عكس أهداف برنامج التمويل. بالإضافة إلى ذلك، تكشف الدراسة أن التركيز على ملفات تعريف الباحثين الرئيسيين لا يغير بشكل كبير قرارات التمويل، خاصة بين المراجعين الأكثر كفاءة. هذه الرؤى لها آثار مهمة على مواءمة قرارات التمويل مع أولويات البحث المقصودة.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب أو التحليلات التي تم إجراؤها. يوضح النتائج الناتجة عن اختبارات مختلفة، مع تسليط الضوء على العلاقات والنماذج الإحصائية المهمة التي لوحظت في البيانات. غالبًا ما تكون النتائج مصحوبة بأرقام وجداول ذات صلة توضح النتائج بصريًا، مما يسهل التفسير.
قد يتضمن القسم أيضًا مقارنات بين المجموعات التجريبية، مما يظهر فعالية العلاجات أو التدخلات المختلفة. بالإضافة إلى ذلك، يتم مناقشة أي شذوذ أو نتائج غير متوقعة، مما يوفر رؤى حول الآثار المحتملة للبحث المستقبلي. بشكل عام، يخدم هذا القسم في التحقق من الفرضيات المطروحة في الدراسة ويضع الأساس لمزيد من المناقشة والتحليل في الأقسام اللاحقة.
المناقشة
في قسم المناقشة من ورقة البحث، يستكشف المؤلفون تعقيدات التقييم في سياق تقييمات التمويل للاقتراحات العلمية. يبرزون الدور الحاسم لوكالات التمويل في توجيه البحث نحو نتائج مفيدة اجتماعيًا، مؤكدين أن المراجعين الخبراء يستخدمون معايير جدارة متعددة الأبعاد—بشكل أساسي الأهمية، وجودة البحث، ومؤهلات الباحث—لتقييم الاقتراحات. يجادل المؤلفون بأن عملية التقييم، التي تتضمن دمج أبعاد تقييمية متنوعة في درجة واحدة، هي بطبيعتها ذات طابع ذاتي ويمكن أن تعكس تحيزات وقيم المراجعين. قد تؤدي هذه الذاتية إلى انحرافات بين أولويات الممولين والتقييمات التي يجريها المراجعون، خاصة في وزن المعايير.
تم تحديد انحرافين كبيرين: الأول يتعلق بميول المراجعين لإعطاء الأولوية للجدارة التقنية على الأثر الاجتماعي المحتمل للبحث، مما يمكن أن يعيق الاقتراحات المبتكرة التي تفتقر إلى منهجيات مثبتة. يتعلق الانحراف الثاني بالاعتماد على مؤهلات الباحثين الرئيسيين (PIs) كبديل لجدارة المشروع، مما قد يفضل الباحثين المعروفين ويستمر في تعزيز عدم المساواة في توزيع التمويل. يقترح المؤلفون عدة أسئلة بحثية تهدف إلى التحقيق تجريبيًا في هذه التحيزات، بما في ذلك ما إذا كانت الأوزان الضمنية المعينة لجودة البحث والأهمية تختلف عبر المجالات والمناطق الجغرافية، وكيف تؤثر خبرات المراجعين على تقييماتهم. تهدف النتائج إلى تقديم رؤى حول ديناميكيات تقييمات التمويل والتحيزات المحتملة التي قد تؤثر على تخصيص الموارد في البحث العلمي.
DOI: https://doi.org/10.1016/j.respol.2026.105535
Publication Date: 2026-06-24
Author(s): Chiara Franzoni et al.
Primary Topic: Research, Science, and Academia
Overview
The study investigates the process of commensuration in grant peer review (GPR), focusing on how reviewers integrate various criteria—specifically principal investigator (PI) qualifications, research quality, and societal relevance—into a single evaluation. Utilizing a dataset of 2,105 review reports for 586 proposals submitted to the Swedish Foundation for Strategic Research between 2011 and 2017, the authors find that commensuration affects approximately 29% of final scores. Notably, research quality is weighted significantly more than societal relevance, receiving about twice the emphasis, a trend that remains consistent across different reviewer demographics and fields.
The findings indicate that PI qualifications have a relatively minor impact on evaluations, suggesting that reputational advantages are not as pervasive as previously thought. Instead, these qualifications are more likely to be considered when reviewers feel less confident in their assessments, indicating that reputation serves as a fallback criterion. Overall, the results imply that the commensuration process may inadvertently favor technical merit over societal relevance, potentially diverging from the original intentions of funding bodies.
Introduction
The introduction of the research paper addresses the increasing scrutiny of Grant Peer Review (GPR) processes amidst calls for greater transparency and fairness in research funding. It highlights the tension between traditional metrics of scientific excellence and the emerging principles of responsible research assessment. The authors focus on the implications of criteria weighting in GPR, noting that evaluators must condense diverse research proposals into a single numerical score, a process known as commensuration. This practice can introduce biases, particularly favoring technical merit over substantive significance, which may lead to funding decisions that do not align with the stated goals of funding agencies.
The study aims to empirically investigate the potential misalignments in GPR stemming from commensuration, utilizing a dataset from the Swedish Foundation of Strategic Research. The authors analyze how different evaluators weight criteria such as Principal Investigator (PI) qualifications, research quality, and relevance, and whether these weights vary based on the reviewers’ backgrounds and expertise. Preliminary findings indicate a significant bias towards prioritizing research quality over relevance, contrary to the funding program’s objectives. Additionally, the study reveals that the emphasis on PI profiles does not significantly skew funding decisions, particularly among more competent reviewers. These insights have important implications for aligning funding decisions with intended research priorities.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments or analyses. It details the outcomes of various tests, highlighting significant statistical relationships and patterns observed in the data. The results are often accompanied by relevant figures and tables that illustrate the findings visually, allowing for easier interpretation.
The section may also include comparisons between experimental groups, showcasing the effectiveness of different treatments or interventions. Additionally, any anomalies or unexpected results are discussed, providing insight into potential implications for future research. Overall, this section serves to validate the hypotheses posed in the study and lays the groundwork for further discussion and analysis in subsequent sections.
Discussion
In the discussion section of the research paper, the authors explore the complexities of commensuration in the context of funding evaluations for scientific proposals. They highlight the critical role of funding agencies in steering research towards socially beneficial outcomes, emphasizing that expert reviewers utilize multi-dimensional merit criteria—primarily relevance, research quality, and investigator qualifications—to assess proposals. The authors argue that the process of commensuration, which involves collapsing diverse evaluative dimensions into a single score, is inherently subjective and can reflect the reviewers’ biases and values. This subjectivity may lead to misalignments between the priorities of funders and the evaluations conducted by reviewers, particularly in the weighting of criteria.
Two significant misalignments are identified: the first concerns the tendency of reviewers to prioritize technical merit over the potential societal impact of research, which can stifle innovative proposals that lack established methodologies. The second misalignment relates to the reliance on the qualifications of principal investigators (PIs) as a proxy for project merit, which may favor well-known researchers and perpetuate inequalities in funding distribution. The authors propose several research questions aimed at empirically investigating these biases, including whether implicit weights assigned to research quality and relevance differ across fields and geographic areas, and how reviewers’ expertise influences their evaluations. The findings aim to provide insights into the dynamics of funding evaluations and the potential biases that may affect the allocation of resources in scientific research.