DOI: https://doi.org/10.15585/mmwr.rr7306a1
PMID: https://pubmed.ncbi.nlm.nih.gov/39316770
تاريخ النشر: 2024-09-24
المؤلف: Daniel P. Kidder وآخرون
الموضوع الرئيسي: التقييم وتقييم الأداء
نظرة عامة
إطار تقييم البرامج المحدث لعام 2024 من مراكز السيطرة على الأمراض والوقاية منها (CDC) يعمل كأداة شاملة لتقييم الأنشطة والأنظمة التنظيمية، بناءً على الإطار الأصلي لعام 1999. يتضمن هذا التعديل التقدم في ممارسات التقييم، والدروس المستفادة من التطبيقات السابقة، والسياسات الفيدرالية الحالية. تم تصميم الإطار ليكون عمليًا وقابلًا للتكيف للمستخدمين على جميع المستويات، مع التركيز على ست خطوات لتخطيط وتنفيذ التقييم، مع تغييرات ملحوظة مثل إعادة تسمية الخطوة الأولى إلى “تقييم السياق”. بالإضافة إلى ذلك، يقدم ثلاث إجراءات عابرة – الانخراط بشكل تعاوني، تعزيز العدالة، والتعلم من واستخدام الرؤى – التي تعتبر جزءًا لا يتجزأ من كل خطوة تقييم.
في الخطوة 5، “توليد ودعم الاستنتاجات”، يركز المقيمون على الإجابة عن أسئلة التقييم من خلال تحليل البيانات وتفسيرها بشكل قوي، مما يضمن أن تكون الاستنتاجات مدعومة جيدًا بالبيانات المجمعة. يعتبر إشراك أصحاب المصلحة في هذه العملية أمرًا حيويًا لمواءمة الاستنتاجات مع السياق والبيانات الأساسية. يؤكد الإطار على أهمية التخطيط لاستخدام نتائج التقييم، وإعداد الرؤى للنشر، وتعزيز الحوار المستمر مع أصحاب المصلحة. لا تعزز هذه المقاربة التكرارية فقط من صلة وفائدة التقييمات، بل تعزز أيضًا ثقافة التعلم المستمر والتحسين داخل المنظمات، مما يعزز في النهاية العدالة الصحية وفعالية البرامج.
مقدمة
تؤكد مقدمة ورقة البحث على أهمية تقييم البرامج كنهج منهجي لتعزيز فعالية وكفاءة الأنشطة المجتمعية والتنظيمية. تميز تقييم البرامج عن البحث التقليدي، مشيرة إلى أنه بينما يستخدم كلاهما منهجيات مشابهة، تختلف أهدافهما؛ يركز التقييم على التحسين المستمر والرؤى القابلة للتنفيذ لصنع القرار، بينما يهدف البحث إلى توليد معرفة قابلة للتعميم. لقد اكتسبت أهمية تقييم البرامج اعترافًا، خاصة على المستوى الفيدرالي، كما يتضح من قانون الأسس لصنع السياسات القائمة على الأدلة لعام 2018، الذي يبرز ضرورة اتباع نهج قائم على الأدلة لمعالجة التحديات الاجتماعية الملحة.
تسلط الورقة الضوء على تطور إطار تقييم البرامج من CDC، الذي تم تأسيسه في الأصل في عام 1999، والذي عمل كأداة أساسية لتوجيه التقييمات في الصحة العامة وما بعدها. لقد تم اعتماد هذا الإطار على نطاق واسع، مؤثرًا في حوالي 300 مقال تمت مراجعتها من قبل الأقران ومدد نطاقه إلى قطاعات متنوعة، بما في ذلك التعليم والتطبيقات العسكرية. إدراكًا للحاجة إلى التحديث، قامت CDC بعملية متعددة السنوات لتحديث الإطار، مما يضمن بقائه عمليًا وذو صلة مع دمج التقدم في ممارسات التقييم والتوافق مع السياسات الفيدرالية الحالية. يحتفظ الإطار المحدث بالعناصر الناجحة من الأصل بينما يقدم تعديلات لتعزيز قابليته للتطبيق عبر سياقات متنوعة.
الطرق
شملت الطرق لتحديث إطار تقييم البرامج من CDC نهجًا شاملاً يتضمن جمع الرؤى من مجموعة متنوعة من مستخدمي إطار التقييم، سواء من الفيدراليين أو غير الفيدراليين، إلى جانب مراجعة شاملة للأدبيات المتعلقة بالمنشورات في التقييم والصحة العامة. تم إنشاء مجموعة عمل مكونة من 80 عضوًا لإطار التقييم، مع لجنة توجيه مكونة من 21 عضوًا تشرف على عملية التطوير والتنفيذ. تم طلب التعليقات من مختلف أصحاب المصلحة، بما في ذلك حوالي 850 فردًا من خلال مقابلات معمقة، واستطلاعات، وتعليقات عامة، من مارس 2022 إلى فبراير 2023. استخدم تحليل البيانات كل من الإحصائيات الوصفية للبيانات الكمية والتحليل الموضوعي للبيانات النوعية، مما أدى إلى تحديد الموضوعات الرئيسية لتعديلات الإطار.
بالإضافة إلى ذلك، تم إجراء مراجعة للأدبيات لدمج التقدمات الحديثة في مفاهيم التقييم، حيث تم تحليل 290 منشورًا من إجمالي 3,436 مقالًا تم تحديدها. كانت هذه المراجعة تهدف إلى تعزيز محتوى الإطار وضمان صلته بممارسات التقييم المعاصرة. أبلغت النتائج من كل من مشاركة أصحاب المصلحة ومراجعة الأدبيات التوصيات لتحسين الإطار، بما في ذلك تحديثات المصطلحات والتوضيحات. كما يحدد القسم طرقًا مختلفة لنشر نتائج التقييم، مع التأكيد على أهمية استراتيجيات الاتصال الفعالة المخصصة للجمهور، والتي تشمل التقارير، والتصورات، والنقاشات التعاونية، والتواصل مع وسائل الإعلام.
النتائج
يحدد القسم خطوات حاسمة لتفسير النتائج التقييمية والتصرف بناءً عليها بشكل فعال ضمن إطار تقييم البرامج من CDC لعام 2024. تؤكد الخطوة 5 على أهمية إشراك أصحاب المصلحة في عملية التفسير. تقترح إنشاء نهج منظم يتضمن هؤلاء أصحاب المصلحة، مما يضمن تخصيص الموارد لجعل النتائج التحليلية متاحة وذات صلة. يتضمن ذلك تقديم البيانات في تنسيقات متنوعة تستجيب ثقافيًا وسياقيًا، مثل الجداول، والرسوم البيانية، والسرد، وتسهيل المناقشات في أماكن مريحة لأصحاب المصلحة.
تسلط الخطوة 6 الضوء على ضرورة تحويل نتائج التقييم إلى رؤى قابلة للتنفيذ. تشير إلى أنه بينما تعتبر النتائج والتوصيات حيوية لتحسين البرنامج، فإنها لا تؤدي بطبيعتها إلى اتخاذ قرارات مستنيرة. يؤكد القسم على أن التخطيط المبكر، والتعاون، والالتزام المشترك بين المقيمين وأصحاب المصلحة أمر ضروري لضمان استخدام الرؤى المستمدة من التقييمات بشكل فعال، مما يجعل هذه الخطوة عنصرًا حاسمًا في دورة التقييم.
المناقشة
في قسم المناقشة من ورقة البحث، يتم تعريف المفاهيم الرئيسية الضرورية لفهم إطار تقييم البرامج المحدث. يتميز التقييم بأنه تقييم منهجي للبرامج أو السياسات أو المنظمات لتحديد فعاليتها وكفاءتها. يشمل مصطلح “البرنامج” مجموعة واسعة من الأنشطة الصحية العامة، بينما يحل “صاحب المصلحة” محل “المعني” لتعزيز لغة شاملة تعترف بوجهات نظر متنوعة وديناميات القوة. تشمل التعريفات الحيوية الأخرى قياس الأداء، الذي يتضمن المراقبة المستمرة لإنجازات البرنامج، والعدالة الصحية، التي تُعرف بأنها الفرصة العادلة لجميع الأفراد لتحقيق أعلى إمكاناتهم الصحية.
تحدد الورقة أنواعًا مختلفة من التقييم، بما في ذلك التقييم التكويني، والتقييمي، وتقييم النتائج، وتقييم الأثر، والتقييم الاقتصادي، كل منها يخدم أغراضًا متميزة ضمن مشهد التقييم. تم تصميم إطار تقييم البرامج المحدث لتوجيه تقييمات عالية الجودة عبر مستويات وسياقات مختلفة، مع دمج ست خطوات تحدد عملية التقييم ومجموعة من المعايير التي تعرف الجودة. من الجدير بالذكر أن الإطار يؤكد على ثلاث إجراءات عابرة: الانخراط بشكل تعاوني، وتعزيز العدالة، والتعلم من الرؤى. تعتبر هذه الإجراءات جزءًا لا يتجزأ من عملية التقييم، مما يعزز التعاون بين أصحاب المصلحة، ويعزز الممارسات العادلة، ويضمن استخدام الرؤى المكتسبة طوال التقييم من أجل التحسين المستمر وصنع القرار المستنير.
DOI: https://doi.org/10.15585/mmwr.rr7306a1
PMID: https://pubmed.ncbi.nlm.nih.gov/39316770
Publication Date: 2024-09-24
Author(s): Daniel P. Kidder et al.
Primary Topic: Evaluation and Performance Assessment
Overview
The updated 2024 CDC Framework for Program Evaluation in Public Health serves as a comprehensive tool for evaluating organizational activities and systems, building upon the original 1999 framework. This revision incorporates advancements in evaluation practices, lessons from prior applications, and current federal policies. The framework is designed to be practical and adaptable for users at all levels, emphasizing six steps for evaluation planning and implementation, with notable changes such as the renaming of the first step to “Assess context.” Additionally, it introduces three cross-cutting actions—engage collaboratively, advance equity, and learn from and use insights—that are integral to each evaluation step.
In Step 5, “Generate and Support Conclusions,” evaluators focus on answering evaluation questions through robust data analysis and interpretation, ensuring that conclusions are well-supported by the collected data. Engaging stakeholders in this process is crucial for aligning conclusions with the context and underlying data. The framework emphasizes the importance of planning for the use of evaluation findings, preparing insights for dissemination, and fostering ongoing dialogue with stakeholders. This iterative approach not only enhances the relevance and utility of evaluations but also promotes a culture of continuous learning and improvement within organizations, ultimately advancing health equity and program effectiveness.
Introduction
The introduction of the research paper emphasizes the significance of program evaluation as a systematic approach to enhance the effectiveness and efficiency of community and organizational activities. It distinguishes program evaluation from traditional research, noting that while both utilize similar methodologies, their objectives differ; evaluation focuses on continuous improvement and actionable insights for decision-making, whereas research aims to generate generalizable knowledge. The importance of program evaluation has gained recognition, particularly at the federal level, as evidenced by the Foundations for Evidence-based Policymaking Act of 2018, which underscores the necessity for evidence-based approaches to address pressing societal challenges.
The paper highlights the evolution of the CDC’s program evaluation framework, originally established in 1999, which has served as a foundational tool for guiding evaluations in public health and beyond. This framework has been widely adopted, influencing approximately 300 peer-reviewed articles and extending its reach to various sectors, including education and military applications. Recognizing the need for modernization, the CDC undertook a multiyear process to update the framework, ensuring it remains practical and relevant while incorporating advancements in evaluation practices and aligning with current federal policies. The updated framework retains successful elements from the original while introducing modifications to enhance its applicability across diverse contexts.
Methods
The methods for updating the CDC Program Evaluation Framework involved a comprehensive approach that included gathering insights from a diverse group of evaluation framework users, both Federal and non-Federal, alongside a thorough literature review of relevant publications in evaluation and public health. An 80-member Evaluation Framework Work Group was established, with a 21-member steering committee overseeing the development and implementation process. Feedback was solicited from various stakeholders, including approximately 850 individuals through in-depth interviews, surveys, and public comments, from March 2022 to February 2023. Data analysis utilized both descriptive statistics for quantitative data and thematic analysis for qualitative data, leading to the identification of key themes for framework revisions.
Additionally, a literature review was conducted to incorporate recent advancements in evaluation concepts, analyzing 290 publications from a total of 3,436 identified articles. This review aimed to enhance the framework’s content and ensure its relevance to contemporary evaluation practices. The findings from both the stakeholder engagement and literature review informed recommendations for improving the framework, including terminology updates and clarifications. The section also outlines various methods for disseminating evaluation findings, emphasizing the importance of effective communication strategies tailored to the audience, which include reports, visualizations, collaborative discussions, and media outreach.
Results
The section outlines critical steps for effectively interpreting and acting on evaluation results within the 2024 CDC Program Evaluation Framework. Step 5 emphasizes the importance of involving interest holders in the interpretation process. It suggests establishing a structured approach that includes these stakeholders, ensuring that resources are allocated to make analytic results accessible and relevant. This involves presenting data in various culturally and contextually responsive formats, such as tables, charts, and narratives, and facilitating discussions in convenient settings for stakeholders.
Step 6 highlights the necessity of translating evaluation findings into actionable insights. It notes that while findings and recommendations are vital for program improvement, they do not inherently lead to informed decision-making. The section stresses that early planning, collaboration, and a shared commitment among evaluators and interest holders are essential to ensure that insights from evaluations are effectively utilized, marking this step as a crucial component of the evaluation cycle.
Discussion
In the discussion section of the research paper, key concepts essential for understanding the updated program evaluation framework are defined. Evaluation is characterized as a systematic assessment of programs, policies, or organizations to determine their effectiveness and efficiency. The term “program” encompasses a wide range of public health activities, while “interest holder” replaces “stakeholder” to promote inclusive language that acknowledges diverse perspectives and power dynamics. Other critical definitions include performance measurement, which involves ongoing monitoring of program achievements, and health equity, defined as the fair opportunity for all individuals to attain their highest health potential.
The paper outlines various types of evaluation, including formative, process, outcome, impact, and economic evaluations, each serving distinct purposes within the evaluation landscape. The updated program evaluation framework is designed to guide high-quality evaluations across different levels and contexts, incorporating six steps that outline the evaluation process and a set of standards that define quality. Notably, the framework emphasizes three cross-cutting actions: engaging collaboratively, advancing equity, and learning from insights. These actions are integral to the evaluation process, fostering collaboration among interest holders, promoting equitable practices, and ensuring that insights gained throughout the evaluation are utilized for continuous improvement and informed decision-making.