DOI: https://doi.org/10.1007/s44322-024-00022-9
PMID: https://pubmed.ncbi.nlm.nih.gov/39916891
تاريخ النشر: 2025-02-03
المؤلف: Rebecca Upsher وآخرون
الموضوع الرئيسي: علم تنفيذ سياسة الصحة
نظرة عامة
في مجال البحث التعليمي، غالبًا ما تجعل تعقيدات التدخلات والسياقات المتنوعة المعايير الحالية للتقارير غير كافية، خاصة تلك المصممة للتدخلات الصحية والتجارب العشوائية المضبوطة. لمعالجة هذه الفجوة، قام المؤلفون بتطوير قائمتين: قائمة معايير التقرير في البحث التعليمي (CLOSER) وقائمة وصف التدخل في البحث التعليمي (CIDER). تتكون CLOSER من 34 عنصرًا تهدف إلى توجيه التقرير الشامل لأبحاث التدخل التعليمي الكمي عبر تصاميم دراسات متنوعة، بينما تركز CIDER، التي تحتوي على 17 عنصرًا، على تفصيل الميزات المحددة للتدخلات التعليمية. تم تحسين كلا القائمتين من خلال عملية صارمة من خمس مراحل، بما في ذلك ملاحظات الخبراء واستطلاع رأي دلفي المعدل.
تعمل قوائم CLOSER وCIDER كأدوات أساسية لتعزيز وضوح وقابلية تكرار نتائج أبحاث التدخل التعليمي، مما يسهل ترجمتها إلى ممارسة وسياسة. هيكلها القابل للتكيف يسمح بتطبيقها عبر سياقات تعليمية متنوعة، مما يعزز التقرير الشفاف والتقييم القوي لنتائج البحث. في النهاية، تسهم هذه القوائم في تقدم الممارسات المستندة إلى الأدلة في التعليم، مما يبرز أهمية معايير التقرير الموحدة. يتم تشجيع الأبحاث المستقبلية لتقييم قابلية تطبيق هذه القوائم في بيئات تعليمية متنوعة لمزيد من التحقق من فعاليتها وتحسينها.
طرق
في هذا البحث، تم تطوير قائمتين لتحسين تقرير دراسات التدخل التعليمي: قائمة معايير التقرير في البحث التعليمي (CLOSER) وقائمة وصف التدخل في البحث التعليمي (CIDER). تم تصميم CLOSER للدراسات الكمية، موجهة الباحثين من الملخص إلى قسم المناقشة، وقابلة للتطبيق على تصاميم دراسات متنوعة مثل التجارب العشوائية المضبوطة (RCTs)، والتصاميم شبه التجريبية، والدراسات قبل وبعد، والدراسات المقطعية. تكمل CIDER قائمة CLOSER من خلال تفصيل ميزات التدخلات التعليمية، القابلة للتطبيق في كل من السياقات البحثية الكمية والنوعية.
توضح قسم المنهجية نهجًا منظمًا للتقرير، بما في ذلك الملخص، المقدمة، تصميم الدراسة، والاعتبارات الأخلاقية. تشمل العناصر الرئيسية مبررًا واضحًا للدراسة، ووصفًا مفصلًا لطرق التوظيف، وتقنيات العينة، وخصوصيات التدخل. على سبيل المثال، توضح الدراسة حول برنامج محو الأمية القائم على الأجهزة اللوحية لطلاب السنة الخامسة تطبيق هذه القوائم، مما يبرز أهمية الشفافية في التوظيف والحاجة إلى الموافقة الأخلاقية. بالإضافة إلى ذلك، يناقش القسم أهمية قياسات النتائج المحددة مسبقًا، وتحديد حجم العينة، ومصادر التحيز المحتملة، مما يضمن أن تكون النتائج قوية وقابلة للتكرار. بشكل عام، تهدف هذه القوائم إلى تحسين جودة وشفافية أبحاث التدخل التعليمي، مما يسهل فهمًا أفضل وتنفيذ استراتيجيات تعليمية فعالة.
نتائج
في الجولة الأولى من استطلاع رأي دلفي، قدم 28 مشاركًا من خلفيات أكاديمية متنوعة ملاحظات حول قوائم CLOSER وCIDER، التي تحتوي على 38 و17 عنصرًا، على التوالي. أعربت الغالبية العظمى من المشاركين، الذين ينتمون بشكل أساسي إلى مجال “التعليم والتدريس”، عن اهتمام قوي بنشر هذه القوائم عبر منصات متنوعة. أفاد معظمهم بأنهم يتعاملون بشكل متكرر مع الأبحاث التعليمية، حيث قرأ 79% الدراسات كثيرًا و54% قاموا بإجراء أبحاث بأنفسهم. أظهرت نتائج الاستطلاع أن عناصر CLOSER تم تقييمها بشكل أساسي على أنها “أساسية” أو “مرغوبة”، بينما حصلت جميع عناصر CIDER على تقييمات مماثلة. وبالتالي، لم يتم حذف أي عناصر، لكن الملاحظات النوعية أدت إلى مراجعات للجولة الثانية.
في الجولة الثانية من دلفي، راجع 19 مشاركًا القوائم المعدلة، التي تضمنت الآن 38 عنصرًا من CLOSER و18 عنصرًا من CIDER. وافق الغالبية على جميع العناصر للإصدارات النهائية، مؤكدين على أهميتها وملاءمتها. أكدت النتائج على ضرورة تضمين بيانات ديموغرافية أساسية وتفاصيل التحليل في تقارير البحث، مثل خصائص المشاركين والامتثال لبروتوكولات التدخل. بالإضافة إلى ذلك، سلطت النتائج الضوء على أهمية الإبلاغ عن كل من أحجام التأثير المطلقة والنسبية للنتائج الثنائية، فضلاً عن أي أضرار غير مقصودة مرتبطة بالتدخلات. بشكل عام، تؤكد الدراسة على الحاجة إلى معايير تقرير شاملة في البحث التعليمي لتعزيز وضوح وملاءمة النتائج.
مناقشة
في قسم المناقشة من ورقة البحث، يوضح المؤلفون تطوير وتحسين قائمتين، CLOSER وCIDER، تهدفان إلى تعزيز تقرير التدخلات التعليمية. بدأت العملية بتكييف الأطر الحالية للتقارير، وخاصة CONSORT وTIDieR، لتناسب بشكل أفضل سياق البحث التعليمي. ثم تم إثراء المسودة الأولية من خلال التعاون بين التخصصات لفريق ذو خبرة في التعليم والصحة وعلم النفس، مما سهل مراجعة شاملة وتحسين عناصر القائمة. تم تأسيس الإصدارات النهائية من القوائم، التي تتكون من 34 عنصرًا لـ CLOSER و17 لـ CIDER، بعد تلقي ملاحظات من جولة دلفي ومشاورات إضافية مع الخبراء.
يؤكد المؤلفون على أهمية الشفافية في البحث من خلال التوصية بأن يتم ذكر قيود الدراسة بوضوح، جنبًا إلى جنب مع تفاصيل مثل الموافقة الأخلاقية، والخصائص الديموغرافية للمشاركين، وخصوصيات التدخل. يدعون إلى تقرير شامل لتعزيز قابلية التكرار وتسهيل تقييم فعالية التدخلات التعليمية. تعمل القوائم كدليل للباحثين لضمان نقل المعلومات الأساسية، مما يحسن جودة ومصداقية نتائج البحث التعليمي.
القيود
يسلط قسم القيود الضوء على عدة تحديات مرتبطة بقوائم CLOSER وCIDER، على الرغم من تطويرها الصارم. إحدى القضايا الرئيسية هي أنه بينما توفر القوائم إرشادات شاملة للتقارير، قد تتطلب مزيدًا من التكييف للتدخلات التعليمية في سياقات ثقافية فريدة. إن الإجماع الذي تم التوصل إليه من خلال جولات دلفي، على الرغم من كونه واسعًا، يعكس بشكل أساسي آراء عينة أكاديمية محددة، تتكون بشكل رئيسي من المملكة المتحدة وأستراليا والولايات المتحدة، مما يشير إلى الحاجة إلى تحقق أوسع عبر تخصصات تعليمية ومناطق متنوعة، خاصة في البلدان غير الناطقة باللغة الإنجليزية.
بالإضافة إلى ذلك، يبرز القسم عدم كفاية الإبلاغ وتحليل العرق والعرقية في أبحاث التدخل التعليمي، مما يؤدي غالبًا إلى نقص تمثيل المجموعات الأقلية وغياب فحص آثارها على تقليل الفجوات العرقية والإثنية. لتعزيز اكتمال وتوحيد أوصاف التدخلات، بما في ذلك الخصائص الديموغرافية للمشاركين، من الضروري أن يكون الباحثون على دراية بقوائم CLOSER وCIDER أثناء تصميم التدخل. بينما توفر هذه القوائم إطارًا منظمًا، فإنها تهدف إلى أن تكون مرنة، مما يسمح بالتعديلات التي تحترم الخصائص الفريدة لبيئات تعليمية مختلفة. هذه القابلية للتكيف ضرورية لتحقيق توازن بين التقييم الصارم والملاءمة العملية، مما يعزز الشفافية والصرامة في البحث مع الاعتراف بتعقيدات البيئات التعليمية المتنوعة.
DOI: https://doi.org/10.1007/s44322-024-00022-9
PMID: https://pubmed.ncbi.nlm.nih.gov/39916891
Publication Date: 2025-02-03
Author(s): Rebecca Upsher et al.
Primary Topic: Health Policy Implementation Science
Overview
In the realm of educational research, the complexity of interventions and varied contexts often render existing reporting standards inadequate, particularly those designed for health interventions and randomized controlled trials. To address this gap, the authors developed two checklists: the CheckList Of Standards of reporting in Education Research (CLOSER) and the Checklist for Intervention Description of Education Research (CIDER). CLOSER comprises 34 items aimed at guiding comprehensive reporting of quantitative educational intervention research across various study designs, while CIDER, with 17 items, focuses on detailing the specific features of educational interventions. Both checklists were refined through a rigorous five-stage process, including expert feedback and a modified Delphi consensus survey.
The CLOSER and CIDER checklists serve as essential tools for enhancing the clarity and replicability of educational intervention research findings, thereby facilitating their translation into practice and policy. Their adaptable structure allows for application across diverse educational contexts, promoting transparent reporting and robust evaluation of research outcomes. Ultimately, these checklists contribute to the advancement of evidence-based practices in education, underscoring the importance of standardized reporting criteria. Future research is encouraged to assess the applicability of these checklists in various educational settings to further validate and refine their effectiveness.
Methods
In this research, two checklists were developed to enhance the reporting of educational intervention studies: the CheckList Of Standards of Reporting in Education Research (CLOSER) and the Checklist for Intervention Description of Education Research (CIDER). CLOSER is tailored for quantitative studies, guiding researchers from the abstract to the discussion section, and is applicable to various study designs such as randomized controlled trials (RCTs), quasi-experimental designs, pre-post studies, and cross-sectional studies. CIDER complements CLOSER by detailing the features of educational interventions, applicable in both quantitative and qualitative research contexts.
The methodology section outlines a structured approach to reporting, including the abstract, introduction, study design, and ethical considerations. Key elements include a clear rationale for the study, detailed descriptions of recruitment methods, sampling techniques, and intervention specifics. For example, the study on a tablet-based literacy program for Year 5 students illustrates the application of these checklists, emphasizing the importance of transparency in recruitment and the need for ethical clearance. Additionally, the section discusses the significance of pre-specified outcome measures, sample size determination, and potential sources of bias, ensuring that findings are robust and replicable. Overall, these checklists aim to improve the quality and transparency of educational intervention research, facilitating better understanding and implementation of effective educational strategies.
Results
In the first round of the Delphi consensus survey, 28 participants from diverse academic backgrounds provided feedback on the CLOSER and CIDER checklists, which contain 38 and 17 items, respectively. The majority of participants, predominantly from the ‘Education and Teaching’ field, expressed a strong interest in publishing these checklists across various platforms. Most reported frequently engaging with educational research, with 79% reading studies often and 54% conducting research themselves. The survey results indicated that CLOSER items were primarily rated as “essential” or “desirable,” while all CIDER items received similar ratings. Consequently, no items were omitted, but qualitative feedback led to revisions for the second round.
In the second Delphi round, 19 participants reviewed the modified checklists, which now included 38 CLOSER items and 18 CIDER items. The majority approved all items for the final versions, confirming their relevance and importance. The results emphasized the necessity of including baseline demographic data and analysis details in research reporting, such as participant characteristics and adherence to intervention protocols. Additionally, the findings highlighted the importance of reporting both absolute and relative effect sizes for binary outcomes, as well as any unintended harms associated with interventions. Overall, the study underscores the need for comprehensive reporting standards in educational research to enhance clarity and applicability of findings.
Discussion
In the discussion section of the research paper, the authors detail the development and refinement of two checklists, CLOSER and CIDER, aimed at enhancing the reporting of educational interventions. The process began with an adaptation of existing reporting frameworks, specifically CONSORT and TIDieR, to better fit the context of education research. This initial draft was then enriched through the interdisciplinary collaboration of a team with expertise in education, health, and psychology, which facilitated a comprehensive review and refinement of the checklist items. The final versions of the checklists, comprising 34 items for CLOSER and 17 for CIDER, were established following feedback from a Delphi Round and further expert consultations.
The authors emphasize the importance of transparency in research by recommending that limitations of the study be clearly stated, alongside details such as ethical clearance, participant demographics, and intervention specifics. They advocate for thorough reporting to enhance replicability and facilitate the assessment of educational interventions’ effectiveness. The checklists serve as a guide for researchers to ensure that essential information is communicated, thereby improving the quality and credibility of educational research outcomes.
Limitations
The section on limitations highlights several challenges associated with the CLOSER and CIDER checklists, despite their rigorous development. One primary concern is that while the checklists provide comprehensive reporting guidelines, they may require further adaptation for educational interventions in culturally unique contexts. The consensus reached through Delphi rounds, although extensive, predominantly reflects the views of a specific academic sample, primarily from the UK, Australia, and the US, suggesting a need for broader validation across diverse educational disciplines and regions, particularly in non-English-speaking countries.
Additionally, the section emphasizes the inadequacy of reporting and analyzing race and ethnicity in educational intervention research, which often leads to the underrepresentation of minority groups and a lack of examination of their impacts on reducing racial and ethnic disparities. To enhance the completeness and uniformity of intervention descriptions, including participant demographics, it is crucial for researchers to be aware of the CLOSER and CIDER checklists during intervention design. While these checklists provide a structured framework, they are intended to be flexible, allowing for adaptations that respect the unique characteristics of different educational settings. This adaptability is vital for balancing rigorous evaluation with practical applicability, thereby promoting transparency and rigor in research while acknowledging the complexities of diverse educational environments.