DOI: https://doi.org/10.1186/s12874-024-02413-0
PMID: https://pubmed.ncbi.nlm.nih.gov/39695994
تاريخ النشر: 2024-12-19
المؤلف: Mikkel Schou Andersen وآخرون
الموضوع الرئيسي: اختبار الحيوانات والبدائل
نظرة عامة
يتناول هذا القسم تطوير أداة التقييم النقدي للجودة المنهجية (التقنية)، وجودة التقرير، ومخاطر التحيز في أبحاث الحيوانات (CRIME-Q)، والتي تلبي الحاجة إلى أداة تقييم شاملة في أبحاث النقل الحيواني. وقد سلطت المراجعات المنهجية في هذا المجال الضوء على القضايا المستمرة المتعلقة بالجودة المنهجية والتقارير، والتي يمكن أن تؤثر على فعالية التدخلات المدركة وتعيق إمكانية التكرار. وغالبًا ما تفتقر الأدوات الحالية إلى تغطية شاملة أو تحتوي على عناصر متداخلة، مما يستدعي إنشاء أداة جديدة تقيم جوانب مختلفة من الدراسات الحيوانية، بما في ذلك جودة التقرير، والجودة المنهجية، ومخاطر التحيز.
تم تطوير أداة CRIME-Q خلال مراجعة منهجية لنماذج الأورام السحائية وتستمد إلهامها من الأطر المعتمدة مثل قائمة فحص CAMARADES، وإرشادات ARRIVE 2.0، وأداة مخاطر التحيز من SYRCLE، بينما تقدم أيضًا عناصر فريدة. أظهرت الأداة توافقًا عاليًا بين المقيمين (92.9%) وموثوقية قوية، مع مؤشرات كابا لكوهين تشير إلى أن جودة التقرير (متوسط المؤشر 0.86) والجودة المنهجية (متوسط المؤشر 0.83) كانت قوية بشكل خاص. أداة CRIME-Q متعددة الاستخدامات، قابلة للتطبيق على الدراسات القديمة والجديدة عبر تصاميم متنوعة، وتهدف إلى تعزيز جودة التقرير والصرامة المنهجية في أبحاث الحيوانات. ومع ذلك، يشير المؤلفون إلى أن التحقق الخارجي من الأداة لا يزال مطلوبًا ويشجعون على مزيد من الاختبارات من قبل مجموعات بحثية أخرى.
مقدمة
تسلط المقدمة الضوء على الأهمية المتزايدة للمراجعات المنهجية والتحليلات التلوية في اتخاذ القرارات المستندة إلى الأدلة، خاصة في سياق الدراسات قبل السريرية التي تشمل الحيوانات. على الرغم من أن هذه المراجعات ليست بعد ممارسة قياسية، إلا أنها تُعترف بشكل متزايد بإمكاناتها لتحديد الفجوات الحرجة في العلوم النقلية. يمكن أن تعزز دمج المراجعات المنهجية مع مبادئ 3Rs (التقليل، والتنقيح، والاستبدال) من تجميع المعرفة قبل السريرية، مما يُعلم تصميم التجارب السريرية ويقلل من هدر الموارد.
ومع ذلك، تتناول المقدمة أيضًا التحديات الكبيرة، بما في ذلك انتشار المنشورات ذات الجودة المنخفضة والانتهاكات الأخلاقية في البحث. وتؤكد على ضرورة التقييم الدقيق للجودة العلمية، خاصة في الدراسات الحيوانية، حيث يمكن أن تؤدي العيوب المنهجية إلى نتائج غير موثوقة. لمعالجة هذه القضايا، يقدم المؤلفون أداة التقييم النقدي للجودة المنهجية (التقنية)، وجودة التقرير ومخاطر التحيز في أبحاث الحيوانات (CRIME-Q)، والتي تهدف إلى سد الفجوات الموجودة في تقييم كل من الدراسات في المختبر وفي الجسم الحي. تم تصميم هذه الأداة لتقييم جودة التقرير، والصرامة المنهجية، ومخاطر التحيز، وهي مستندة إلى إرشادات وقوائم فحص معتمدة، بما في ذلك ARRIVE 2.0 وأداة مخاطر التحيز من SYRCLE. تهدف الدراسة إلى التحقق من صحة CRIME-Q من خلال إحصائيات كابا لكوهين وإظهار تطبيقها في تقييم جودة أبحاث الحيوانات.
الطرق
يؤكد القسم الخاص بـ “الطرق” على أهمية التوافق بين البيانات المستخدمة والمنهجيات المطبقة في البحث. يوضح النهج المنهجي المتبع لضمان توافق البيانات المجمعة مع التقنيات التحليلية المستخدمة، مما يعزز من صحة وموثوقية النتائج. يوضح المؤلفون مصادر البيانات المحددة، وطرق أخذ العينات، والأطر التحليلية المستخدمة، مما يضمن أن كل مكون يتناسب بشكل مناسب لدعم أهداف البحث.
بالإضافة إلى ذلك، قد يناقش القسم الأدوات والنماذج الإحصائية المطبقة لتحليل البيانات، مع تسليط الضوء على كيفية تخصيص هذه الطرق لمعالجة أسئلة البحث بفعالية. من خلال الحفاظ على التوافق، تهدف الدراسة إلى تقديم استنتاجات قوية مدعومة بشكل جيد بالأدلة التجريبية المجمعة.
النتائج
تُعرض نتائج دراسة CRIME-Q باستخدام طريقتين متميزتين، مصممتين لعدد السجلات التي تم تحليلها. بالنسبة لمجموعة بيانات أصغر، تُظهر شبكة ملونة جذابة بصريًا (موضحة في الشكل 1) النتائج بشكل فعال، مما يسمح بفهم بديهي للبيانات. ومع ذلك، عندما يتجاوز عدد السجلات 40، تصبح هذه الشبكة غير عملية. في مثل هذه الحالات، يتم استخدام عرض بديل، كما هو موضح في الشكل 2، الذي يلخص النسب العامة عبر فئات متنوعة. على وجه التحديد، يصنف الشكل 2A البيانات إلى فئتين X وY، بينما يقدم الشكل 2B فئات Z. لتحليل شامل، يتم توفير جدول التقييم الكامل كمادة إضافية.
المناقشة
تم تطوير أداة CRIME-Q لمعالجة النواقص في أدوات التقييم الحالية لدراسات نماذج الحيوانات، خاصة في سياق أبحاث الأورام السحائية. مستمدة من إرشادات معتمدة مثل ARRIVE 2.0، وقائمة فحص CAMARADES، وأداة مخاطر التحيز من SYRCLE، تتضمن CRIME-Q عناصر فريدة لتقييم جودة التقرير، والجودة المنهجية، ومخاطر التحيز بشكل شامل. شارك المؤلفون، الذين يتمتعون بخبرة في جراحة الأعصاب، وعلم الأوبئة، ونماذج الحيوانات، في مناقشات موسعة لوضع اللمسات الأخيرة على مكونات الأداة، مما يضمن أنها تلبي الاحتياجات الدقيقة للمجال. يسمح تصميم الأداة بتقييم منهجي للدراسات، مما يسهل الشفافية الأفضل وقابلية التكرار في البحث.
شمل التحقق من صحة CRIME-Q تقييمًا معميًا من قبل مراجعَين، باستخدام إحصائيات كابا لكوهين لقياس موثوقية التقييم بين المقيمين عبر عناصر متنوعة. تصنف الأداة عناصرها الـ 23 إلى ثلاثة مجالات رئيسية: جودة التقرير (QoR)، والجودة المنهجية (MQ)، ومخاطر التحيز (RoB). يتم تعريف كل عنصر بعناية، مع معايير محددة للتقييم، مما يضمن أن الأداة يمكن أن تقيم بفعالية صحة وقابلية استخدام دراسات نماذج الحيوانات. يعزز تضمين العناصر المتعلقة بالأنشطة على طاولة العمل، والامتثال للوائح رفاهية الحيوانات، وممارسات التعمية من قوة الأداة، مما يعالج أوجه القصور الشائعة في تقارير أبحاث الحيوانات. بشكل عام، تهدف CRIME-Q إلى تحسين جودة وموثوقية الدراسات الحيوانية، مما يسهم في أبحاث النقل الأكثر فعالية في النهاية.
القيود
في قسم القيود، يؤكد المؤلفون على أهمية تقديم نقاط الضعف الموجودة في دراستهم بشفافية، حيث يمكن أن تؤثر هذه القيود بشكل كبير على الاستنتاجات المستخلصة من البحث. ينتقدون الممارسة الشائعة المتمثلة في تبسيط الأمور أو إغفال معالجة القيود، مما يمكن أن يضلل القراء بشأن صحة الدراسة. يقترح المؤلفون نهجًا منهجيًا لتقييم تقرير القيود، مصنفين عمق المناقشة إلى ثلاثة مستويات: تقديم مرضٍ (“X”)، عمق غير كافٍ (“(X)”), وغياب القيود (“0”). يهدف هذا الإطار إلى تعزيز صرامة التقارير العلمية وضمان أن يكون القراء على دراية كافية بالعيوب المحتملة في البحث.
DOI: https://doi.org/10.1186/s12874-024-02413-0
PMID: https://pubmed.ncbi.nlm.nih.gov/39695994
Publication Date: 2024-12-19
Author(s): Mikkel Schou Andersen et al.
Primary Topic: Animal testing and alternatives
Overview
The section discusses the development of the Critical Appraisal of Methodological (technical) Quality, Quality of Reporting, and Risk of Bias in Animal Research (CRIME-Q) tool, which addresses the need for a comprehensive assessment instrument in animal translational research. Systematic reviews in this field have highlighted persistent issues related to methodological quality and reporting, which can skew the perceived effectiveness of interventions and hinder replicability. Existing tools often lack comprehensive coverage or contain overlapping items, necessitating the creation of a new tool that evaluates various aspects of animal studies, including quality of reporting, methodological quality, and risk of bias.
The CRIME-Q tool was developed during a systematic review of meningioma models and draws inspiration from established frameworks such as the CAMARADES checklist, ARRIVE 2.0 guidelines, and SYRCLE’s risk of bias tool, while also introducing unique items. The tool demonstrated high interrater agreement (92.9%) and strong reliability, with Cohen’s kappa indices indicating that quality of reporting (mean index 0.86) and methodological quality (mean index 0.83) were particularly robust. The CRIME-Q tool is versatile, applicable to both older and newer studies across various designs, and aims to enhance the quality of reporting and methodological rigor in animal research. However, the authors note that external validation of the tool is still required and encourage further testing by other research groups.
Introduction
The introduction highlights the growing importance of systematic reviews and meta-analyses in evidence-based decision-making, particularly in the context of preclinical studies involving animals. While these reviews are not yet standard practice, they are increasingly recognized for their potential to identify critical gaps in translational science. The integration of systematic reviews with the principles of the 3Rs (reduction, refinement, replacement) can enhance the synthesis of preclinical knowledge, thereby informing clinical trial designs and minimizing resource waste.
However, the introduction also addresses significant challenges, including the prevalence of low-quality publications and ethical violations in research. It emphasizes the necessity of rigorous assessment of scientific quality, particularly in animal studies, where methodological flaws can lead to unreliable results. To address these issues, the authors present the Critical Appraisal of Methodological (technical) Quality, Quality of Reporting and Risk of Bias in Animal Research (CRIME-Q) tool, which aims to fill existing gaps in the evaluation of both in vitro and in vivo studies. This tool is designed to assess reporting quality, methodological rigor, and risk of bias, and is informed by established guidelines and checklists, including ARRIVE 2.0 and the SYRCLE’s risk of bias tool. The study aims to validate CRIME-Q through Cohen’s kappa statistics and to demonstrate its application in evaluating animal research quality.
Methods
The section on “Methods” emphasizes the importance of congruency between the data utilized and the methodologies applied in the research. It outlines the systematic approach taken to ensure that the data collected aligns with the analytical techniques employed, thereby enhancing the validity and reliability of the findings. The authors detail the specific data sources, sampling methods, and analytical frameworks used, ensuring that each component is appropriately matched to support the research objectives.
Additionally, the section may discuss the statistical tools and models implemented to analyze the data, highlighting how these methods are tailored to address the research questions effectively. By maintaining congruency, the study aims to provide robust conclusions that are well-supported by the empirical evidence gathered.
Results
The results of the CRIME-Q study are presented using two distinct methods, tailored to the number of records analyzed. For a smaller dataset, a visually appealing colored grid (illustrated in Fig. 1) effectively conveys the results, allowing for an intuitive understanding of the data. However, when the dataset exceeds 40 records, this grid becomes unwieldy. In such cases, an alternative presentation is utilized, as depicted in Fig. 2, which summarizes overall percentages across various categories. Specifically, Fig. 2A categorizes the data into X and Y categories, while Fig. 2B presents Z categories. For comprehensive analysis, the complete assessment table is provided as supplemental material.
Discussion
The CRIME-Q tool was developed to address the inadequacies in existing assessment tools for animal model studies, particularly in the context of meningioma research. Drawing from established guidelines such as ARRIVE 2.0, the CAMARADES checklist, and SYRCLE’s Risk of Bias tool, CRIME-Q incorporates unique items to evaluate the quality of reporting, methodological quality, and risk of bias in a comprehensive manner. The authors, with expertise in neurosurgery, epidemiology, and animal models, engaged in extensive discussions to finalize the tool’s components, ensuring that it meets the nuanced needs of the field. The tool’s design allows for a systematic appraisal of studies, facilitating better transparency and reproducibility in research.
Validation of CRIME-Q involved a blinded assessment by two reviewers, utilizing Cohen’s Kappa statistics to measure interrater reliability across various items. The tool categorizes its 23 items into three main domains: quality of reporting (QoR), methodological quality (MQ), and risk of bias (RoB). Each item is carefully defined, with specific criteria for assessment, ensuring that the tool can effectively evaluate the validity and usability of animal model studies. The inclusion of items related to bench-top activities, compliance with animal welfare regulations, and blinding practices further enhances the tool’s robustness, addressing common shortcomings in the reporting of animal research. Overall, CRIME-Q aims to improve the quality and reliability of animal studies, ultimately contributing to more effective translational research.
Limitations
In the section on limitations, the authors emphasize the importance of transparently presenting the weaknesses inherent in their study, as these limitations can significantly impact the conclusions drawn from the research. They critique the common practice of oversimplifying or neglecting to address limitations, which can mislead readers regarding the study’s validity. The authors propose a systematic approach to evaluating the reporting of limitations, categorizing the depth of discussion into three levels: satisfactory presentation (“X”), insufficient depth (“(X)”), and absence of limitations (“0”). This framework aims to enhance the rigor of scientific reporting and ensure that readers are adequately informed about potential drawbacks in the research.