أداة لتقييم خطر التحيز في الدراسات غير العشوائية لمتابعة آثار التعرض (ROBINS-E) A tool to assess risk of bias in non-randomized follow-up studies of exposure effects (ROBINS-E)

المجلة: Environment International، المجلد: 186
DOI: https://doi.org/10.1016/j.envint.2024.108602
PMID: https://pubmed.ncbi.nlm.nih.gov/38555664
تاريخ النشر: 2024-03-24

SDU-
جامعة جنوب الدنمارك

أداة لتقييم خطر التحيز في الدراسات غير العشوائية لمتابعة آثار التعرض (ROBINS-E)

هيغينز، جوليان بي. تي؛ مورغان، ريبيكا إل؛ روني، أندرو أ.؛ تايلور، كايلّا و.؛ ثاير، كريستينا أ.؛ سيلفا، راكيل أ.؛ ليميريس، كورتني؛ أكيل، إلي أ.؛ باتيسون، توماس ف.؛ بيركمان، نانسي د.؛ غلين، باربرا س.؛ هروبجارتسون، أسبيورن؛ لاكيند، جودي س.؛ مكالينان، ألكسندرا؛ ميربول، يورغ ج.؛ ناتشمان، ريبيكا م.؛ أوباغي، جولي إي.؛ أوكونور، أنيت؛ رادكي، إليزابيث ج.؛ سافوفيتش، ييلينا؛ شونيمان، هولجر ج.؛ شيا، بيفرلي؛ تيلينغ، كيت؛ فيربيك، يوس؛ فيسواناثان، ميرا؛ ستيرن، جوناثان أ. سي.
نُشر في:
البيئة الدولية
معرف الوثيقة الرقمي:
10.1016/j.envint.2024.108602
تاريخ النشر:
2024
نسخة الوثيقة:
النسخة النهائية المنشورة
ترخيص الوثيقة:
CC BY-NC
استشهاد للإصدار المنشور (APA):
هيغينز، ج. ب. ت.، مورغان، ر. ل.، روني، أ. أ.، تايلور، ك. و.، ثاير، ك. أ.، سيلفا، ر. أ.، ليميريس، س.، أكل، إ. أ.، بيتيسون، ت. ف.، بيركمان، ن. د.، غلين، ب. س.، هروبجارتسون، أ.، لاكيند، ج. س.، مكالينان، أ.، ميربول، ج. ج.، ناتشمان، ر. م.، أوباغي، ج. إ.، أوكونور، أ.، رادكي، إ. ج.، … ستيرن، ج. أ. س. (2024). أداة لتقييم خطر التحيز في الدراسات غير العشوائية لمتابعة آثار التعرض (ROBINS-E). البيئة الدولية، 186، المقال 108602.https://doi.org/10.1016/j.envint.2024.108602
اذهب إلى إدخال النشر في بوابة أبحاث جامعة جنوب الدنمارك
شروط الاستخدام
هذا العمل مقدم لكم من جامعة جنوب الدنمارك.
ما لم يُذكر خلاف ذلك، فقد تم مشاركته وفقًا للشروط الخاصة بالأرشفة الذاتية.
إذا لم يتم ذكر أي ترخيص آخر، تنطبق هذه الشروط:
  • يمكنك تنزيل هذا العمل للاستخدام الشخصي فقط.
  • لا يجوز لك توزيع المادة بشكل إضافي أو استخدامها لأي نشاط يهدف إلى الربح أو لتحقيق مكاسب تجارية.
  • يمكنك توزيع عنوان URL الذي يحدد هذه النسخة المفتوحة الوصول بحرية

أداة لتقييم خطر التحيز في الدراسات غير العشوائية لمتابعة آثار التعرض (ROBINS-E)

جوليان بي. تي. هيغينز ريبيكا ل. مورغان أندرو أ. روني كيلا و. تايلور كريستينا أ. ثاير راكيل أ. سيلفا كورتني ليميريس إيلي أ. أكيل توماس ف. باتسون نانسي د. بيركمان باربرا س. غلين أسبيورن هروبجارتسون جودي س. لاكيند ألكسندرا مكالينان يورغ ج. ميربول ريبيكا م. ناتشمان جولي إي. أوباجي أنيت أوكونور إليزابيث ج. رادكي ييلينا سافوفيتش هولجر ج. شونيمان بيفرلي شيا كيت تيلينغ جوس فيربك ميرا فيسواناثان جوناثان أ. سي. ستيرن علوم صحة السكان، كلية الطب بجامعة بريستول، جامعة بريستول، بريستول، المملكة المتحدة مجموعة تجميع الأدلة في المعهد الوطني للصحة والبحوث، جامعة بريستول، بريستول، المملكة المتحدة التعاون البحثي التطبيقي NIHR غرب (ARC West) في مستشفيات جامعة بريستول وويستون NHS، بريستول، المملكة المتحدة قسم طرق البحث الصحي، الأدلة والأثر، جامعة مكماستر، هاملتون، أونتاريو، كندا المعهد الوطني لعلوم الصحة البيئية، حديقة مثلث الأبحاث، نورث كارولينا، الولايات المتحدة الأمريكية مركز الصحة العامة وتقييم البيئة، قسم تقييم المواد الكيميائية والملوثات، وكالة حماية البيئة الأمريكية، بارك مثلث الأبحاث، نورث كارولينا، الولايات المتحدة الأمريكية ICF، ريستون، فيرجينيا، الولايات المتحدة الأمريكية كلية الطب، الجامعة الأمريكية في بيروت، رياض الصلح، لبنان مركز الصحة العامة وتقييم البيئة، قسم تقييم المواد الكيميائية والملوثات، وكالة حماية البيئة الأمريكية، واشنطن العاصمة، الولايات المتحدة الأمريكية RTI الدولية، بارك مثلث الأبحاث، نورث كارولينا، الولايات المتحدة الأمريكية مركز الطب القائم على الأدلة أودنسه (CEBMO) وكوكراين الدنمارك، جامعة جنوب الدنمارك، أودنسه، الدنمارك لا كايند أسوشيتس، ذ.م.م، كاتونسفيل، ماريلاند، الولايات المتحدة الأمريكية معهد الأدلة في الطب، المركز الطبي وكلية الطب، جامعة فرايبورغ، فرايبورغ، ألمانيا كوكرين ألمانيا، مؤسسة كوكرين ألمانيا، فرايبورغ، ألمانيا فرع مراجعة الأدلة النظامية للتغذية، مركز سياسة وتعزيز التغذية، خدمة الغذاء والتغذية، وزارة الزراعة الأمريكية، الإسكندرية، فيرجينيا، الولايات المتحدة الأمريكية قسم علوم السريريات للحيوانات الكبيرة، كلية الطب البيطري، جامعة ولاية ميتشيغان، إيست لانسينغ، ميشيغان، الولايات المتحدة الأمريكية مراكز كوكراين كندا ومراكز جريد في جامعة مكماستر، هاملتون، أونتاريو، كندا معهد أبحاث مستشفى أوتاوا، أوتاوا، أونتاريو، كندا وحدة الوبائيات التكاملية التابعة لمركز أبحاث الطب الحيوي، جامعة بريستول، بريستول، المملكة المتحدة عمل كوكراين، قسم الصحة العامة والمهنية، المراكز الطبية الأكاديمية في أمستردام، جامعة أمستردام، أمستردام، هولندا مركز بحوث الطب الحيوي في بريستول، بريستول، المملكة المتحدة بحث بيانات الصحة المملكة المتحدة جنوب غرب، بريستول، المملكة المتحدة

معلومات المقال

المحرر المعالج: ن. روث
الكلمات المفتاحية:
خطر التحيز
مربك
تحيز الاختيار
تحيز التصنيف/تحيز القياس
تعرض
علم الأوبئة
البيئية

الملخص

الخلفية: توفر الدراسات الوبائية الملاحظة بيانات حيوية لتقييم الآثار المحتملة للتعرضات البيئية والمهنية والسلوكية على صحة الإنسان. تلعب المراجعات المنهجية لهذه الدراسات دورًا رئيسيًا في إبلاغ السياسات والممارسات. يجب أن تتضمن المراجعات المنهجية تقييمات لمخاطر التحيز في نتائج الدراسات المشمولة. الهدف: تطوير أداة جديدة، مخاطر التحيز في الدراسات غير العشوائية – للتعرضات (ROBINS-E) لتقييم مخاطر التحيز في التقديرات من دراسات المجموعات حول التأثير السببي للتعرض على نتيجة. الطرق والنتائج: تم تطوير ROBINS-E من قبل مجموعة كبيرة من الباحثين من تخصصات بحثية وصحية عامة متنوعة من خلال سلسلة من مجموعات العمل، والاجتماعات الشخصية، ومرحلة الاختبار التجريبي. تهدف الأداة إلى تقييم مخاطر التحيز في نتيجة محددة (تقدير تأثير التعرض) من دراسة ملاحظة فردية تفحص تأثير تعرض ما على نتيجة. تُعلم سلسلة من الاعتبارات الأولية التقييم الأساسي لـ ROBINS-E، بما في ذلك تفاصيل النتيجة التي يتم تقييمها والتأثير السببي الذي يتم تقديره.

يتناول التقييم التحيز ضمن سبعة مجالات، من خلال سلسلة من ‘أسئلة الإشارة’. يتم اشتقاق الأحكام على مستوى المجال حول خطر التحيز من الإجابات على هذه الأسئلة، ثم يتم دمجها لإنتاج حكم شامل حول خطر التحيز للنتيجة، مع أحكام حول اتجاه التحيز. الخلاصة: يوفر ROBINS-E إطارًا موحدًا لفحص التحيزات المحتملة في النتائج المستمدة من دراسات المجموعات. ستنتج الأعمال المستقبلية نسخًا من الأداة لتصاميم دراسات وبائية أخرى (مثل دراسات الحالة والشاهد). نعتقد أن ROBINS-E يمثل تطورًا مهمًا في دمج تقييم التعرض، وتوليف الأدلة، والاستدلال السببي.

1. المقدمة

تلعب الدراسات الوبائية الملاحظة دورًا حيويًا في تقييم آثار التعرضات البيئية والمهنية والسلوكية على صحة الإنسان. غالبًا ما تكون التجارب السريرية العشوائية (RCTs) غير ممكنة أو غير أخلاقية أو غير كافية من حيث الحجم أو المدة لتقييم الآثار الصحية المزمنة.
يجب أن تتضمن المراجعات المنهجية تقييمات لمخاطر التحيز في نتائج الدراسات المشمولة، أي مدى انحراف النتائج بشكل منهجي عن الحقيقة. تعتبر هذه التقييمات مفيدة لوصف النتائج المدرجة في التحليلات التلوية على أنها ذات مخاطر أقل أو أعلى من التحيز، ولإبلاغ تقييمات اليقين في مجموعة الأدلة المقدمة من التحليل التلوي أو التركيب السردي. قد تكون أيضًا مفيدة لاختيار النتائج للإدراج في التحليلات التلوية. لقد انتقلت الأدوات التي تم تطويرها مؤخرًا لهذا الغرض بعيدًا عن الدرجات الرقمية المستندة إلى قوائم التحقق (التي غالبًا ما تجمع بين عناصر مخاطر التحيز واعتبارات أخرى مثل القابلية للتطبيق) إلى أدوات تستند إلى تقييمات ضمن مجالات محددة من التحيز. توفر العديد من هذه الأدوات للدراسات الوبائية الملاحظة تقدمًا منهجيًا كبيرًا مقارنة بالأدوات المستخدمة سابقًا (برنامج السموم الوطني، 2015؛ وودروف وسوتون، 2014؛ وكالة حماية البيئة الأمريكية، 2022). تم نشر مقارنات بين هذه الأدوات سابقًا (برنامج السموم الوطني، 2015؛ ستينلاند وآخرون، 2020؛ إيك وآخرون، 2020؛ رادكي وآخرون، 2021؛ إيك وآخرون، 2022) وقد لوحظ أن الأدوات المختلفة، وطرق مختلفة لمعالجة تقييمات مخاطر التحيز، يمكن أن تؤدي إلى اختلافات في استنتاجات المراجعات المنهجية (إيك وآخرون، 2020؛ رادكي وآخرون، 2021).
في هذه الورقة، نعتبر خطر التحيز في تقديرات التأثير السببي للتعرض على نتيجة، بدلاً من العلاقة بينهما. تم تطوير أداة خطر التحيز في الدراسات غير العشوائية – للتدخلات (ROBINS-I) لتقييم تقديرات تأثيرات التدخلات المتعمدة التي تهدف إلى تغيير النتائج الصحية (ستيرن وآخرون، 2016). قمنا بتكييف وبناء على نهج ROBINS-I لاقتراح أداة لتقييم خطر التحيز في تقديرات دراسات محددة لتأثيرات أنواع أخرى من التعرضات على النتائج. تهدف أداة خطر التحيز في الدراسات غير العشوائية – للتعرض (ROBINS-E) إلى تقييم خطر التحيز في نتيجة دراسة وبائية رصدية. تستهدف النسخة الأولى من ROBINS-E، الموصوفة هنا، دراسات المجموعات (المتابعة).

2. تطوير ROBINS-E

اعتبرت الأعمال المبكرة من مجموعة فرعية من المؤلفين مدى ملاءمة أداة ROBINS-I للدراسات الرصدية للتعرضات واقترحت تعديلات على الأداة (مورغان وآخرون، 2018؛ مورغان وآخرون، 2019). تم توسيع الفريق ليشمل المطورين الرئيسيين لأداة ROBINS-I، وتم تحديد 43 باحثًا مهتمًا بتطوير أداة جديدة تُسمى ROBINS-E. اتبعنا المبادئ المعتمدة لأداة تقييم مخاطر التحيز المنقحة للتجارب العشوائية ولأداة ROBINS-I (ستيرن وآخرون، 2016؛ ستيرن وآخرون، 2019)، بهدف إنتاج أداة تستند إلى مجالات التحيز، مع أسئلة إرشادية تؤدي إلى أحكام حول مخاطر التحيز في نتيجة معينة، لكل مجال وعلى المستوى العام. تم إنشاء مجموعات عمل لتغطية أنواع الدراسات التي ستتناولها ROBINS-E؛ تحديد التأثير السببي المعني؛ التحيز الناتج عن الخلط والاختيار؛ الانحرافات عن التعرض المعني؛ قياس التعرض؛ قياس النتائج؛ الفقدان والتقارير الانتقائية؛ دمج ROBINS-E مع تصنيف
إطار العمل للتوصيات والتقييم والتطوير والتقييمات (GRADE) (غيات وآخرون، 2008)؛ والقضايا في التحليل الإحصائي (انظر الملحق الإلكتروني). اعتبرت المجموعات الأدلة التجريبية على التحيز حيثما كانت متاحة، على سبيل المثال من الدراسات الميتا-وبائية (ستيرن وآخرون، 2002)، على الرغم من أن جميع هذه الدراسات المرتبطة كانت تتعلق بالتجارب العشوائية. لذلك، استندنا في اختيارنا لمجالات التحيز إلى مزيج من (i) الأدلة التجريبية من التجارب العشوائية، مع الافتراض الإضافي بأن القضايا المشتركة بين تصميمي الدراسة (البيانات المفقودة، تقييم النتائج، اختيار النتيجة المبلغ عنها) من المحتمل أن تكون متشابهة؛ (ii) الاعتبارات النظرية، بما في ذلك الفهم الواسع في علم الأوبئة؛ و (iii) المعرفة بحالات التحيز المثبتة في الدراسات الرصدية الفردية، والتي تظهر إمكانية حدوث التحيز.
تمت مناقشة المقترحات من مجموعات العمل في اجتماع وجهًا لوجه استمر يومين بمشاركة 31 مشاركًا في بريستول، المملكة المتحدة، في يناير 2017. قامت مجموعات العمل بعد ذلك بتنقيح مقترحاتها لإنتاج أسئلة إرشادية وإرشادات للإجابة عليها. بين أبريل ويونيو 2019، اجتمعت مجموعات العمل في سلسلة من الندوات عبر الإنترنت لمناقشة مسودة أولية لـ ROBINS-E، وفي أكتوبر 2019، تم عقد حدث تجريبي لمدة يومين في بريستول حيث استخدم 28 مشاركًا حضوريًا، بالإضافة إلى 3 مشاركين عن بُعد، الأداة التجريبية لتقييم خطر التحيز في نتائج دراسات الملاحظة المختلفة للتعرضات. تم إجراء تعديلات على الأداة بناءً على الملاحظات من الحدث التجريبي، من خلال مجموعات عمل جديدة تتناول التداخل، والتحيز في الاختيار، وقياس التعرض، والتعرضات المشتركة/التدخلات المشتركة. تم اختبار مسودة منقحة خلال يونيو-يوليو 2021 وتم إجراء مزيد من التنقيحات قبل نشر النسخة الكاملة ‘المنطلقة’ من ROBINS-E علىhttps://www.riskofbias.infoفي يونيو 2022. ستتوفر التحديثات للأداة على الموقع الإلكتروني.

3. نظرة عامة على ROBINS-E

يهدف ROBINS-E إلى تقييم خطر التحيز في نتيجة محددة (تقدير تأثير التعرض) من دراسة جماعية رصدية فردية تفحص تأثير تعرض ما على نتيجة معينة. يمكن العثور على أحدث إصدار من ROBINS-E فيhttps://www.riskofbias.info/welcome/robiأداة ns-e. الشكل 1 يقدم نظرة عامة على الأداة. مجموعة من الاعتبارات الأولية تُعلم التقييم الرئيسي ROBINS-E وتتحقق مما إذا كان التقييم الكامل ضروريًا (انظر القسم 4). تشمل الاعتبارات الأولية تحديد النتيجة التي يتم تقييمها والأثر السببي الذي يتم تقديره.
تتناول تقييم مخاطر التحيز ROBINS-E سبعة مجالات من التحيز (الشكل 1، القسم 5). يتم تناول كل مجال باستخدام سلسلة من الأسئلة الإشارية التي تهدف إلى جمع المعلومات ذات الصلة حول الدراسة والتحليل الذي يتم تقييمه. تحتوي معظم الأسئلة الإشارية على خيارات إجابة ‘نعم’، ‘ربما نعم’، ‘ربما لا’، ‘لا’ و’لا توجد معلومات’، حيث تحمل ‘نعم’ و’ربما نعم’ نفس الدلالات بالنسبة لمخاطر التحيز، وبالمثل بالنسبة لـ ‘لا’ و’ربما لا’. تحتوي بعض الأسئلة على خيارات إجابة إضافية (نسخة ‘ضعيفة’ ونسخة ‘قوية’ من ‘نعم’ أو ‘لا’) للمساعدة في التمييز بين مخاطر التحيز العالية والمنخفضة. كمثال، السؤال الأول في مجال التداخل هو “هل سيطر المؤلفون على جميع عوامل التداخل المهمة التي كان من الضروري السيطرة عليها”، مع خيارات الإجابة ‘نعم’، ‘ربما نعم’، ‘لا ضعيفة (لا ولكن من المحتمل أن التداخل غير المنضبط لم يكن كبيرًا)’، و’لا قوية (لا ومن المحتمل أن التداخل غير المنضبط كان كبيرًا)’.
بعض أسئلة الإشارة غير قابلة للتطبيق إذا كانت الردود على الأسئلة السابقة
تشير الأسئلة إلى ذلك. على سبيل المثال، السؤال 4.2 (“هل من المحتمل أن التحليل تم تصحيحه لتأثير التدخلات بعد التعرض التي تأثرت بالتعرض السابق؟”) غير قابل للتطبيق إذا كانت الإجابة على السؤال 4.1 (“هل كانت هناك تدخلات بعد التعرض تأثرت بالتعرض السابق خلال فترة المتابعة؟”) هي “لا” أو “ربما لا” أو “لا توجد معلومات”.
بعد الانتهاء من الأسئلة الإشارية ذات الصلة، يتم اتخاذ ثلاثة أحكام ملخصة على مستوى ‘المجال’ لكل من المجالات السبعة التي تم تقييمها من حيث التحيز. أولاً، يقوم المقيّم بتقدير خطر التحيز في النتيجة، والذي يشير إلى خطر التحيز المادي الذي لديه القدرة على التأثير على التأثير المقدر للتعرض على النتيجة. يتم توليد حكم مقترح، بناءً على إجابات الأسئلة الإشارية، باستخدام خوارزمية. يمكن تجاوز هذا الاقتراح، على سبيل المثال، إذا كان المقيّم يعتقد أن مجموع المشاكل المحددة يشير إلى خطر تحيز أكثر أو أقل خطورة داخل ذلك المجال مما حددته الخوارزمية. الخيارات الممكنة للأحكام هي ‘خطر منخفض من التحيز’، ‘بعض المخاوف’، ‘خطر عالٍ من التحيز’ و’خطر عالٍ جداً من التحيز’. ثانياً، يتنبأ المقيّم باتجاه التحيز، موازناً القضايا المعالجة داخل المجال. تعتمد خيارات الاستجابة لذلك على مجال التحيز. ثالثاً، يتم اتخاذ حكم حول التهديدات التي تواجه الاستنتاجات من التحيز، تحديداً ما إذا كان خطر التحيز (الناشئ من هذا المجال) مرتفعاً بما فيه الكفاية، في سياق اتجاهه المحتمل وحجم تأثير التعرض المقدر، لتهديد الاستنتاجات حول ما إذا كان للتعرض تأثير مهم على النتيجة. خيارات الاستجابة هي ‘نعم’، ‘لا’ و’لا يمكن تحديد ذلك’. كما هو موضح في القسم 6، بمجرد اتخاذ هذه الأحكام الثلاثة الملخصة لكل مجال من مجالات التحيز، يتم تلخيصها عبر المجالات لإنشاء أحكام عامة حول خطر التحيز، الاتجاه المتوقع للتحيز، والتهديدات للاستنتاجات بالنسبة للنتيجة.

4. اعتبارات أولية

نقطة البداية لتقييم ROBINS-E هي تحديد نتيجة الدراسة التي يتم تقييمها من حيث خطر التحيز (الشكل 1، الجزء أ). عملية الفحص
يسهل هذا القسم تحديد النتائج التي تكون في خطر كبير من التحيز، مما يسمح للمستخدم بتجنب تقييم مفصل لخطر التحيز (الشكل 1، الجزء ب). قد يكون هذا هو الحال، على سبيل المثال، إذا كانت أسئلة الفحص تحدد أن هناك تداخلاً كبيراً وأن الدراسة لم تحاول السيطرة عليه. كانت هذه الأسئلة قد أدرجت في الأصل ضمن مجالات التحيز ذات الصلة، وكانت الإجابات عليها قد تؤدي إلى حكم بـ ‘خطر كبير جداً من التحيز’ لذلك المجال. كانت الدوافع لإدراجها في الخطوة ب هي أن التقييمات الكاملة لخطر التحيز قد لا تكون مطلوبة إذا كان من المقرر في أي حال الحكم عليها بأنها في خطر كبير جداً من التحيز.
إذا تم المضي قدمًا في تقييم شامل لمخاطر التحيز، يقوم مستخدم الأداة بعد ذلك بتجميع المعلومات حول المشاركين، وقياس التعرض، والنتيجة وطرق التحليل التي تستند إليها تلك النتيجة (الشكل 1، الجزء ج). لتقييم مخاطر التحيز، من المهم تحديد التأثير السببي للتعرض على النتيجة الذي سيتم تقديره من خلال النتيجة في غياب التحيز. يتضمن التحديد تعريف المقارنات لما سيحدث لنفس الفرد (أو مجموعة الأفراد) عند تعرضهم لأنماط مختلفة من التعرض، أي مقارنة “الحقائق المضادة” (الشكل 1، الجزء د). يشمل ذلك السكان الذين ينطبق عليهم هذا التأثير، والتعرض الذي يتم تقدير تأثيره على النتيجة من خلال نتيجة الدراسة، ونافذة التعرض (أو الفترة) ذات الاهتمام، والمقارنات بين أنماط التعرض المختلفة التي تهم. يمكن إكمال الأجزاء ج ود بأي ترتيب، ولكن يجب إكمال كل منهما قبل الجزء هـ.
الجزء النهائي E من الاعتبارات الأولية يحدد العوامل المربكة المعروفة المهمة التي من المحتمل أن تؤثر على العلاقة بين التعرض والنتيجة (الشكل 1، الجزء E). يجب تحديد هذه العوامل المربكة من خلال مزيج من مراجعة الأدبيات والتشاور مع الخبراء بما في ذلك أعضاء فريق المراجعة (Pufulete et al.، 2022).
الشكل 1. نظرة عامة على ROBINS-E في دراسة محددة.

5. مجالات التحيز

تم شرح مجالات التحيز السبعة المدرجة في ROBINS-E أدناه، وتم تلخيص الاعتبارات التي تتناولها الأسئلة الإشارية ضمن هذه المجالات في الجدول 1.
يحدث التحيز بسبب التداخل عندما يكون هناك عامل أو أكثر من العوامل التي تتنبأ بالنتيجة تتنبأ أيضًا بمجموعة التعرض أو مستوى التعرض. يتضمن ROBINS-E تقييمًا مفصلًا لكيفية معالجة الباحثين في الدراسة للعوامل التداخلية المهمة التي تم تحديدها مسبقًا من قبل مستخدم ROBINS-E. يتطلب التحكم الكامل في التداخل ما يلي: يجب التحكم في العوامل التداخلية عندما يكون ذلك ضروريًا؛ يجب قياس هذه العوامل بشكل صحيح وموثوق من خلال المتغيرات المتاحة في الدراسة؛ وأن تأثيرات التعرض (التي قد تكون إما وسطاء لتأثير التعرض على النتيجة أو “مؤثرات مشتركة” (تأثيرات مشتركة للتعرض والنتيجة) لا يتم التحكم فيها.
من المستحيل استبعاد احتمال التداخل غير المنضبط في دراسة غير عشوائية، لذا فإن أفضل حكم متاح على خطر التحيز في هذا المجال يُصنف على أنه “خطر منخفض من التحيز (باستثناء المخاوف بشأن التداخل غير المنضبط)”. بالمقابل، من الممكن تصور حالات يكون فيها خطر التحيز في مجالات أخرى منخفضًا: على سبيل المثال، إذا تم قياس التعرض دون خطأ، ولم تكن هناك بيانات مفقودة، أو تم الإبلاغ عن النتائج وفقًا لخطة تحليل محددة مسبقًا.
هناك نوعان من مجال التداخل. النوع الأول، الذي نتوقع أن ينطبق في معظم الدراسات، ينطبق عندما تكون المشكلة فقط في التداخل الأساسي (بواسطة عوامل التنبؤ الموجودة قبل بدء فترة التعرض المعنية [‘الأساس’]) هي القضية. نتوقع أن ينطبق هذا النوع على الغالبية العظمى من دراسات التعرض.
تتناول المتغير الثاني أيضًا التداخل المتغير مع الزمن، والذي يمكن أن يحدث عندما تتغير التعرضات مع مرور الوقت ويتم تقسيم فترة المتابعة وفقًا لمستوى التعرض (هيرنان وروبينز، 2020؛ منصورنيا وآخرون، 2017). في هذه الظروف، يمكن أن يكون هناك تداخل من عوامل الأساس وأيضًا من عوامل التنبؤ المتغيرة مع الزمن التي تتغير بعد خط الأساس للعيّنة وتؤثر على التعرض اللاحق خلال فترة التعرض، والمعروفة باسم ‘المتداخلات المتغيرة مع الزمن’. على سبيل المثال، إذا تم تقسيم وقت المشاركين إلى فترات تعرضوا فيها وغير تعرضوا لمادة كيميائية قد تكون ضارة، فقد يكون هناك تداخل من عوامل التنبؤ المتغيرة مع الزمن التي تتنبأ بالتغيرات في التعرض خلال فترة المتابعة.
ينشأ التحيز الناتج عن قياس التعرض إذا أدى قياس التعرض الخاطئ أو التصنيف الخاطئ إلى تقدير أقل أو أعلى لتأثيره على النتيجة. يتناول هذا المجال أولاً ما إذا كان هناك قياس خاطئ للتعرض (إما لأن اختيار طريقة القياس لم يكن مناسبًا أو كانت هناك أخطاء في القياسات التي تم إجراؤها). ثم يتناول ما إذا كان القياس الخاطئ كان تفاضليًا (مرتبطًا بالنتائج اللاحقة) أو غير تفاضلي (غير مرتبط بالنتائج اللاحقة). هناك ثلاثة أنواع من هذا المجال اعتمادًا على ما إذا: تم إجراء قياس واحد للتعرض؛ تم دمج قياسات متعددة للتعرض لتوفير قياس واحد للتعرض لكل مشارك؛ أو كانت التحليلات تعتمد على تقسيم وقت متابعة المشاركين وفقًا لحالة أو حجم التعرض.
التحيز في اختيار المشاركين في الدراسة (أو في التحليل) هو الأول من مجالين يتناولان التحيز في الاختيار، والذي ينشأ عندما نقوم بشرط، في تصميم الدراسة أو في التحليل، على التأثيرات المشتركة للتعرض والنتيجة (هيرنان وروبينز، 2020؛ هيرنان وآخرون، 2004). يُعرف هذا باسم ‘تحيز المتصادم’. يشوه الشرط على التأثيرات المشتركة العلاقة بين التعرض والنتيجة، مقارنة بالعلاقة في السكان في غياب مثل هذا الشرط.
يشمل المجال: استبعاد المتابعة بعد بدء فترة التعرض؛ والتحيزات الأخرى الناشئة عن اختيار المشاركين في الدراسة (أو التحليل) المرتبطة بتأثير إما التعرض أو سبب التعرض وتأثير إما النتيجة أو سبب النتيجة؛ والتصحيحات التي قد تم إجراؤها لتحيزات الاختيار في التحليل. المجال الآخر من ROBINS-E الذي يتناول تحيز الاختيار هو “التحيز بسبب البيانات المفقودة، الموضح أدناه.
التحيز الناجم عن قياس التعرض
سواء كان:
  • مقياس التعرض المستخدم في الدراسة يصف بشكل جيد مقياس التعرض المعني;
  • من المحتمل أن يكون هناك خطأ في، أو تصنيف خاطئ، لقياسات التعرض في الدراسة;
  • كان هناك خطأ في القياس (أو تصنيف خاطئ) مختلف؛ و
  • كان من الممكن أن يؤدي خطأ القياس غير المختلف (أو التصنيف الخاطئ) إلى تحيز تقدير التأثير.
سواء كان:
  • بداية المتابعة وبداية نافذة التعرض كانت هي نفسها؛
  • اختيار المشاركين في الدراسة (أو في التحليل) كان يعتمد على خصائص المشاركين التي لوحظت بعد بداية نافذة التعرض؛
  • (إذا كان ذلك مناسبًا) كانت هذه الخصائص متأثرة بالتعرض (أو سبب التعرض) ومتأثرة بالنتيجة (أو سبب النتيجة)؛ و
  • (إذا كان ذلك مناسبًا) تم استخدام تقنيات التعديل لتصحيح وجود تحيزات الاختيار. كان خطأ التصنيف) سيؤدي إلى تحيز
    تقدير التأثير. تقدير التأثير.
    سواء كان:
    بداية المتابعة وبداية نافذة التعرض كانت هي نفسها؛
    (التحليل) لوحظت بعد بداية نافذة التعرض؛ (إذا كان ذلك مناسبًا) كانت هذه الخصائص متأثرة بالتعرض (أو سبب التعرض) ومتأثرة بالنتيجة (أو سبب النتيجة)؛ و لتصحيح وجود تحيزات الاختيار.
    لي؛ و
    لتصحيح.
التحيز بسبب التدخلات بعد التعرض
سواء كان:
  • كانت هناك تدخلات بعد التعرض تأثرت بالتعرض السابق؛ و
  • (إذا كان ذلك مناسبًا) تم تصحيح التحليل لتأثير هذه التدخلات بعد التعرض.
التحيز بسبب البيانات المفقودة
التحيز في قياس النتيجة
سواء كان:
  • كانت البيانات الكاملة حول حالة التعرض، والنتيجة، والخلط متاحة لجميع المشاركين أو تقريبًا جميعهم؛
  • (لتحليلات الحالات الكاملة) من المحتمل أن يكون الاستبعاد من التحليل مرتبطًا بالقيمة الحقيقية للنتيجة وتم تضمين المتنبئين بالافتقار في نموذج التحليل؛ و
  • (لتحليلات البيانات المملوءة) تم إجراء التعبئة بشكل مناسب.
الجدول 1
مجالات التحيز المدرجة في أداة ROBINS-E، مع ملخص للقضايا المعالجة لدراسات المجموعة.
مجال التحيز القضايا المعالجة
التحيز بسبب الخلط
سواء كان:
– تم التحكم في جميع عوامل الخلط المهمة باستخدام طرق مناسبة؛
– تم قياس عوامل الخلط بشكل صحيح وموثوق من خلال المتغيرات المتاحة؛ و
– تم التحكم بشكل غير مناسب في المتغيرات بعد بداية نافذة التعرض (والتي كان من الممكن أن تتأثر بالتعرض).
التحيز في اختيار المشاركين في الدراسة
سواء كان:
  • من المحتمل أن يختلف قياس أو تحديد النتيجة بين مجموعات التعرض أو مستويات التعرض؛
  • كان مقدمو تقييم النتائج على علم بتاريخ تعرض المشاركين في الدراسة؛ و
  • (إذا كان ذلك مناسبًا) من المحتمل أن يكون تقييم النتيجة قد تأثر بمعرفة تاريخ تعرض المشاركين.
التحيز في اختيار النتيجة المبلغ عنها
سواء كان:
  • من المحتمل أن تكون النتيجة العددية التي يتم تقييمها قد تم اختيارها، بناءً على النتائج، من قياسات تعرض متعددة ضمن مجال النتيجة؛
  • من المحتمل أن تكون النتيجة العددية التي يتم تقييمها قد تم اختيارها، بناءً على النتائج، من قياسات نتائج متعددة ضمن مجال النتيجة؛
    (مستمر في الصفحة التالية)
الجدول 1 (مستمر)
مجال التحيز القضايا المعالجة
– من المحتمل أن تكون النتيجة العددية التي يتم تقييمها قد تم اختيارها، بناءً على النتائج، من تحليلات متعددة للبيانات؛ و
– من المحتمل أن تكون النتيجة العددية التي يتم تقييمها قد تم اختيارها، بناءً على النتائج، من مجموعات فرعية متعددة من مجموعة أكبر.
قد ينشأ التحيز بسبب التدخلات بعد التعرض إذا أدى وجود أو مستوى التعرض إلى إدارة تدخلات تغير من خطر النتيجة اللاحقة. على سبيل المثال، في دراسة للأفراد المعرضين للأسبستوس، قد يكون الأفراد الأكثر تعرضًا هم الأكثر احتمالًا لتلقي تصوير مقطعي، مما يقلل من خطر وفاتهم بسبب سرطان الرئة. من الممكن تصحيح مثل هذا التحيز، على سبيل المثال عن طريق التوقف عند وقت التدخل واستخدام أوزان عكس احتمال التوقف (هيرنان وروبينز، 2020). ومع ذلك، تتطلب مثل هذه التحليلات أن تكون العوامل التي تؤدي إلى التدخل بعد التعرض قابلة للنمذجة. نتوقع أنه في معظم الدراسات، سيتم تقييم خطر التحيز في هذا المجال على أنه منخفض.
قد ينشأ التحيز بسبب البيانات المفقودة من بيانات التعرض المفقودة، بيانات النتيجة أو بيانات المتغيرات المسببة للخلط. يقوم المجال أولاً بفحص ما إذا كانت البيانات الكاملة حول حالة التعرض، والنتيجة والخلط متاحة لجميع المشاركين أو تقريبًا جميعهم. إذا لم يكن هذا هو الحال، يقوم المجال بفحص الإمكانية أن البيانات المفقودة أدت إلى تحيز في النتائج بناءً على أي من أكثر الطرق شيوعًا للتحليل: تحليل الحالة الكاملة (المقيد للمشاركين الذين لديهم بيانات كاملة حول التعرض، النتيجة والمتغيرات المسببة للخلط) والتعبئة المتعددة للبيانات المفقودة. في تحليل الحالة الكاملة، تعتبر الاعتبارات المهمة هي ما إذا كان استبعاد المشاركين من التحليل مرتبطًا بالقيمة الحقيقية للنتيجة لهؤلاء المشاركين وإذا كان الأمر كذلك، ما إذا كانت المتنبئات بمثل هذا الاستبعاد مدرجة في نموذج التحليل. بالنسبة للتحليلات المعتمدة على التعبئة المتعددة، تعتبر الاعتبارات المهمة هي ما إذا كانت: البيانات من المحتمل أن تكون مفقودة بشكل عشوائي؛ تم تضمين جميع المتنبئات بالافتقار في نماذج التعبئة؛ وجميع المتغيرات في النموذج المستخدم للتحليل الرئيسي تم تضمينها في نماذج التعبئة.
التحيز الناجم عن قياس النتيجة هو مشكلة عندما يكون الخطأ في قياس النتيجة مرتبطًا بوجود أو مستوى التعرض، وفي هذه الحالة يكون خطأ القياس مختلفًا بدلاً من غير مختلف. هذا المجال تناول ما إذا كانت: طرق القياس كانت هي نفسها لجميع مستويات التعرض؛ كان مقدمو تقييم النتائج على علم بمستويات التعرض؛ ومن المحتمل أن تؤثر معرفة التعرض على تقييمات النتيجة.
ينشأ التحيز في اختيار النتيجة المبلغ عنها عندما يختار مؤلفو الدراسة النتائج من تعددية التحليلات، على سبيل المثال من طرق مختلفة لقياس التعرض، طرق مختلفة لقياس النتيجة، مجموعات فرعية مختلفة من العينة الكاملة للدراسة أو تحليلات مختلفة. هناك خطر من التحيز عندما يكون هذا الاختيار قائمًا على حجم، اتجاه أو قيمة P للنتيجة. من الناحية المثالية، يجب أن يحدد بروتوكول أو خطة التحليل الإحصائي بالضبط أي التحليلات يجب أن تؤخذ وتبلغ. ومع ذلك، فإن مثل هذه الخطط المحددة مسبقًا نادرة في الدراسات الملاحظة وغالبًا ما تحتاج طبيعة البيانات إلى أخذها في الاعتبار عند اختيار نموذج إحصائي وطريقة مناسبة.

6. الخطر العام للتحيز

بعد إكمال جميع مجالات التحيز السبعة، يتم اتخاذ أحكام عامة بشأن خطر التحيز، الاتجاه المتوقع للتحيز والتهديد للاستنتاجات. الحكم الافتراضي لخطر التحيز العام في ROBINS-E هو ذلك بالنسبة للمجال الذي لديه أكبر خطر من التحيز. على سبيل المثال، إذا كان أكبر حكم لخطر التحيز عبر المجالات هو خطر عالٍ من التحيز، فإن النتيجة تُحكم على أنها في خطر عالٍ من التحيز بشكل عام. ومع ذلك، يمكن للمستخدم تجاوز ذلك، على سبيل المثال إذا حكموا أن العديد من المجالات تم تقييمها على أنها في خطر ‘عالي’ من التحيز بحيث يجب أن يكون الحكم العام ‘عالي جدًا’ من التحيز.
قد يكون من الصعب التنبؤ باتجاه التحيز بشكل عام. يمكن استخدام أحكام خطر التحيز للمجالات الفردية لإبلاغ الأحكام حول تأثير ذلك المجال على الاتجاه المحتمل للتحيز بشكل عام. يتم اشتقاق الحكم الافتراضي للتهديد للاستنتاجات بطريقة مشابهة للحكم العام لخطر التحيز؛ على سبيل المثال، يكون الحكم العام ‘نعم’ إذا كان يُعتبر أن هناك تهديدًا للاستنتاجات في أي من مجالات التحيز السبعة.

7. حساسية الدراسة وملاءمة تصميمها

من المهم وصف القدرة العامة للدراسة على تقديم معلومات مفيدة حول تأثير التعرض على النتيجة. وغالبًا ما يُشار إلى ذلك بحساسية الدراسة، وهو مصطلح يُستخدم ليشمل جوانب خطر التحيز بالإضافة إلى جوانب إضافية من تصميم الدراسة، بما في ذلك ما إذا تم فحص نطاق مناسب من مستويات التعرض وما إذا كان هناك متابعة كافية لتأثير النتائج. يتم تناول هذه الاعتبارات الإضافية، التي تقع خارج نطاق التقييم الرئيسي لـ ROBINS-E، في قسم اختياري من ROBINS-E.

8. المناقشة

ROBINS-E هي أداة جديدة عامة لتقييم خطر التحيز في نتائج الدراسات غير العشوائية المتعلقة بالتعرض. نظرًا لأن خطر التحيز يتم تقييمه بالنسبة لتأثير سببي محدد للتعرض على نتيجة معينة، فإن انخفاض خطر التحيز يتوافق مع غياب التحيز في تقدير ذلك التأثير السببي. لهذا السبب، قد تدعم تقييمات ROBINS-E الاستنتاجات السببية، إذا كان يمكن العثور على أدلة كافية بمستوى ‘منخفض’ من خطر التحيز أو مع ‘بعض المخاوف’ بشأن خطر التحيز. توفر ROBINS-E إطارًا موحدًا لفحص مجموعة التحيزات الشائعة في الدراسات الملاحظة المتعلقة بالتعرض. تم بناء الأداة على أداة ROBINS-I للدراسات غير العشوائية للتدخلات (Sterne et al., 2016) وأداة RoB 2 للتجارب العشوائية (Sterne et al., 2019)، وتم إبلاغها من خلال أدوات سابقة لتقييم دراسات التعرض. تشمل العناصر المهمة في ROBINS-E تعريف التأثير السببي المعني، وأسئلة إرشادية لتوجيه أحكام خطر التحيز على مستوى المجالات عبر سبعة مجالات، وخوارزميات لاستنتاج أحكام خطر التحيز المقترحة من إجابات الأسئلة الإرشادية، وفصل خطر التحيز عن اعتبارات أخرى مهمة في تقييم حساسية الدراسة.
تم تصميم ROBINS-E بشكل أساسي للاستخدام في سياق مراجعة منهجية. نأمل أن يمكّن من فحص شامل لقوة الأدلة حول وجود و/أو حجم تأثير التعرض على نتيجة معينة. يوضح الشكل 2 عملية نموذجية لاستخدام ROBINS-E في هذا السياق. من المهم أن يتم دمج تقييمات مخاطر التحيز بشكل مناسب في أي تجميع عبر الدراسات. في أبسط صوره، يمكن استخدام أحكام مخاطر التحيز العامة لتصنيف النتائج في التجميع، أو لإجراء تحليلات حساسية تشمل النتائج ذات المخاطر المنخفضة من التحيز أو استبعاد النتائج ذات المخاطر العالية من التحيز (Boutron et al., 2019). يمكن أن تحقق التحليلات الاستكشافية فيما إذا كانت مخاطر التحيز تفسر أي تباين أو عدم اتساق في النتائج عبر الدراسات من خلال المقارنة الرسمية بين المجموعات الفرعية أو التحليل التراجعي. يسمح مستوى التفاصيل على مستوى المجال من تقييم ROBINS-E للمستخدمين بإجراء تحقيقات أكثر تفصيلاً فيما يتعلق بأنواع التحيز المختلفة. يمكن اعتبار الدراسات التي تتبنى منهجيات مختلفة، أو تقدّر معلمات مرتبطة رياضيًا، معًا في تمرين مثلثي، حيث يتم النظر في كل من مخاطر التحيز (المقيمة بواسطة ROBINS-E) والاختلافات بين الأسئلة السببية المعالجة بشكل مشترك (Lawlor et al., 2016). بالإضافة إلى ذلك، يسهل الاتجاه المتوقع لمستوى التحيز وتقييم التهديدات للاستنتاجات في ROBINS-E النظر في تأثير التحيزات الفردية على الاستنتاجات المتعلقة باتجاه العلاقة.
مدى إمكانية التحيز عبر مجموعة من الأدلة لتأثير التعرض-النتيجة يؤثر على تقييم اليقين في الأدلة لذلك التأثير. يمكن استخدام ROBINS-E كجزء من إطار لتقييم جودة الأدلة لمجموعة من الدراسات. مثال على مثل هذا الإطار هو نهج GRADE (غيات وآخرون، 2011) حيث يقوم المستخدمون
الشكل 2. ROBINS-E في سياق مراجعة منهجية. ستتضمن ‘التركيب’ عادةً تحليلًا تلويًا، على الرغم من أنه قد يكون تركيبًا أكثر تعقيدًا للأدلة أو تكاملًا سرديًا للنتائج عبر الدراسات.
قد تبدأ بقدر عالٍ من اليقين في مجال “قيود الدراسة” (خطر التحيز) في نظام GRADE وتستخدم تقييم ROBINS-E لتحديد عدد المستويات التي يجب تخفيض هذا اليقين بناءً عليها (شونيمان وآخرون، 2018). قسم اختياري من ROBINS-E يسمح للمستخدمين بتسجيل الملاحظات حول حساسية الدراسة، والتي قد تساهم أيضًا في مجال “عدم المباشرة” ضمن GRADE، حيث يتعلق الأمر بإمكانية تعميم نتائج الدراسة على السكان والتعرض والنتيجة المعنية.
لا يتضمن ROBINS-E التقييم المباشر للصراعات المالية المحتملة، والتي قد تكون مهمة في تفسير النتائج ومصداقية الدراسات المتعلقة بالتعرضات وقد تم التوصية بإدراجها في تقييم الدراسات البيئية (الأكاديميات الوطنية للعلوم والهندسة والطب، 2022). السبب، الذي تم مناقشته سابقًا في سياق التجارب العشوائية (ستيرن، 2013)، هو أنه إذا كانت الصراعات المالية تؤدي إلى تحيز، فإن هذا سيعمل من خلال أحد المجالات الموجودة بالفعل في الأداة. علاوة على ذلك، هناك تأثيرات لمثل هذه الصراعات ليست مشاكل تتعلق بالصحة الداخلية (التي تستهدفها ROBINS-E) ولكنها تتعلق بدلاً من ذلك بالسؤال الذي يتم طرحه في الدراسة أو التحليل. يمكن التلاعب بهذا السؤال لإعطاء وهم الوجود أو عدم الوجود أو التأثير (على سبيل المثال من خلال دراسة مستويات تعرض تافهة أو نتائج غير ذات صلة)، لكن هذا لا يجب أن يكون له آثار على الصحة الداخلية. نعتقد أنه يجب تقييم الصراعات المالية بشكل روتيني وعرضها ضمن المراجعات المنهجية: أداة لتقييم الصراعات المالية في التجارب العشوائية قيد التطوير (TACIT: أداة لمعالجة الصراعات المالية في التجارب، 2024).
يمكن أن تؤثر الاعتبارات العملية على التنفيذ الناجح لـ ROBINS-E. أولاً، يتطلب تقييم خطر التحيز أن يكون لدى فريق المراجعة خبرة في كل من المحتوى (معرفة تفصيلية بالموضوع) والمنهجية (فهم الأنواع المختلفة من التحيز التي قد تشوه نتائج الدراسات الملاحظة). على سبيل المثال، يتطلب تحديد عوامل الارتباك المهمة
فهم ما يعنيه التداخل وكذلك ما هي العوامل المربكة (الأسباب الشائعة لكل من التعرض والنتيجة) التي من المحتمل أن تكون موجودة في السياق المحدد لكل دراسة. ثانيًا، ستعتمد دقة تقييم خطر التحيز على جودة المعلومات المتاحة حول الدراسة التي يتم تقييمها. نشجع على الرجوع إلى أكبر قدر ممكن من المعلومات المتاحة. بالإضافة إلى الأوراق المنشورة التي تصف طرق الدراسة ونتائجها، يمكن أن تُستمد هذه المعلومات من تقارير غير منشورة أو من خلال المراسلة مع الباحثين في الدراسة. ثالثًا، تتطلب تقييمات ROBINS-E أحكامًا تستند إلى المعلومات المتاحة. لذلك، من المستحيل تجنب الذاتية وتباين التقييم بين المقيمين. ومع ذلك، يجب أن تجعل نشر الإجابات على الأسئلة الإشارية والتبرير لهذه الإجابات أحكام خطر التحيز شفافة. سيكون من المهم بشكل خاص تبرير الإجابات على الأسئلة الإشارية التي تؤدي إلى حكم “خطر تحيز مرتفع جدًا” ضمن الخطوة B من الاعتبارات الأولية، حيث إن هذه تشير إلى أنه لن يتم إجراء تقييم كامل لخطر التحيز.
نعتقد أن أداة ROBINS-E تمثل تطورًا مهمًا في دمج تقييم الدراسة للتعرض البشري، وتجميع الأدلة، والاستدلال السببي. لقد أبرز التطوير التعاوني للأداة، بين المنهجيات وأصحاب المصلحة من مجالات مثل البيئة، والمهن، والمواد الكيميائية، والسريرية، والصحة العامة، فوائد تبادل الأفكار وطرق البحث عبر المجتمعات (هوفمان وآخرون، 2022؛ هوفمان وآخرون، 2022). على الرغم من أن ROBINS-E تم تطويرها بشكل تكراري بناءً على نتائج الاختبار التجريبي مع مجموعة متنوعة، إلا أنه مع استخدامها بشكل أوسع عبر مواضيع التعرض المختلفة، ستستفيد من مزيد من اختبار المستخدمين الشامل ومن التقييم الرسمي لموثوقيتها وصلاحيتها. النسخة الحالية تتناول فقط الدراسات اللاحقة (المجموعة) ، والعمل جارٍ لتطوير متغيرات ROBINS-E لتصاميم دراسات أخرى بما في ذلك دراسات الحالة والشاهد.

بيان مساهمة المؤلفين في CRediT

جوليان بي. تي. هيغينز: الكتابة – مراجعة وتحرير، الكتابة – المسودة الأصلية، التصور، الإشراف، الموارد، إدارة المشروع، المنهجية، التحقيق، الحصول على التمويل، التصور. ريبيكا ل. مورغان: الكتابة – مراجعة وتحرير، الإشراف، الموارد، إدارة المشروع، المنهجية، التحقيق، التصور. أندرو أ. روني: الكتابة – مراجعة وتحرير، الإشراف، الموارد، إدارة المشروع، المنهجية، التحقيق، الحصول على التمويل، التصور. كايلا و. تايلور: الكتابة – مراجعة وتحرير، الإشراف، الموارد، إدارة المشروع، المنهجية، التحقيق، التصور. كريستينا أ. ثاير: الكتابة – مراجعة وتحرير، الإشراف، الموارد، إدارة المشروع، المنهجية، التحقيق، التصور. راكيل أ. سيلفا: الموارد، إدارة المشروع. كورتني ليميريس: التصور، الموارد. إيلي أ. أكيل: الكتابة – مراجعة وتحرير، التحقيق. توماس ف. باتيسون: الكتابة – مراجعة وتحرير، التحقيق. نانسي د. بيركمان: الكتابة – مراجعة وتحرير، التحقيق. باربرا س. غلين: الكتابة – مراجعة وتحرير، التحقيق. أسبيورن هروبجارتسون: الكتابة – مراجعة وتحرير، التحقيق. جودي س. لاكيند: الكتابة – مراجعة وتحرير، التحقيق. ألكسندرا مكالينان: الكتابة – مراجعة وتحرير، التحقيق. يورغ ج. ميربوهل: الكتابة – مراجعة وتحرير، التحقيق. ريبيكا م. ناتشمان: الكتابة – مراجعة وتحرير، التحقيق. جولي إ. أوباغي: الكتابة – مراجعة وتحرير، التحقيق. أنيت أوكونور: الكتابة – مراجعة وتحرير، التحقيق. إليزابيث ج. رادكي: الكتابة – مراجعة وتحرير، التحقيق. ييلينا سافوفيتش: الكتابة – مراجعة وتحرير، التحقيق. هولجر ج. شونيمان: الكتابة – مراجعة وتحرير، التحقيق، التصور. بيفرلي شيا: الكتابة – مراجعة وتحرير، التحقيق. كيت تيلينغ: الكتابة – مراجعة وتحرير، التحقيق. يوس فيربيك: الكتابة – مراجعة وتحرير، التحقيق. ميرا فيسواناثان: الكتابة – مراجعة وتحرير، التحقيق. جوناثان أ. سي. ستيرن: الكتابة – مراجعة وتحرير، الكتابة – المسودة الأصلية، الإشراف، الموارد، إدارة المشروع، المنهجية، التحقيق، الحصول على التمويل، التصور.
الحصول على التمويل، التصور.

إعلان عن المصالح المتنافسة

يعلن المؤلفون عن المصالح المالية / العلاقات الشخصية التالية التي يمكن اعتبارها مصالح متنافسة محتملة: جودي لاكيند تقارير تلقي دعم للبحث حول المراجعات النظامية وتقييمات عمليات المراجعة من NCASI، ومعهد البترول الأمريكي، والمعهد الوطني لعلوم الصحة البيئية، وشاركت في لجنة GRADE لتقييم يقين الأدلة النموذجية. أنيت أوكونور تقارير تمويل من مجلس لحم الخنزير الوطني الأمريكي ومجلس فول الصويا الأمريكي الذي يتضمن: استشارات أو مشورة. ييلينا سافوفيتش تقارير علاقة مع JEMMDx Limited التي تتضمن: استشارات أو مشورة. ييلينا سافوفيتش تقارير علاقة مع Core Models Limited التي تتضمن: تدريس. كيت تيلينغ تقارير علاقة مع مؤسسة CHDI التي تتضمن: استشارات أو مشورة. كيت تيلينغ تقارير علاقة مع MHRA البريطانية التي تتضمن: شهادة خبير مدفوعة. يوس فيربيك تقارير علاقة مع منظمة الصحة العالمية التي تتضمن: استشارات أو مشورة. المؤلفون الآخرون لا يعلنون عن أي مصالح مالية أو علاقات شخصية قد تؤثر على العمل المبلغ عنه في هذه الورقة.

توفر البيانات

لم يتم استخدام أي بيانات للبحث الموصوف في المقالة.

الشكر والتقدير

نشكر الباحثين الذين اختبروا نسخة مسودة من الأداة وويتني أروياف، فرانشيسكو فوراستييري، إلين كيرين، توم لوبي، روث لُن، لوك مكغينيس، سورييل ميهتا، وكايل ستينلاند على مساهمتهم في المناقشات التي أدت إلى أداة ROBINS-E. كما نشكر برانديز بيفرلي وإلين كيرين على التعليقات المفيدة على المسودة. نشكر أربعة مراجعين مجهولين على تعليقاتهم المفيدة.
تم دعم هذا العمل من قبل برنامج البحث الداخلي (ES103379-01) في المعهد الوطني لعلوم الصحة البيئية (NIEHS)، المعاهد الوطنية للصحة (رقم العقد GS00Q14OADU417 [رقم الطلب HHSN273201600015U])، من قبل المعهد الوطني للبحوث الصحية والرعاية (NIHR مركز بحوث ب Bristol Biomedical؛ NIHR التعاون البحثي التطبيقي West؛ NIHR203807)، من قبل أبحاث السرطان في المملكة المتحدة (رقم المنحة C18281/A29019) ومن قبل بيانات الصحة البحثية في المملكة المتحدة جنوب غرب.

الملحق أ. البيانات التكميلية

يمكن العثور على البيانات التكميلية لهذه المقالة عبر الإنترنت على https://doi. org/10.1016/j.envint.2024.108602.

References

Boutron, I., Page, M.J., Higgins, J.P.T., Altman, D.G., Lundh, A., Hrobjartsson, A., 2019. Chapter 7: considering bias and conflicts of interest among the included studies. In: Higgins, J.P.T., Thomas, J., Chandler, J., Cumpston, M., Li, T., Page, M.J. (Eds.), Cochrane Handbook for Systematic Reviews of Interventions, second ed. John Wiley & Sons, Chichester (UK), pp. 177-204.
Eick, S.M., Goin, D.E., Chartres, N., Lam, J., Woodruff, T.J., 2020. Assessing risk of bias in human environmental epidemiology studies using three tools: different conclusions from different tools. Syst. Rev. 9 (1), 249.
Eick, S.M., Goin, D.E., Lam, J., Woodruff, T.J., Chartres, N., 2022. Authors’ rebuttal to integrated risk information system (IRIS) response to “assessing risk of bias in human environmental epidemiology studies using three tools: different conclusions from different tools”. Syst Rev. 11 (1), 53.
Guyatt, G.H., Oxman, A.D., Vist, G.E., Zunz, R., Falck-Ytter, Y., Alonso-Coello, P., et al., 2008. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 336 (7650), 924-926.
Guyatt, G., Oxman, A.D., Akl, E.A., Kunz, R., Vist, G., Brozek, J., et al., 2011. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. J. Clin. Epidemiol. 64 (4), 383-394.
Hernán, M.A., Hernandez-Diaz, S., Robins, J.M., 2004. A structural approach to selection bias. Epidemiol. 15 (5), 615-625.
Hernán, M.A., Robins, J.M., 2020. Causal inference: what if. Chapman & Hall/CRC, Boca Raton.
Hoffmann, S., Aiassa, E., Angrish, M., Beausoleil, C., Bois, F.Y., Ciccolallo, L., et al., 2022. Application of evidence-based methods to construct mechanism-driven chemical assessment frameworks. ALTEX 39 (3), 499-518.
Hoffmann, S., Whaley, P., Tsaioun, K., 2022. How evidence-based methodologies can help identify and reduce uncertainty in chemical risk assessment. ALTEX 39 (2), 175-182.
Lawlor, D.A., Tilling, K., Davey, S.G., 2016. Triangulation in aetiological epidemiology. Int. J. Epidemiol. 45 (6), 1866-1886.
Mansournia, M.A., Etminan, M., Danaei, G., Kaufman, J.S., Collins, G., 2017. Handling time varying confounding in observational research. BMJ 359, j4587.
Morgan, R.L., Thayer, K.A., Santesso, N., Holloway, A.C., Blain, R., Eftim, S.E., et al., 2018. Evaluation of the risk of bias in non-randomized studies of interventions (ROBINS-I) and the ‘target experiment’ concept in studies of exposures: rationale and preliminary instrument development. Environ. Int. 120, 382-387.
Morgan, R.L., Thayer, K.A., Santesso, N., Holloway, A.C., Blain, R., Eftim, S.E., et al., 2019. A risk of bias instrument for non-randomized studies of exposures: a users’ guide to its application in the context of GRADE. Environ. Int. 122, 168-184.
National Academies of Sciences Engineering and Medicine, 2022. A Review of U.S. EPA’s ORD Staff Handbook for Developing IRIS Assessments: 2020 Version. Washington DC: The National Academies Press.
National Toxicology Program, 2015. Handbook for Preparing Report on Carcinogens Monographs 2015. Available from: https://ntp.niehs.nih.gov/go/rochandbook.
National Toxicology Program, 2015. OHAT Risk of Bias Rating Tool for Human and Animal Studies 2015. Available from: https://ntp.niehs.nih.gov/go/riskbias.
Pufulete, M., Mahadevan, K., Johnson, T.W., Pithara, C., Redwood, S., Benedetto, U., et al., 2022. Confounders and co-interventions identified in non-randomized studies of interventions. J. Clin. Epidemiol. 148, 115-123.
Radke, E.G., Glenn, B.S., Kraft, A.D., 2021. Integrated risk information system (IRIS) response to “assessing risk of bias in human environmental epidemiology studies using three tools: different conclusions from different tools”. Syst Rev. 10 (1), 235.
Schunemann, H.J., Cuello, C., Akl, E.A., Mustafa, R.A., Meerpohl, J.J., Thayer, K., et al., 2018. GRADE guidelines: 18. How ROBINS-I and other tools to assess risk of bias in nonrandomized studies should be used to rate the certainty of a body of evidence. J. Clin. Epidemiol.
Steenland, K., Schubauer-Berigan, M.K., Vermeulen, R., Lunn, R.M., Straif, K., Zahm, S., et al., 2020. Risk of bias assessments and evidence syntheses for observational epidemiologic studies of environmental and occupational exposures: strengths and limitations. Environ. Health Perspect. 128 (9), 95002.
Sterne, J.A.C., 2013. Why the Cochrane risk of bias tool should not include funding source as a standard item (Editorial). Cochrane Database of Systematic Reviews. 12, ED000076.
Sterne, J.A.C., Hernán, M.A., Reeves, B.C., Savović, J., Berkman, N.D., Viswanathan, M., et al., 2016. ROBINS-I: a tool for assessing risk of bias in non-randomized studies of interventions. BMJ. 355, 14919.
Sterne, J.A., Jüni, P., Schulz, K.F., Altman, D.G., Bartlett, C., Egger, M., 2002. Statistical methods for assessing the influence of study characteristics on treatment effects in ‘meta-epidemiological’ research. Stat. Med. 21 (11), 1513-1524.
Sterne, J.A.C., Savovic, J., Page, M.J., Elbers, R.G., Blencowe, N.S., Boutron, I., et al., 2019. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 366, 14898.
TACIT: Tool for Addressing Conflicts of Interest in Trials. https://tacit.one/ (accessed 14 February 2024).
U.S. Environmental Protection Agency, 2022. ORD staff handbook for developing IRIS assessments (EPA/600/R-22/268). U.S. EPA Office of Research and Development, Washington, DC.
Woodruff, T.J., Sutton, P., 2014. The navigation guide systematic review methodology: a rigorous and transparent method for translating environmental health science into better health outcomes. Environ. Health Perspect. 122 (10), 1007-1014.
    • Corresponding author at: Population Health Sciences, Bristol Medical School, University of Bristol, 39 Whatley Road, Bristol BS8 2PS, UK.
    E-mail address: julian.higgins@bristol.ac.uk (J.P.T. Higgins).

Journal: Environment International, Volume: 186
DOI: https://doi.org/10.1016/j.envint.2024.108602
PMID: https://pubmed.ncbi.nlm.nih.gov/38555664
Publication Date: 2024-03-24

SDU-
University of Southern Denmark

A tool to assess risk of bias in non-randomized follow-up studies of exposure effects (ROBINS-E)

Higgins, Julian P.T.; Morgan, Rebecca L.; Rooney, Andrew A.; Taylor, Kyla W.; Thayer, Kristina A.; Silva, Raquel A.; Lemeris, Courtney; Akl, Elie A.; Bateson, Thomas F.; Berkman, Nancy D.; Glenn, Barbara S.; Hróbjartsson, Asbjørn; LaKind, Judy S.; McAleenan, Alexandra; Meerpohl, Joerg J.; Nachman, Rebecca M.; Obbagy, Julie E.; O’Connor, Annette; Radke, Elizabeth G.; Savović, Jelena; Schünemann, Holger J.; Shea, Beverley; Tilling, Kate; Verbeek, Jos; Viswanathan, Meera; Sterne, Jonathan A.C.
Published in:
Environment International
DOI:
10.1016/j.envint.2024.108602
Publication date:
2024
Document version:
Final published version
Document license:
CC BY-NC
Citation for pulished version (APA):
Higgins, J. P. T., Morgan, R. L., Rooney, A. A., Taylor, K. W., Thayer, K. A., Silva, R. A., Lemeris, C., Akl, E. A., Bateson, T. F., Berkman, N. D., Glenn, B. S., Hróbjartsson, A., LaKind, J. S., McAleenan, A., Meerpohl, J. J., Nachman, R. M., Obbagy, J. E., O’Connor, A., Radke, E. G., … Sterne, J. A. C. (2024). A tool to assess risk of bias in non-randomized follow-up studies of exposure effects (ROBINS-E). Environment International, 186, Article 108602. https://doi.org/10.1016/j.envint.2024.108602
Go to publication entry in University of Southern Denmark’s Research Portal
Terms of use
This work is brought to you by the University of Southern Denmark.
Unless otherwise specified it has been shared according to the terms for self-archiving.
If no other license is stated, these terms apply:
  • You may download this work for personal use only.
  • You may not further distribute the material or use it for any profit-making activity or commercial gain
  • You may freely distribute the URL identifying this open access version

A tool to assess risk of bias in non-randomized follow-up studies of exposure effects (ROBINS-E)

Julian P.T. Higgins , Rebecca L. Morgan , Andrew A. Rooney , Kyla W. Taylor , Kristina A. Thayer , Raquel A. Silva , Courtney Lemeris , Elie A. Akl , Thomas F. Bateson , Nancy D. Berkman , Barbara S. Glenn , Asbjørn Hróbjartsson , Judy S. LaKind , Alexandra McAleenan , Joerg J. Meerpohl , Rebecca M. Nachman , Julie E. Obbagy , Annette O’Connor , Elizabeth G. Radke , Jelena Savović , Holger J. Schünemann , Beverley Shea , Kate Tilling , Jos Verbeek , Meera Viswanathan , Jonathan A.C. Sterne Population Health Sciences, Bristol Medical School, University of Bristol, Bristol, UK NIHR Bristol Evidence Synthesis Group, University of Bristol, Bristol, UK NIHR Applied Research Collaboration West (ARC West) at University Hospitals Bristol and Weston NHS Foundation Trust, Bristol, UK Department of Health Research Methods, Evidence and Impact, McMaster University, Hamilton, Ontario, Canada National Institute of Environmental Health Sciences, Research Triangle Park, NC, USA Center for Public Health and Environmental Assessment, Chemical & Pollutant Assessment Division, US Environmental Protection Agency, Research Triangle Park, NC, USA ICF, Reston, VA, USA Faculty of Medicine, American University of Beirut, Riad El-Solh, Lebanon Center for Public Health and Environmental Assessment, Chemical and Pollutant Assessment Division, US Environmental Protection Agency, Washington, DC, USA RTI International, Research Triangle Park, NC, USA Centre for Evidence-Based Medicine Odense (CEBMO) and Cochrane Denmark, University of Southern Denmark, Odense, Denmark LaKind Associates, LLC, Catonsville, MD, USA Institute for Evidence in Medicine, Medical Center & Faculty of Medicine, University of Freiburg, Freiburg, Germany Cochrane Germany, Cochrane Germany Foundation, Freiburg, Germany Nutrition Evidence Systematic Review Branch, Center for Nutrition Policy and Promotion, Food and Nutrition Service, US Department of Agriculture, Alexandria, VA, USA Department of Large Animal Clinical Sciences, College of Veterinary Medicine, Michigan State University, East Lansing, MI, USA Cochrane Canada and McMaster GRADE Centres, McMaster University, Hamilton, ON, Canada Ottawa Hospital Research Institute, Ottawa, ON, Canada MRC Integrative Epidemiology Unit, University of Bristol, Bristol, UK Cochrane Work, Department of Public and Occupational Health, Academic Medical Centers Amsterdam, University of Amsterdam, Amsterdam, the Netherlands NIHR Bristol Biomedical Research Centre, Bristol, UK Health Data Research UK South-West, Bristol, UK

ARTICLE INFO

Handling Editor: N. Roth
Keywords:
Risk of bias
Confounding
Selection bias
Misclassification/measurement bias
Exposure
Epidemiology
Environmental

Abstract

Background: Observational epidemiologic studies provide critical data for the evaluation of the potential effects of environmental, occupational and behavioural exposures on human health. Systematic reviews of these studies play a key role in informing policy and practice. Systematic reviews should incorporate assessments of the risk of bias in results of the included studies. Objective: To develop a new tool, Risk Of Bias In Non-randomized Studies – of Exposures (ROBINS-E) to assess risk of bias in estimates from cohort studies of the causal effect of an exposure on an outcome. Methods and results: ROBINS-E was developed by a large group of researchers from diverse research and public health disciplines through a series of working groups, in-person meetings and pilot testing phases. The tool aims to assess the risk of bias in a specific result (exposure effect estimate) from an individual observational study that examines the effect of an exposure on an outcome. A series of preliminary considerations informs the core ROBINS-E assessment, including details of the result being assessed and the causal effect being estimated. The

assessment addresses bias within seven domains, through a series of ‘signalling questions’. Domain-level judgements about risk of bias are derived from the answers to these questions, then combined to produce an overall risk of bias judgement for the result, together with judgements about the direction of bias. Conclusion: ROBINS-E provides a standardized framework for examining potential biases in results from cohort studies. Future work will produce variants of the tool for other epidemiologic study designs (e.g. case-control studies). We believe that ROBINS-E represents an important development in the integration of exposure assessment, evidence synthesis and causal inference.

1. Introduction

Observational epidemiologic studies play a vital role in evaluation of the effects of environmental, occupational and behavioural exposures on human health. Randomized controlled trials (RCTs) are often not feasible, ethical, large enough or of sufficient duration to evaluate chronic health effects.
Systematic reviews should incorporate assessments of the risk of bias in results of the included studies, that is, the extent to which results may deviate systematically from the truth. Such assessments are useful to label results included in meta-analyses as at lower or higher risk of bias and to inform assessments of the certainty of the body of evidence provided by a meta-analysis or narrative synthesis. They may also be useful to select results for inclusion in meta-analyses. Recently-developed tools for this purpose have moved away from numeric scores based on checklists (which often combined elements of risk of bias with other considerations such as of applicability) to tools based on assessments within specific domains of bias. Several such tools for observational epidemiologic studies provide significant methodological advances over previously used tools (National Toxicology Program, 2015, 2015; Woodruff and Sutton, 2014; U.S. Environmental Protection Agency, 2022). Comparisons between these tools have been published previously (National Toxicology Program, 2015; Steenland et al., 2020; Eick et al., 2020; Radke et al., 2021; Eick et al., 2022) and have observed that different tools, and different ways of addressing risk-of-bias assessments, can lead to differences in conclusions of systematic reviews (Eick et al., 2020; Radke et al., 2021).
In this paper we consider risk of bias in estimates of the causal effect of an exposure on an outcome, rather than the association between them. The Risk Of Bias In Non-randomized Studies – of Interventions (ROBINS-I) tool was developed to evaluate estimates of the effects of deliberate interventions aimed to alter health outcomes (Sterne et al., 2016). We adapted and built on the ROBINS-I approach to propose a tool to evaluate risk of bias in study-specific estimates of the effects of other types of exposures on outcomes. The Risk of Bias in Non-Randomized Studies – of Exposure (ROBINS-E) tool aims to assess the risk of bias in a result of an observational epidemiologic study. The first version of ROBINS-E, described here, targets cohort (follow-up) studies.

2. Development of ROBINS-E

Early work by a subset of the authors considered the extent to which the ROBINS-I tool was suitable for observational studies of exposures and suggested modifications to the tool (Morgan et al., 2018; Morgan et al., 2019). The team was widened to include the ROBINS-I core developers, and 43 researchers with an interest in developing a new ROBINS-E tool were identified. We followed the principles adopted for the revised risk-of-bias tool for randomized trials and for the ROBINS-I tool (Sterne et al., 2016; Sterne et al., 2019), aiming to produce a tool that was based on domains of bias, with signalling questions leading to judgements about risk of bias in a specific result, for each domain and overall. Working groups were set up to cover types of studies to be addressed by ROBINS-E; specification of the causal effect of interest; confounding and selection bias; deviations from the exposure of interest; measurement of exposure; measurement of outcomes; attrition and selective reporting; integration of ROBINS-E with the Grading of
Recommendations, Assessment, Development and Evaluations (GRADE) framework (Guyatt et al., 2008); and issues in statistical analysis (see Online Supplement). The groups considered empirical evidence of bias where this was available, for example from meta-epidemiological studies (Sterne et al., 2002), although all such studies identified related to randomized trials. We therefore based our choice of bias domains on a combination of (i) empirical evidence from randomized trials, with the additional assumption that issues common to both study designs (missing data, outcome assessment, selection of the reported result) are likely to be similar; (ii) theoretical considerations, including widespread understandings in epidemiology; and (iii) knowledge of instances of demonstrated biases in individual observational studies, which demonstrate the possibility of the bias occurring.
Proposals from the working groups were discussed at a two-day face-to-face meeting of 31 participants in Bristol, UK, in January 2017. The working groups subsequently refined their proposals to produce signalling questions and guidance for answering them. Between April and June 2019, the working groups met in a series of webinars to discuss a preliminary draft of ROBINS-E, and in October 2019 a 2-day piloting event was held in Bristol at which 28 in-person participants, plus 3 remote participants, used the draft tool to assess risk of bias in the results of various observational studies of exposures. Revisions to the tool were made based on feedback from the piloting event, through new working groups addressing confounding, selection bias, exposure measurement and co-exposures/co-interventions. A revised draft was piloted during June-July 2021 and further refinements made before a full ‘launch’ version of ROBINS-E was posted on https://www.riskofbias.info in June 2022. Updates to the tool will be made available on the web site.

3. Overview of ROBINS-E

ROBINS-E aims to assess the risk of bias in a specific result (exposure effect estimate) from an individual observational cohort study that examines the effect of an exposure on an outcome. The latest version of ROBINS-E can be found at https://www.riskofbias.info/welcome/robi ns-e-tool. Fig. 1 provides an overview of the tool. A series of preliminary considerations informs the main ROBINS-E assessment and checks whether a full assessment is necessary (see Section 4). The preliminary considerations include specification of the result being assessed and the causal effect being estimated.
The ROBINS-E risk-of-bias assessment addresses seven domains of bias (Fig. 1, Section 5). Each domain is addressed using a series of signalling questions that aim to gather relevant information about the study and analysis being assessed. Most signalling questions have response options ‘Yes’, ‘Probably yes’, ‘Probably no’, ‘No’ and ‘No information’, with ‘Yes’ and ‘Probably yes’ having the same implications for risk of bias and similarly for ‘No’ and ‘Probably no’. Some questions have additional response options (a ‘weak’ and a ‘strong’ version of ‘Yes’ or ‘No’) to help discriminate between higher and lower risk of bias. As an example, the first question in the confounding domain is “Did the authors control for all the important confounding factors for which this was necessary”, with response options ‘Yes’, Probably yes’, ‘Weak No (No but uncontrolled confounding was probably not substantial)’, and ‘Strong No (No and uncontrolled confounding was probably substantial)’.
Some signalling questions are not applicable if responses to earlier
questions indicate this. For example, question 4.2 (“Is it likely that the analysis corrected for the effect of post-exposure interventions that were influenced by prior exposure?”) is not applicable if the answer to question 4.1 (“Were there post-exposure interventions that were influenced by prior exposure during the follow-up period?”) is “No”, Probably no” or “No information”.
After the relevant signalling questions have been completed, three summary ‘domain-level’ judgements are made for each of the seven assessed domains of bias. First, the assessor judges the risk of bias in the result, which refers to the risk of material bias that has the potential to impact on the estimated effect of exposure on outcome. A suggested judgement, based on the answers to the signalling questions, is generated using an algorithm. This suggestion can be overridden, for example if the assessor believes that the totality of problems identified suggests more or less serious risk of bias within that domain than identified by the algorithm. Possible judgements are ‘Low risk of bias’, ‘Some concerns’, ‘High risk of bias’ and ‘Very high risk of bias’. Second, the assessor predicts the direction of bias, balancing the issues addressed within the domain. Response option for this depend on the bias domain. Third, a judgement is made about the threats to conclusions from the bias, specifically whether the risk of bias (arising from this domain) is sufficiently high, in the context of its likely direction and the magnitude of the estimated exposure effect, to threaten conclusions about whether the exposure has an important effect on the outcome. Response options are ‘Yes’, ‘No’ and ‘Cannot tell’. As described in Section 6, once these three summary judgements are made for each bias domain, they are summarized across domains to create overall judgements about risk-of-bias, predicted direction of bias, and threats to conclusions for the result.

4. Preliminary considerations

The starting point for a ROBINS-E assessment is to specify the study result that is being assessed for risk of bias (Fig. 1, part A). A screening
section then facilitates identification of results that are at very high risk of bias, allowing the user to avoid a detailed risk of bias assessment (Fig. 1, part B). This might be the case, for example, if the screening questions identify that there is substantial confounding and the study has made no attempt to control for it. These screening questions were originally included within the relevant bias domains, and answers to these had the potential to lead to a judgement of ‘Very high risk of bias’ for the domain. The motivation for their inclusion in Step B was that full risk-of-bias assessments may not required if the result will in any case be judged as at very high risk of bias.
If proceeding with a full risk of bias assessment, the user of the tool then assembles information about the participants, exposure measure (s), outcome and analysis methods on which that result is based (Fig. 1, part C). To evaluate risk of bias it is important to define the causal effect of exposure on outcome that would be estimated by the result in the absence of bias. The specification involves defining comparisons of what would happen to the same individual (or group of individuals) when exposed to different patterns of exposure, i.e. comparing ‘counterfactuals’ (Fig. 1, part D). This includes the population in which this effect applies, the exposure whose effect on the outcome is estimated by the study result, the exposure window (or period) of interest, and the comparisons between different patterns of exposure that are of interest. Parts C and D can be completed in either order, but each should be completed before part E .
The final part E of the preliminary considerations is specifying the known important confounding factors that are likely to influence the association between the exposure and the outcome (Fig. 1, part E). These confounding factors should be identified by a combination of reviewing literature and consulting with experts including members of the review team (Pufulete et al., 2022).
Fig. 1. Overview of a ROBINS-E in a specific study.

5. Bias domains

The seven bias domains included in ROBINS-E are explained below and the considerations addressed by the signalling questions within the domains are summarized in Table 1.
Bias due to confounding occurs when one or more factors that are prognostic for the outcome also predict exposure group or exposure level. ROBINS-E includes a detailed assessment of how the study investigators addressed the important confounding factors that were prespecified by the ROBINS-E user. Full control of confounding requires that: confounding factors are controlled for when this is necessary; these factors are measured validly and reliably by the variables available in the study; and that effects of exposure (which may either be mediators of the effect of exposure on outcome or ‘colliders’ (common effects of exposure and outcome) are not controlled for.
It is impossible to exclude the possibility of uncontrolled confounding in a non-randomized study, so the best available risk-of-bias judgement for this domain is labelled “Low risk of bias (except for concerns about uncontrolled confounding)”. By contrast, it is possible to envisage situations in which risk of bias for other domains is low: for example, if exposure is measured without error, there are no missing data, or results are reported in accordance with a pre-specified analysis plan.
There are two variants of the confounding domain. The first variant, which we expect to apply in most studies, applies when only baseline confounding (by prognostic factors present before the start of the exposure window of interest [‘baseline’]) is an issue. We expect this variant to apply to the majority of exposure studies.
The second variant additionally addresses time-varying confounding, which can occur when the exposure changes over time and followup time is split according to exposure level (Hernán and Robins, 2020; Mansournia et al., 2017). In these circumstances, there can be confounding both by baseline factors and by time-varying prognostic factors that vary after the cohort baseline and that affect subsequent exposure during the exposure window, known as ‘time-varying’ confounders. For example, if participants’ time is split into periods exposed and not exposed to a potentially harmful chemical, then there may be confounding by time-varying prognostic factors that predict changes to exposure during follow-up.
Bias arising from measurement of the exposure occurs if exposure mismeasurement or misclassification leads to under- or over-estimation of its effect on the outcome. The domain first addresses whether there is mismeasurement of the exposure (either because the choice of measurement method was not appropriate or there were errors in the measurements made). It then addresses whether the mismeasurement was differential (related to subsequent outcomes) or non-differential (unrelated to subsequent outcomes). There are three variants of this domain depending on whether: a single measurement of exposure was made; multiple exposure measurements were combined to provide a single measure of exposure for each participant; or the analysis was based on splitting participants’ follow up time according to exposure status or magnitude.
Bias in selection of participants into the study (or into the analysis) is the first of two domains that address selection bias, which arises when we condition, in the study design or in the analysis, on common effects of exposure and outcome (Hernán and Robins, 2020; Hernán et al., 2004). This is known as ‘collider bias’. Conditioning on common effects distorts the association between exposure and outcome, compared with the association in the population in the absence of such conditioning.
The domain covers: exclusion of follow up after the start of the exposure window; other bias arising from selection of participants into the study (or analysis) being related to an effect of either the exposure or a cause of the exposure and an effect of either the outcome or a cause of the outcome; and corrections that might have been made for selection biases in the analysis. The other ROBINS-E domain addressing selection bias is “Bias due to missing data, described below.
Bias arising from measurement of the exposure
Whether:
  • the measure of exposure used in the study well characterizes the exposure metric of interest;
  • there was likely to be error in, or misclassification of, the exposure measurements in the study;
  • there was differential measurement (or misclassification) error; and
  • non-differential measurement (or misclassification) error would have biased the effect estimate.
Whether:
  • start of follow-up and start of the exposure window were the same;
  • selection of participants into the study (or into the analysis) was based on participant characteristics observed after the start of the exposure window;
  • (if applicable) these characteristics were influenced by exposure (or a cause of exposure) and influenced by outcome (or a cause of the outcome); and
  • (if applicable) adjustment techniques were used to correct for the presence of selection biases. misclassification) error would have biased the
    effect estimate. effect estimate.
    hether:
    start of follow-up and start of the exposure window were the same;
    analysis) observed after the start of the exposure window; (if applicable) these characteristics were influenced by exposure (or a cause of exposure) and influenced by outcome (or a cause of the outcome); and to correct for the presence of selection biases.
    me); and
    to corse.
Bias due to post-exposure interventions
Whether:
  • there were post-exposure interventions influenced by prior exposure; and
  • (if applicable) the analysis corrected for the effect of these post-exposure interventions.
Bias due to missing data
Bias in measurement of the outcome
Whether:
  • complete data on exposure status, the outcome, and confounders were available for all or nearly all participants;
  • (for complete case analyses) omission from the analysis is likely to be related to the true value of the outcome and predictors of missingness were included in the analysis model; and
  • (for analyses with imputed data) imputation was performed appropriately.
Table 1
Bias domains included in the ROBINS-E tool, with a summary of the issues addressed for cohort studies.
Bias domain Issues addressed
Bias due to confounding
Whether:
– all important confounding factors were controlled for using appropriate methods;
– the confounding factors were measured validly and reliably by the variables available; and
– variables after the start of the exposure window (and that could have been affected by the exposure) were inappropriately controlled for.
Bias in selection of participants into the study
Whether:
  • measurement or ascertainment of the outcome is likely to have differed between exposure groups or levels of exposure;
  • outcome assessors were aware of study participants’ exposure history; and
  • (if applicable) assessment of the outcome were likely to have been influenced by knowledge of participants’ exposure history.
Bias in selection of the reported result
Whether:
  • the numerical result being assessed is likely to have been selected, on the basis of the results, from multiple exposure measurements within the outcome domain;
  • the numerical result being assessed is likely to have been selected, on the basis of the results, from multiple outcome measurements within the outcome domain;
    (continued on next page)
Table 1 (continued)
Bias domain Issues addressed
– the numerical result being assessed is likely to have been selected, on the basis of the results, from multiple analyses of the data; and
– the numerical result being assessed is likely to have been selected, on the basis of the results, from multiple subgroups of a larger cohort.
Bias due to post-exposure interventions may arise if the presence or level of exposure leads to administration of interventions that change the subsequent risk of the outcome. For example, in a study of individuals exposed to asbestos, the most highly exposed individuals may be more likely to receive a CT scan, which reduces their risk of lung cancer mortality. It is possible to correct for such bias, for example by censoring at the time of the intervention and using inverse-probability-of-censoring weights (Hernán and Robins, 2020). However, such analyses require that the factors leading to the post-exposure intervention can be modelled. We expect that in most studies the risk of bias for this domain will be assessed to be low.
Bias due to missing data may arise from missing exposure data, outcome data or data on confounding variables. The domain first examines whether complete data on exposure status, the outcome and confounders were available for all or nearly all participants. If this is not the case, the domain examines the potential that the missing data led to bias in results based on either of the most common approaches to analysis: complete case analysis (restricted to participants with complete data on exposure, outcome and confounding variables) and multiple imputation of missing data. In a complete case analysis, the important considerations are whether exclusion of participants from the analysis is related to the true value of the outcome for those participants and, if so, whether the predictors of such exclusion are included in the analysis model. For analyses based on multiple imputation, the important considerations are whether: data are likely to be missing at random; all predictors of missingness were included in the imputation models; and all the variables in the model used for the main analysis were included in the imputation models.
Bias arising from measurement of the outcome is a problem when error in measurement of the outcome is related to the presence or level of exposure, in which case the measurement error is differential rather than non-differential. This domain addressed whether: measurement methods were the same for all levels of exposure; outcome assessors were aware of exposure levels; and knowledge of exposure was likely to influence assessments of the outcome.
Bias in selection of the reported result arises when study authors select results from a multiplicity of analyses, for example from different ways of measuring the exposure, different ways of measuring the outcome, different subsets of the full study sample or different analyses. There is a risk of bias when such selection is based on the magnitude, direction or P value of the result. Ideally a protocol or statistical analysis plan would specify exactly which analyses are to be taken and reported. However, such pre-specified plans are uncommon for observational studies and often the nature of the data need to be taken into account when selecting a suitable statistical model and method.

6. Overall risk of bias

After completing all seven bias domains, overall judgements are made for risk of bias, predicted direction of bias and threat to conclusions. The default ROBINS-E overall risk-of-bias judgement is that for the domain with the greatest risk of bias. For example, if the greatest risk-ofbias judgement across domains is of high risk of bias, then the result is judged as at high risk of bias overall. However, the user may override this, for example if they judge that so many domains were rated as at ‘High’ risk of bias that the overall judgement should be ‘Very high’ risk
of bias. Predicting the direction of bias overall may be difficult. Risk-ofbias judgements for the individual domains might be used to inform judgements about the influence of that domain on the likely direction of bias overall. The default judgement for the threat to conclusions is derived in a similar way to the overall risk-of-bias judgement; for example, the overall judgement is ‘Yes’ if there is considered to be a threat to conclusions in any of the seven bias domains.

7. Study sensitivity and appropriateness of its design

It is important to describe the general ability of a study to provide useful information about the effect of exposure on outcome. This is often referred to as the study sensitivity, a term used to embrace aspects of risk of bias as well as additional aspects of study design, including whether an appropriate range of exposure levels was examined and whether there was sufficient follow up for outcomes to be affected. These additional considerations, which fall outside the scope of the main ROBINS-E assessment, are addressed in an optional section of ROBINS-E.

8. Discussion

ROBINS-E is a new general-purpose tool for assessing risk of bias in results of non-randomized studies of exposure. Because risk of bias is assessed in relation to a defined causal effect of an exposure on an outcome, a low risk of bias corresponds to an absence of bias in estimating that causal effect. For this reason, ROBINS-E assessments may support causal inferences, if sufficient evidence at ‘low’ risk of bias or with ‘some concerns’ about risk of bias can be located. ROBINS-E provides a standardized framework for examining the range of biases common to observational studies of exposures. The instrument was based on the ROBINS-I tool for non-randomized studies of interventions (Sterne et al., 2016) and RoB 2 tool for randomized trials (Sterne et al., 2019), and was informed by previous instruments for assessing studies of exposure. Important elements in ROBINS-E include a definition of the causal effect of interest, signalling questions to guide domain-level risk-of-bias judgements across seven domains, algorithms to derive suggested risk of bias judgements from answers to the signalling questions, and the separation of risk of bias from other important considerations in the evaluation of study sensitivity.
ROBINS-E is designed primarily for use in the context of a systematic review. We hope that it will enable a thorough examination of the strength of evidence about the presence and/or magnitude of the effect of an exposure on an outcome. Fig. 2 outlines a typical process for using ROBINS-E in this context. It is important that risk-of-bias assessments are integrated appropriately into any synthesis across studies. At its simplest, overall risk-of-bias judgements might be used to stratify results in the synthesis, or to perform sensitivity analyses including results at lower risk of bias or excluding results at higher risk of bias (Boutron et al., 2019). Exploratory analyses can investigate whether the risk of bias explains any heterogeneity or inconsistency of results across studies through formal comparison of subgroups or meta-regression. The domain-level granularity from the ROBINS-E assessment allows users to conduct more detailed investigations in relation to different types of bias. Studies taking different methodological approaches, or estimating mathematically connected parameters, might be considered together in a triangulation exercise, in which both the risks of bias (assessed by ROBINS-E) and differences between causal questions being addressed are considered jointly (Lawlor et al., 2016). In addition, the domainlevel predicted direction of bias and assessment of threats to conclusions in ROBINS-E facilitates consideration of the impact of the individual biases on conclusions regarding the direction of the association.
The extent of the potential for bias across a body of evidence for an exposure-outcome effect informs assessment of the certainty of evidence for that effect. ROBINS-E can be used as part of a framework to rate the quality of the evidence for a group of studies. An example of such a framework is the GRADE approach (Guyatt et al., 2011) where users
Fig. 2. ROBINS-E in the context of a systematic review. The ‘synthesis’ will typically involve a meta-analysis, although it may be a more complex evidence synthesis or a narrative integration of findings across studies.
may start at high certainty in the “study limitations” (risk of bias) domain of GRADE and use their ROBINS-E evaluation to determine how many levels to rate down this certainty (Schunemann et al., 2018). An optional section of ROBINS-E allows users to record observations about study sensitivity, aspects of which may additionally feed into the “indirectness” domain within GRADE, as it relates to generalizability of the result of the study to the population, exposure and outcome of interest.
ROBINS-E does not include direct assessment of financial conflicts of interest, which may be important in interpreting the findings and credibility of studies of exposures and have been recommended for inclusion in evaluation of environmental studies (National Academies of Sciences Engineering and Medicine, 2022). The rationale, previously discussed in the context of randomized trials (Sterne, 2013), is that if financial conflicts of interest lead to bias then this will operate through one of the domains already in the tool. Furthermore, there are impacts of such conflicts that are not problems of internal validity (targeted by ROBINS-E) but instead relate to what question is being asked in the study or analysis. This question can be manipulated to give an illusion of presence or lack or effect (for example by studying trivial levels of exposure or irrelevant outcomes), but this need not have implications for internal validity. We believe that financial conflicts of interest should routinely be assessed and displayed within systematic reviews: a tool for assessing conflicts of interest in randomized trials is under development (TACIT: Tool for Addressing Conflicts of Interest in Trials, 2024).
Practical considerations can impact on the successful implementation of ROBINS-E. First, evaluation of risk of bias requires that the review team has expertise in both content (detailed subject-matter knowledge) and methodology (understanding of the different types of bias that may distort the results of observational studies). For example, specification of important confounding factors requires an
understanding of what confounding means as well as what confounders (common causes of both exposure and outcome) are likely to be present in the specific context of each study. Second, the accuracy of a risk-ofbias assessment will depend on the quality of information available about the study being assessed. We encourage reference to the maximum possible amount of available information. In addition to published papers describing the study’s methods and results, such information may be derived from unpublished reports or through correspondence with the study investigators. Third, ROBINS-E assessments require judgements based on the available information. It is therefore impossible to avoid subjectivity and between-assessor variability. However, publication of answers to signalling questions and justification for these should make risk of bias judgements transparent. It will be particularly important to justify answers to signalling questions that lead to a judgement of ‘Very high risk of bias’ within Step B of the preliminary considerations, since these imply that a full risk-of-bias assessment will not be conducted.
We believe that the ROBINS-E tool represents an important development in the integration of study assessment of human exposure, evidence synthesis and causal inference. The collaborative development of the tool, between methodologists and stakeholders from fields such as environmental, occupational, chemical, clinical and public health, has highlighted the benefits of sharing ideas and research methods across communities (Hoffmann et al., 2022; Hoffmann et al., 2022). Although ROBINS-E was iteratively developed based on the results of pilot testing with a diverse group, as it becomes more widely used across different exposure topics, it will benefit from more extensive user testing and from formal evaluation of its reliability and validity. The present version addresses only follow-up (cohort) studies, and work is ongoing to develop ROBINS-E variants for other study designs including casecontrol studies.

CRediT authorship contribution statement

Julian P.T. Higgins: Writing – review & editing, Writing – original draft, Visualization, Supervision, Resources, Project administration, Methodology, Investigation, Funding acquisition, Conceptualization. Rebecca L. Morgan: Writing – review & editing, Supervision, Resources, Project administration, Methodology, Investigation, Conceptualization. Andrew A. Rooney: Writing – review & editing, Supervision, Resources, Project administration, Methodology, Investigation, Funding acquisition, Conceptualization. Kyla W. Taylor: Writing – review & editing, Supervision, Resources, Project administration, Methodology, Investigation, Conceptualization. Kristina A. Thayer: Writing – review & editing, Supervision, Resources, Project administration, Methodology, Investigation, Conceptualization. Raquel A. Silva: Resources, Project administration. Courtney Lemeris: Visualization, Resources. Elie A. Akl: Writing – review & editing, Investigation. Thomas F. Bateson: Writing – review & editing, Investigation. Nancy D. Berkman: Writing – review & editing, Investigation. Barbara S. Glenn: Writing – review & editing, Investigation. Asbjørn Hróbjartsson: Writing – review & editing, Investigation. Judy S. LaKind: Writing – review & editing, Investigation. Alexandra McAleenan: Writing – review & editing, Investigation. Joerg J. Meerpohl: Writing – review & editing, Investigation. Rebecca M. Nachman: Writing – review & editing, Investigation. Julie E. Obbagy: Writing review & editing, Investigation. Annette O’Connor: Writing – review & editing, Investigation. Elizabeth G. Radke: Writing – review & editing, Investigation. Jelena Savović: Writing – review & editing, Investigation. Holger J. Schünemann: Writing – review & editing, Investigation, Conceptualization. Beverley Shea: Writing – review & editing, Investigation. Kate Tilling: Writing – review & editing, Investigation. Jos Verbeek: Writing – review & editing, Investigation. Meera Viswanathan: Writing – review & editing, Investigation. Jonathan A.C. Sterne: Writing – review & editing, Writing – original draft, Supervision, Resources, Project administration, Methodology, Investigation, Funding
acquisition, Conceptualization.

Declaration of competing interest

The authors declare the following financial interests/personal relationships which may be considered as potential competing interests: Judy LaKind reports receipt of support for research on systematic reviews and assessments of review processes from NCASI, the American Petroleum Institute and the National Institute of Environmental Health Sciences and served on the GRADE panel for assessing the certainty of modeled evidence. Annette O’Connor reports funding from the US National Pork Board and the United Soybean Board that includes: consulting or advisory. Jelena Savović reports a relationship with JEMMDx Limited that includes: consulting or advisory. Jelena Savović reports a relationship with Core Models Limited that includes: teaching. Kate Tilling reports a relationship with CHDI Foundation that includes: consulting or advisory. Kate Tilling reports a relationship with UK MHRA that includes: paid expert testimony. Jos Verbeek reports a relationship with World Health Organization that includes: consulting or advisory. The remaining authors report no financial interests or personal relationships that could have appeared to influence the work reported in this paper.

Data availability

No data was used for the research described in the article.

Acknowledgements

We thank researchers who pilot tested a draft version of the tool and Whitney Arroyave, Francesco Forastiere, Ellen Kirrane, Tom Luben, Ruth Lunn, Luke McGuinness, Suril Mehta, and Kyle Steenland for contributing to discussions that led to the ROBINS-E tool. We also thank Brandiese Beverly and Ellen Kirrane for helpful comments on the draft manuscript. We thank four anonymous reviewers for their helpful comments.
This work was supported by the Intramural Research Program (ES103379-01) at the National Institute of Environmental Health Sciences (NIEHS), National Institutes of Health (contract number GS00Q14OADU417 [order number HHSN273201600015U]), by the National Institute for Health and Care Research (NIHR Bristol Biomedical Research Centre; NIHR Applied Research Collaboration West; NIHR203807), by Cancer Research UK (grant number C18281/A29019) and by Health Data Research UK South-West.

Appendix A. Supplementary data

Supplementary data to this article can be found online at https://doi. org/10.1016/j.envint.2024.108602.

References

Boutron, I., Page, M.J., Higgins, J.P.T., Altman, D.G., Lundh, A., Hrobjartsson, A., 2019. Chapter 7: considering bias and conflicts of interest among the included studies. In: Higgins, J.P.T., Thomas, J., Chandler, J., Cumpston, M., Li, T., Page, M.J. (Eds.), Cochrane Handbook for Systematic Reviews of Interventions, second ed. John Wiley & Sons, Chichester (UK), pp. 177-204.
Eick, S.M., Goin, D.E., Chartres, N., Lam, J., Woodruff, T.J., 2020. Assessing risk of bias in human environmental epidemiology studies using three tools: different conclusions from different tools. Syst. Rev. 9 (1), 249.
Eick, S.M., Goin, D.E., Lam, J., Woodruff, T.J., Chartres, N., 2022. Authors’ rebuttal to integrated risk information system (IRIS) response to “assessing risk of bias in human environmental epidemiology studies using three tools: different conclusions from different tools”. Syst Rev. 11 (1), 53.
Guyatt, G.H., Oxman, A.D., Vist, G.E., Zunz, R., Falck-Ytter, Y., Alonso-Coello, P., et al., 2008. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 336 (7650), 924-926.
Guyatt, G., Oxman, A.D., Akl, E.A., Kunz, R., Vist, G., Brozek, J., et al., 2011. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. J. Clin. Epidemiol. 64 (4), 383-394.
Hernán, M.A., Hernandez-Diaz, S., Robins, J.M., 2004. A structural approach to selection bias. Epidemiol. 15 (5), 615-625.
Hernán, M.A., Robins, J.M., 2020. Causal inference: what if. Chapman & Hall/CRC, Boca Raton.
Hoffmann, S., Aiassa, E., Angrish, M., Beausoleil, C., Bois, F.Y., Ciccolallo, L., et al., 2022. Application of evidence-based methods to construct mechanism-driven chemical assessment frameworks. ALTEX 39 (3), 499-518.
Hoffmann, S., Whaley, P., Tsaioun, K., 2022. How evidence-based methodologies can help identify and reduce uncertainty in chemical risk assessment. ALTEX 39 (2), 175-182.
Lawlor, D.A., Tilling, K., Davey, S.G., 2016. Triangulation in aetiological epidemiology. Int. J. Epidemiol. 45 (6), 1866-1886.
Mansournia, M.A., Etminan, M., Danaei, G., Kaufman, J.S., Collins, G., 2017. Handling time varying confounding in observational research. BMJ 359, j4587.
Morgan, R.L., Thayer, K.A., Santesso, N., Holloway, A.C., Blain, R., Eftim, S.E., et al., 2018. Evaluation of the risk of bias in non-randomized studies of interventions (ROBINS-I) and the ‘target experiment’ concept in studies of exposures: rationale and preliminary instrument development. Environ. Int. 120, 382-387.
Morgan, R.L., Thayer, K.A., Santesso, N., Holloway, A.C., Blain, R., Eftim, S.E., et al., 2019. A risk of bias instrument for non-randomized studies of exposures: a users’ guide to its application in the context of GRADE. Environ. Int. 122, 168-184.
National Academies of Sciences Engineering and Medicine, 2022. A Review of U.S. EPA’s ORD Staff Handbook for Developing IRIS Assessments: 2020 Version. Washington DC: The National Academies Press.
National Toxicology Program, 2015. Handbook for Preparing Report on Carcinogens Monographs 2015. Available from: https://ntp.niehs.nih.gov/go/rochandbook.
National Toxicology Program, 2015. OHAT Risk of Bias Rating Tool for Human and Animal Studies 2015. Available from: https://ntp.niehs.nih.gov/go/riskbias.
Pufulete, M., Mahadevan, K., Johnson, T.W., Pithara, C., Redwood, S., Benedetto, U., et al., 2022. Confounders and co-interventions identified in non-randomized studies of interventions. J. Clin. Epidemiol. 148, 115-123.
Radke, E.G., Glenn, B.S., Kraft, A.D., 2021. Integrated risk information system (IRIS) response to “assessing risk of bias in human environmental epidemiology studies using three tools: different conclusions from different tools”. Syst Rev. 10 (1), 235.
Schunemann, H.J., Cuello, C., Akl, E.A., Mustafa, R.A., Meerpohl, J.J., Thayer, K., et al., 2018. GRADE guidelines: 18. How ROBINS-I and other tools to assess risk of bias in nonrandomized studies should be used to rate the certainty of a body of evidence. J. Clin. Epidemiol.
Steenland, K., Schubauer-Berigan, M.K., Vermeulen, R., Lunn, R.M., Straif, K., Zahm, S., et al., 2020. Risk of bias assessments and evidence syntheses for observational epidemiologic studies of environmental and occupational exposures: strengths and limitations. Environ. Health Perspect. 128 (9), 95002.
Sterne, J.A.C., 2013. Why the Cochrane risk of bias tool should not include funding source as a standard item (Editorial). Cochrane Database of Systematic Reviews. 12, ED000076.
Sterne, J.A.C., Hernán, M.A., Reeves, B.C., Savović, J., Berkman, N.D., Viswanathan, M., et al., 2016. ROBINS-I: a tool for assessing risk of bias in non-randomized studies of interventions. BMJ. 355, 14919.
Sterne, J.A., Jüni, P., Schulz, K.F., Altman, D.G., Bartlett, C., Egger, M., 2002. Statistical methods for assessing the influence of study characteristics on treatment effects in ‘meta-epidemiological’ research. Stat. Med. 21 (11), 1513-1524.
Sterne, J.A.C., Savovic, J., Page, M.J., Elbers, R.G., Blencowe, N.S., Boutron, I., et al., 2019. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 366, 14898.
TACIT: Tool for Addressing Conflicts of Interest in Trials. https://tacit.one/ (accessed 14 February 2024).
U.S. Environmental Protection Agency, 2022. ORD staff handbook for developing IRIS assessments (EPA/600/R-22/268). U.S. EPA Office of Research and Development, Washington, DC.
Woodruff, T.J., Sutton, P., 2014. The navigation guide systematic review methodology: a rigorous and transparent method for translating environmental health science into better health outcomes. Environ. Health Perspect. 122 (10), 1007-1014.
    • Corresponding author at: Population Health Sciences, Bristol Medical School, University of Bristol, 39 Whatley Road, Bristol BS8 2PS, UK.
    E-mail address: julian.higgins@bristol.ac.uk (J.P.T. Higgins).