DOI: https://doi.org/10.1186/s12874-024-02198-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38589814
تاريخ النشر: 2024-04-08
المؤلف: Mojtaba Hassanzad وآخرون
الموضوع الرئيسي: تشخيص وعلاج الإنتان
نظرة عامة
يتناول هذا القسم من ورقة البحث تطبيق تحليل خصائص التشغيل المستقبلية (ROC) في تحديد النقاط القطعية المثلى للعلامات الحيوية في الدراسات التشخيصية. يقدم إطارًا لاختيار هذه النقاط القطعية، مع تسليط الضوء على طرق مختلفة مثل مؤشر يودن، مؤشر إقليدس، مؤشر المنتج، ونسبة الاحتمالات التشخيصية (DOR). يتم توضيح الأهمية السريرية لهذه الطرق من خلال مثال يتضمن علامات حيوية مثل بروتين C التفاعلي (CRP)، ومعدل ترسيب كريات الدم الحمراء (ESR)، ومالونديالديهايد (MDA) في التنبؤ بمرض الأمعاء الالتهابي (IBD) باستخدام برنامج NCSS.
تشير النتائج إلى أنه بالنسبة لـ CRP وMDA، كانت النقاط القطعية المستمدة من طرق يودن، إقليدس، المنتج، ومؤشر الاتحاد متسقة في التنبؤ بـ IBD. في المقابل، بالنسبة لـ ESR، كانت النتائج مشابهة فقط باستخدام طريقتي إقليدس والمنتج. ومن الجدير بالذكر أن طريقة DOR أنتجت قيم نقاط قطع أكثر تطرفًا عبر جميع العلامات الحيوية التي تم تحليلها. تختتم المراجعة بالقول إنه بينما يمكن أن تنتج الطرق الأربع نقاط قطع مثلى مشابهة للأزواج الثنائية ذات التباين المتكافئ، قد تظهر اختلافات مع التوزيعات المنحرفة، خاصة مع مؤشر يودن. علاوة على ذلك، قد لا توفر طريقة DOR نقاط قطع معلوماتية صالحة، مما يشير إلى الحاجة إلى مزيد من دراسات محاكاة مونت كارلو لاستكشاف تأثير ظروف توزيع نتائج الاختبار على النتائج التشخيصية السريرية.
مقدمة
تتناول مقدمة ورقة البحث التحدي الحاسم في تقييم الاختبارات التشخيصية في البيئات السريرية، مع التأكيد على أهمية الحساسية (Se) والخصوصية (Sp) كقياسات رئيسية لدقة التشخيص. تمثل Se احتمال الحصول على نتيجة اختبار إيجابية بين الأفراد الذين يعانون من الحالة المستهدفة (TC)، بينما تشير Sp إلى احتمال الحصول على نتيجة سلبية بين أولئك الذين لا يعانون من TC. بالإضافة إلى ذلك، يتم تسليط الضوء على القيمة التنبؤية الإيجابية (PPV) والقيمة التنبؤية السلبية (NPV) كمعايير حاسمة للأطباء، على الرغم من تأثرها بانتشار TC في السكان. تهدف الورقة إلى تقديم مراجعة شاملة لتحليل خصائص التشغيل المستقبلية (ROC) وطرق اختيار النقاط القطعية المثلى للعلامات الحيوية المستمرة، موضحة هذه المفاهيم باستخدام بيانات سريرية.
تناقش المقدمة أيضًا الآثار العملية للاختبارات التشخيصية، بما في ذلك استخدامها المقصود (مثل “التأكيد” أو “الاستبعاد”) وأهمية اختيار قيم القطع المناسبة بناءً على السياق السريري. تنتقد مؤشر يودن لاختيار القطع بسبب وزنه المتساوي لـ Se وSp، مما قد لا يتماشى مع الأولويات السريرية، خاصة في السيناريوهات ذات المخاطر العالية مثل فحص السرطان. يتناول القسم أيضًا التحيزات المحتملة في الاختبارات التشخيصية، مثل تحيز التحقق وتحليل العمل، والتي يمكن أن تشوه تقييم دقة الاختبار. يؤكد المؤلفون على الحاجة إلى النظر بعناية في هذه التحيزات والسياق الذي يتم فيه تطبيق الاختبارات التشخيصية لضمان اتخاذ قرارات سريرية موثوقة.
طرق
في هذا القسم، يناقش المؤلفون طرقًا مختلفة لتحديد القيمة القطعية المثلى للعلامات الحيوية الكمية، مع التأكيد على أهمية تحقيق التوازن بين الحساسية (Se) والخصوصية (Sp) بناءً على سياق المرض الذي يتم اختباره. يحددون عدة طرق معتمدة، بما في ذلك إحصائية J الخاصة بـ يودن، والمسافة الإقليدية، ونسبة الاحتمالات التشخيصية (DOR)، مشيرين إلى أن كل طريقة لها افتراضاتها الفريدة ويتم اختيارها بناءً على الأهمية النسبية لـ Se وSp. يبرز المؤلفون أنه بينما تنتج بعض الطرق نقاط قطع مشابهة تحت ظروف معينة، يمكن أن تنتج DOR نتائج غير موثوقة، خاصة عندما تختلف التباينات بين المجموعات.
كما يلخص المؤلفون النتائج من دراسات متعددة تقارن هذه الطرق. على سبيل المثال، تم التوصية بشكل متكرر بإحصائية J الخاصة بـ يودن والمسافة الإقليدية بسبب أهميتها السريرية وسهولة فهمها. في دراسة سريرية شملت مرضى يعانون من مرض الأمعاء الالتهابي (IBD) وأشخاص أصحاء، استخدم المؤلفون تحليل ROC غير المعلمي لاشتقاق المساحة تحت المنحنى (AUC) لمختلف العلامات الحيوية وحساب نقاط القطع المثلى باستخدام طرق متعددة. تهدف هذه المقاربة الشاملة إلى تعزيز دقة التشخيص للعلامات الحيوية في البيئات السريرية، مما يضمن أن قيم القطع المختارة قوية إحصائيًا وذات صلة سريرية.
نتائج
تشير النتائج إلى وجود اختلافات كبيرة في توزيع العلامات الحيوية—بروتين C التفاعلي (CRP)، ومعدل ترسيب كريات الدم الحمراء (ESR)، ومالونديالديهايد (MDA)—بين مرضى مرض الأمعاء الالتهابي (IBD) والأفراد الأصحاء. يكشف مخطط الكثافة أن مستويات CRP في الأفراد الأصحاء تتبع توزيعًا طبيعيًا، بينما في مرضى IBD، يكون التوزيع منحرفًا نحو اليمين مع ذيل بارز. يظهر ESR إطالة على اليمين لكلتا المجموعتين، لكن المدى أكبر في المرضى. تعرض قيم MDA توزيعًا ثنائي القمة في كلا المجموعتين.
تظهر منحنيات خصائص التشغيل المستقبلية (ROC) غير المعلمية، كما هو موضح في الجدول 2 والشكل 4، أن جميع العلامات الحيوية الثلاثة تمتلك قوة تنبؤية كبيرة لـ IBD، حيث يظهر CRP أعلى دقة تشخيصية. النقطة القطعية المثلى لـ CRP، التي تم تحديدها بواسطة طرق يودن، إقليدس، والمنتج، هي أقل بقليل من 6 ملغ/لتر، مع حساسية (Se) وخصوصية (Sp) متسقة. بالنسبة لـ ESR، تتماشى قيم القطع عبر طرق إقليدس، المنتج، وIU، لكن طريقة يودن تقترح نقطة قطع أعلى (39 مم/ساعة) مع حساسية أقل. النقطة القطعية المثلى لـ MDA هي 1.7 ميكرومول/لتر لطرق إقليدس، المنتج، وIU، بينما تشير طريقة يودن إلى قيمة أعلى تبلغ 2.1 ميكرومول/لتر، وتقترح طريقة DOR نقطة قطع أعلى تبلغ 2.3 ميكرومول/لتر، مما يعكس توازنًا بين دقة التشخيص والحساسية.
مناقشة
في هذا القسم، يناقش المؤلفون أهمية منحنى خصائص التشغيل المستقبلية (ROC) في تحديد القيم القطعية المثلى للعلامات الحيوية الكمية في الطب التشخيصي. يوضح منحنى ROC التوازن بين الحساسية (Se) ومعدل الإيجابيات الكاذبة (1-Sp)، مع كون المساحة تحت المنحنى (AUC) مؤشرًا رئيسيًا لدقة التشخيص. يتم استكشاف طرق مختلفة لحساب النقطة القطعية المثلى، بما في ذلك مؤشر يودن، المسافة الإقليدية، ومؤشر الاتحاد (IU)، كل منها له مزاياه وقيوده الخاصة. يبرز المؤلفون أنه بينما يُعترف بمؤشر يودن على نطاق واسع لأهميته السريرية، قد تنتج طرق أخرى نتائج أكثر دقة تحت ظروف توزيع معينة.
تكشف النتائج من التحقيق السريري للمؤلفين حول علامات مرض الأمعاء الالتهابي (IBD) أن الطرق المختلفة يمكن أن تنتج قيم قطع مثلى متفاوتة، خاصة في وجود توزيعات منحرفة أو ثنائية القمة. ومن الجدير بالذكر أن مؤشر يودن غالبًا ما قدم قيم قطع أعلى مقارنة بطرق إقليدس وIU، بينما كانت نسبة الاحتمالات التشخيصية (DOR) تنتج باستمرار قيمًا متطرفة تفتقر إلى الموثوقية. يؤكد المؤلفون على الحاجة إلى مزيد من محاكاة مونت كارلو لفهم كيفية تأثير خصائص التوزيع على اتساق اختيار النقاط القطعية عبر طرق مختلفة. بشكل عام، تؤكد الدراسة على أهمية اختيار المنهجيات المناسبة لتحديد النقاط القطعية لتعزيز دقة التشخيص في الممارسة السريرية.
DOI: https://doi.org/10.1186/s12874-024-02198-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38589814
Publication Date: 2024-04-08
Author(s): Mojtaba Hassanzad et al.
Primary Topic: Sepsis Diagnosis and Treatment
Overview
This section of the research paper discusses the application of Receiver Operating Characteristic (ROC) analysis in determining optimal cut-points for biomarkers in diagnostic studies. It presents a framework for selecting these cut-points, highlighting various methods such as the Youden index, Euclidean index, Product index, and Diagnostic Odds Ratio (DOR). The clinical relevance of these methods is illustrated through an example involving biomarkers like C-reactive protein (CRP), erythrocyte sedimentation rate (ESR), and malondialdehyde (MDA) in predicting inflammatory bowel disease (IBD) using NCSS software.
The findings indicate that for CRP and MDA, the cut-points derived from the Youden, Euclidean, Product, and Union index methods were consistent in predicting IBD. In contrast, for ESR, only the Euclidean and Product methods yielded similar results. Notably, the DOR method produced more extreme cut-point values across all biomarkers analyzed. The review concludes that while the four methods can yield similar optimal cut-points for binormal pairs with equivalent variance, discrepancies may arise with skewed distributions, particularly with the Youden index. Furthermore, the DOR method may not provide valid informative cut-points, suggesting a need for further Monte Carlo simulation studies to explore the impact of test result distribution conditions on clinical diagnostic outcomes.
Introduction
The introduction of the research paper addresses the critical challenge of evaluating diagnostic tests in clinical settings, emphasizing the importance of sensitivity (Se) and specificity (Sp) as key measures of diagnostic accuracy. Se represents the probability of a positive test result among individuals with the target condition (TC), while Sp indicates the probability of a negative result among those without TC. Additionally, the positive predictive value (PPV) and negative predictive value (NPV) are highlighted as crucial metrics for clinicians, although they are influenced by the prevalence of TC in the population. The paper aims to provide a comprehensive review of Receiver Operating Characteristic (ROC) analysis and methods for selecting optimal cut-points for continuous biomarkers, illustrating these concepts with clinical data.
The introduction further discusses the practical implications of diagnostic tests, including their intended use (e.g., “rule in” or “rule out”) and the importance of selecting appropriate cut-off values based on clinical context. It critiques the Youden index for cut-off selection due to its equal weighting of Se and Sp, which may not align with clinical priorities, particularly in high-stakes scenarios like cancer screening. The section also addresses potential biases in diagnostic testing, such as verification bias and work-up bias, which can distort the evaluation of test accuracy. The authors underscore the need for careful consideration of these biases and the context in which diagnostic tests are applied to ensure reliable clinical decision-making.
Methods
In this section, the authors discuss various methods for determining the optimal cut-off value for quantitative biomarkers, emphasizing the importance of balancing sensitivity (Se) and specificity (Sp) based on the context of the disease being tested. They outline several established methods, including Youden’s J statistic, Euclidean distance, and the diagnostic odds ratio (DOR), noting that each method has unique assumptions and is chosen based on the relative importance of Se and Sp. The authors highlight that while some methods yield similar cut-off points under certain conditions, the DOR can produce unreliable results, particularly when variances differ between groups.
The authors also summarize findings from multiple studies comparing these methods. For instance, Youden’s J statistic and Euclidean distance were frequently recommended due to their clinical significance and ease of understanding. In a clinical study involving patients with inflammatory bowel disease (IBD) and healthy controls, the authors employed nonparametric ROC analysis to derive the area under the curve (AUC) for various biomarkers and calculated optimal cut-off points using multiple methods. This comprehensive approach aims to enhance the diagnostic accuracy of biomarkers in clinical settings, ensuring that the chosen cut-off values are both statistically robust and clinically relevant.
Results
The results indicate significant differences in the distribution of biomarkers—C-reactive protein (CRP), erythrocyte sedimentation rate (ESR), and malondialdehyde (MDA)—between inflammatory bowel disease (IBD) patients and healthy individuals. The density plot reveals that CRP levels in healthy individuals follow a normal distribution, while in IBD patients, the distribution is right-skewed with a pronounced tail. ESR shows elongation on the right for both groups, but the extent is greater in patients. MDA values exhibit a bimodal distribution in both cohorts.
Nonparametric receiver operating characteristic (ROC) curves, as presented in Table 2 and Figure 4, demonstrate that all three biomarkers possess significant predictive power for IBD, with CRP exhibiting the highest diagnostic accuracy. The optimal cutoff point for CRP, determined by the Youden, Euclidean, and Product methods, is slightly below 6 mg/L, with consistent sensitivity (Se) and specificity (Sp). For ESR, the cutoff values align across the Euclidean, Product, and IU methods, but the Youden method suggests a higher cutoff (39 mm/h) with lower sensitivity. MDA’s optimal cutoff is 1.7 μmol/L for the Euclidean, Product, and IU methods, while the Youden method indicates a higher value of 2.1 μmol/L, and the DOR method suggests an even higher cutoff of 2.3 μmol/L, reflecting a trade-off between diagnostic accuracy and sensitivity.
Discussion
In this section, the authors discuss the significance of the Receiver Operating Characteristic (ROC) curve in determining optimal cut-off values for quantitative biomarkers in diagnostic medicine. The ROC curve illustrates the trade-off between sensitivity (Se) and the false positive rate (1-Sp), with the area under the curve (AUC) serving as a key indicator of diagnostic accuracy. Various methods for calculating the optimal cut-off point are explored, including the Youden index, Euclidean distance, and Index of Union (IU), each with its own advantages and limitations. The authors highlight that while the Youden index is widely recognized for its clinical relevance, other methods may yield more accurate results under specific distribution conditions.
The findings from the authors’ clinical investigation of inflammatory bowel disease (IBD) biomarkers reveal that different methods can produce varying optimal cut-off values, particularly in the presence of skewed or bimodal distributions. Notably, the Youden index often provided higher cut-off values compared to the Euclidean and IU methods, while the Diagnostic Odds Ratio (DOR) consistently yielded extreme values that lacked reliability. The authors emphasize the need for further Monte Carlo simulations to better understand how distribution characteristics affect the consistency of cut-point selection across different methods. Overall, the study underscores the importance of selecting appropriate methodologies for cut-point determination to enhance diagnostic accuracy in clinical practice.