توقع دقيق وقابل للتفسير للطلب الكيميائي على الأكسجين باستخدام خوارزميات التعزيز القابلة للتفسير مع تحليل SHAP Accurate and interpretable prediction of chemical oxygen demand using explainable boosting algorithms with SHAP analysis

شارك:
المجلة: Scientific Reports، المجلد: 16، العدد: 1
DOI: https://doi.org/10.1038/s41598-026-38757-4
PMID: https://pubmed.ncbi.nlm.nih.gov/41688515
تاريخ النشر: 2026-02-13
المؤلف: Khaled Merabet وآخرون
الموضوع الرئيسي: مراقبة وتحليل جودة المياه

نظرة عامة

تستكشف هذه الدراسة القدرات التنبؤية لستة نماذج تعزيز جماعي—AdaBoost وCatBoost وXGBoost وLightGBM وHistGBRT وNGBoost—لتقدير الطلب الكيميائي على الأكسجين (COD) بناءً على معايير جودة المياه المختلفة. باستخدام بيانات من محطتين رصد في كوريا الجنوبية، تم تقييم أداء النماذج باستخدام مقاييس مثل RMSE وMAE وR وNSE وPBIAS، مع تقييم القابلية للتفسير من خلال SHapley Additive exPlanations (SHAP). كشفت النتائج أن NGBoost تفوق على النماذج الأخرى في محطة تويلتشون (R = 0.979، NSE = 0.958، RMSE = 0.397 ملغ/لتر)، بينما تفوق CatBoost في هوانغجي (R = 0.861، NSE = 0.733، RMSE = 0.477 ملغ/لتر). أبرز تحليل SHAP الكربون العضوي الكلي (TOC) وطلب الأكسجين البيوكيميائي (BOD₅) والمواد الصلبة العالقة (SS) كعوامل رئيسية تؤثر على تباين COD.

تؤكد الأبحاث على أهمية تقييم النماذج بما يتجاوز دقة التدريب، كما يتضح من مشاكل الإفراط في التكيف في XGBoost على الرغم من الأداء العالي أثناء التدريب. بينما تعزز التنبؤات الاحتمالية لـ NGBoost فهم عدم اليقين في النموذج، تعترف الدراسة بالقيود مثل الحاجة إلى معايرة عدم اليقين بشكل صريح والتحديات المتعلقة بتعميم النتائج عبر أحواض مختلفة. تشمل اتجاهات البحث المستقبلية استكشاف التحقق عبر المواقع، وقابلية التطبيق في الوقت الحقيقي، ودمج تقنيات الرصد المستمر لتحسين الفائدة العملية لهذه النماذج في إدارة جودة المياه ودعم القرارات البيئية. بشكل عام، توفر مجموعة NGBoost وCatBoost إطارًا قويًا لتقدير دقيق لـ COD وتحليل مفيد لديناميات جودة المياه.

الطرق

تحدد قسم “المواد والطرق” في ورقة البحث التصميم التجريبي والإجراءات المستخدمة للتحقيق في سؤال البحث. يوضح المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، ومعدات، وعينات بيولوجية، لضمان إمكانية تكرار الدراسة. تشمل المنهجية التقنيات المطبقة لجمع البيانات وتحليلها، مثل الأساليب الإحصائية، والبروتوكولات التجريبية، وأي أدوات حاسوبية مستخدمة.

بالإضافة إلى ذلك، قد يصف القسم حجم العينة، وظروف التحكم، وأي اعتبارات أخلاقية تم أخذها في الاعتبار أثناء البحث. من خلال تقديم نظرة شاملة على الطرق، يهدف هذا القسم إلى تمكين الباحثين الآخرين من تكرار الدراسة والتحقق من النتائج المقدمة في الأقسام اللاحقة من الورقة.

النتائج

يقيم قسم النتائج في الدراسة أداء ستة نماذج تعزيز—AdaBoost وCatBoost وXGBoost وHistGBRT وLightGBM وNGBoost—في التنبؤ بقيم الطلب الكيميائي على الأكسجين (COD) عبر محطتين رصد، هوانغجي وتويلتشون. تم هيكلة التحليل إلى تقييمات رياضية، وتصويرات، وتفسيرات باستخدام SHAP (تفسيرات شابلي الإضافية). تشير النتائج إلى أن CatBoost تفوق على النماذج الأخرى، محققًا أعلى معاملات تحديد ($R^2$) تبلغ حوالي 0.71 لهوانغجي و0.95 لتويلتشون. بينما أظهرت جميع النماذج ميلاً للتقليل من تقدير الحد الأدنى لقيم COD، أظهر XGBoost أداءً أفضل قليلاً في التقاط هذه القيم المتطرفة. يشير التحيز المنهجي نحو الاتجاه المركزي إلى أن النماذج أكثر قدرة على التنبؤ بمستويات التلوث المتوسطة بدلاً من تركيزات COD المنخفضة.

أكملت تقنيات التصوير، بما في ذلك الرسوم البيانية المتناثرة، والصناديق، والقيثارات، التقييمات الإحصائية، كاشفة أن النماذج تتماشى عن كثب مع البيانات الملاحظة، خاصة في تويلتشون. أبرز تحليل SHAP أهمية الكربون العضوي الكلي (TOC) وطلب الأكسجين البيوكيميائي (BOD₅) والمواد الصلبة العالقة (SS) كمتنبئين رئيسيين لـ COD، مع تحديد TOC باستمرار كأكثر المتغيرات تأثيرًا عبر النماذج. تؤكد الدراسة على الحاجة إلى تفسيرات محلية لبيانات جودة المياه، حيث اختلفت الأهمية النسبية للميزات بين المحطتين، مما يشير إلى مصادر تلوث مختلفة. تؤكد النتائج على إمكانية استخدام طرق التعلم الجماعي في نمذجة المعلمات الهيدرولوجية المعقدة مثل COD بدقة، بينما تحدد أيضًا القيود المتعلقة بتنوع مجموعة البيانات ونطاق معايير جودة المياه التي تم تحليلها. يُشجع البحث المستقبلي على دمج مجموعات بيانات أكثر تنوعًا ومؤشرات جودة مياه إضافية لتعزيز الدقة التنبؤية.

المناقشة

في هذه الدراسة، تم تقييم أداء ستة نماذج تعلم آلي جماعي قائمة على التعزيز—AdaBoost وCatBoost وHistGBRT وLightGBM وNGBoost وXGBoost—لتنبؤ تركيزات الطلب الكيميائي على الأكسجين (COD) في محطتي رصد تويلتشون وهوانغجي في كوريا الجنوبية. تم تقييم النماذج باستخدام بيانات جودة المياه والتدفق على المدى الطويل، مع التركيز على قدرتها على التعميم على مجموعات بيانات التحقق غير المرئية. تشير النتائج الرئيسية إلى أنه بينما أظهر XGBoost دقة عالية أثناء التدريب، إلا أنه أظهر إفراطًا كبيرًا في التكيف، مما أدى إلى أداء أقل على بيانات التحقق. بالمقابل، تفوق NGBoost وCatBoost باستمرار على النماذج الأخرى، خاصة من حيث الاستقرار والدقة التنبؤية، كما يتضح من مقاييس مثل معامل الارتباط ($R$) وكفاءة ناش-سوتكليف ($NSE$).

كشف التحليل أن اختيار معلمات الإدخال أثر بشكل كبير على أداء النموذج، حيث كان أداء CatBoost الأفضل عند استخدام جميع المؤشرات العشر المتاحة. ومع ذلك، حافظ NGBoost على مقاييس تحقق متفوقة، مما يبرز قوته في التعامل مع الطبيعة العشوائية لبيانات جودة المياه. تؤكد الدراسة على أهمية اختيار النماذج المناسبة التي توازن بين التعقيد والتعميم لتجنب النتائج المضللة في الرصد البيئي. يجب أن يركز البحث المستقبلي على تحسين مدخلات النموذج واستكشاف تقنيات تعلم آلي إضافية لتعزيز القدرات التنبؤية لتقييمات جودة المياه.

Journal: Scientific Reports, Volume: 16, Issue: 1
DOI: https://doi.org/10.1038/s41598-026-38757-4
PMID: https://pubmed.ncbi.nlm.nih.gov/41688515
Publication Date: 2026-02-13
Author(s): Khaled Merabet et al.
Primary Topic: Water Quality Monitoring and Analysis

Overview

This study investigates the predictive capabilities of six ensemble boosting models—AdaBoost, CatBoost, XGBoost, LightGBM, HistGBRT, and NGBoost—for estimating Chemical Oxygen Demand (COD) based on various water quality parameters. Utilizing data from two monitoring stations in South Korea, the models were evaluated on their performance using metrics such as RMSE, MAE, R, NSE, and PBIAS, with interpretability assessed through SHapley Additive exPlanations (SHAP). The findings revealed that NGBoost outperformed the other models at the Toilchun station (R = 0.979, NSE = 0.958, RMSE = 0.397 mg/L), while CatBoost excelled at Hwangji (R = 0.861, NSE = 0.733, RMSE = 0.477 mg/L). SHAP analysis highlighted total organic carbon (TOC), biochemical oxygen demand (BOD₅), and suspended solids (SS) as key factors influencing COD variability.

The research underscores the importance of model evaluation beyond training accuracy, as evidenced by XGBoost’s overfitting issues despite high training performance. While NGBoost’s probabilistic predictions enhance understanding of model uncertainty, the study acknowledges limitations such as the need for explicit uncertainty calibration and the challenges of generalizing results across different basins. Future research directions include the exploration of cross-site validation, real-time applicability, and the integration of continuous monitoring technologies to improve the practical utility of these models in water quality management and environmental decision support. Overall, the combination of NGBoost and CatBoost offers a robust framework for accurate COD estimation and insightful analysis of water quality dynamics.

Methods

The “Materials and Methods” section of the research paper outlines the experimental design and procedures employed to investigate the research question. It details the specific materials used, including any reagents, equipment, and biological samples, ensuring reproducibility of the study. The methodology encompasses the techniques applied for data collection and analysis, such as statistical methods, experimental protocols, and any computational tools utilized.

Additionally, the section may describe the sample size, control conditions, and any ethical considerations taken into account during the research. By providing a comprehensive overview of the methods, this section aims to enable other researchers to replicate the study and validate the findings presented in subsequent sections of the paper.

Results

The results section of the study evaluates the performance of six boosting models—AdaBoost, CatBoost, XGBoost, HistGBRT, LightGBM, and NGBoost—in predicting Chemical Oxygen Demand (COD) values across two monitoring stations, Hwangji and Toilchun. The analysis is structured into mathematical evaluations, visualizations, and interpretations using SHAP (Shapley Additive Explanations). The findings indicate that CatBoost outperformed other models, achieving the highest coefficients of determination ($R^2$) of approximately 0.71 for Hwangji and 0.95 for Toilchun. While all models exhibited a tendency to underpredict minimum COD values, XGBoost showed slightly better performance in capturing these extremes. The systematic bias towards central tendency suggests that the models are more adept at predicting average pollution levels rather than low COD concentrations.

Visualization techniques, including scatter, box, and violin plots, complemented the statistical evaluations, revealing that the models aligned closely with observed data, particularly at Toilchun. SHAP analysis highlighted the importance of Total Organic Carbon (TOC), Biochemical Oxygen Demand (BOD₅), and Suspended Solids (SS) as key predictors of COD, with TOC consistently identified as the most influential variable across models. The study emphasizes the need for localized interpretations of water quality data, as the relative importance of features varied between the two stations, suggesting different pollution sources. The results underscore the potential of ensemble learning methods in accurately modeling complex hydroenvironmental parameters like COD, while also identifying limitations related to dataset variability and the range of water quality parameters analyzed. Future research is encouraged to incorporate more diverse datasets and additional water quality indicators to enhance predictive accuracy.

Discussion

In this study, the performance of six boosting-based ensemble machine learning models—AdaBoost, CatBoost, HistGBRT, LightGBM, NGBoost, and XGBoost—was evaluated for predicting Chemical Oxygen Demand (COD) concentrations at the Toilchun and Hwangji monitoring stations in South Korea. The models were assessed using long-term water quality and discharge data, with a focus on their ability to generalize to unseen validation datasets. Key findings indicate that while XGBoost demonstrated high accuracy during training, it exhibited significant overfitting, resulting in lower performance on validation data. In contrast, NGBoost and CatBoost consistently outperformed the other models, particularly in terms of stability and predictive accuracy, as evidenced by metrics such as the correlation coefficient ($R$) and Nash-Sutcliffe efficiency ($NSE$).

The analysis revealed that the choice of input parameters significantly influenced model performance, with CatBoost performing best when utilizing all ten available indicators. However, NGBoost maintained superior validation metrics, highlighting its robustness in handling the stochastic nature of water quality data. The study emphasizes the importance of selecting appropriate models that balance complexity and generalization to avoid misleading results in environmental monitoring. Future research should focus on refining model inputs and exploring additional machine learning techniques to enhance predictive capabilities for water quality assessments.