DOI: https://doi.org/10.1038/s41467-025-67495-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41688426
تاريخ النشر: 2026-02-13
المؤلف: Roman Joeres وآخرون
الموضوع الرئيسي: طرق اكتشاف الأدوية الحاسوبية
نظرة عامة
في هذا الملحق لمخطوطتنا المنشورة سابقًا، نقوم بتقييم أداة DataSAIL، التي تقوم بأتمتة تقسيم مجموعات البيانات لتعلم الآلة مع تقليل تسرب المعلومات بين مجموعات التدريب والتحقق والاختبار. يمتد تحليلنا إلى ما هو أبعد من المقارنة الأولية بين DataSAIL والأدوات الموجودة ليشمل مقارنة مع تقسيمات البيانات المحددة مسبقًا من عدة مجموعات بيانات مرجعية، مع التركيز بشكل خاص على درجة التسرب $L(\pi)$ كما هو محدد في عملنا الأصلي. نحن ندمج مجموعات بيانات إضافية، بما في ذلك PINDER ومجموعة بيانات معيارية بشرية لتوقع تفاعلات البروتين-بروتين (PPI)، لتعزيز قوة نتائجنا.
استخدمت الدراسة الأصلية طريقة تقسيم قائمة على التشابه من DataSAIL، محققة فصل 80:20 لبيانات التدريب والاختبار، مما استلزم إعادة تقييم قياسات التسرب مقارنة بالتقسيمات المحددة مسبقًا المقدمة من مؤلفي MoleculeNet. من الجدير بالذكر أنه بينما تستخدم تقسيمات MoleculeNet الموصى بها بشكل أساسي تقسيم البيانات العشوائي، مع بعض الاستثناءات للتقسيمات الطبقية والهيكلية، تظهر نتائجنا باستمرار أن تقسيمات DataSAIL تؤدي إلى تقليل تسرب البيانات عبر جميع مجموعات البيانات التي تم تحليلها. وهذا يبرز فعالية DataSAIL في إنتاج تقسيمات بيانات أكثر موثوقية لتطبيقات تعلم الآلة.
نقاش
في مناقشة مجموعة بيانات LP-PDBBind، يؤكد المؤلفون على تصميم مجموعة البيانات لتقليل تسرب البيانات من خلال فرض حدود تشابه صارمة بين تقسيمات التدريب والتحقق والاختبار. على وجه التحديد، يحافظون على هوية تسلسل البروتين القصوى بنسبة 50% بين مجموعة التدريب والتقسيمات الأخرى، و90% بين مجموعات التحقق والاختبار، إلى جانب حد تشابه اللجند 0.99. يتناقض هذا مع نهج DataSAIL، الذي يركز على تقليل تسرب المعلومات بشكل عام. تم هيكلة مجموعة بيانات LP-PDBBind بحوالي 61% للتدريب، و26% للتحقق، و13% للاختبار، مما يستلزم إعادة معايرة في تقسيمات DataSAIL لتتوافق مع هذه النسب.
تقدم مجموعة بيانات PLINDER، التي تتضمن تفاعلات البروتين-لجند، ثلاثة تقسيمات مع تعقيد متنوع، الأكثر تعقيدًا هو PLINDER-PL50. يستخدم هذا التقسيم مقاييس تشابه متعددة لضمان أن مجموعة الاختبار تتكون من أنظمة ذات تشابه ضئيل مع تلك الموجودة في مجموعات التدريب أو التحقق. بالإضافة إلى ذلك، تستخدم مجموعة بيانات PINDER، المشتقة من قاعدة بيانات RCSB NextGen، تقنيات تجميع متقدمة لتقليل تسرب البيانات في تقييمات تفاعلات البروتين-بروتين (PPI). أخيرًا، تسلط مجموعة بيانات “المعيار الذهبي” لتفاعل البروتين-بروتين البشري التي طورها بيرنيت وآخرون الضوء على عيوب الاعتماد على تحيز البيانات في أداء النموذج، داعية إلى إطار تقييم أكثر صرامة يحافظ على توازن التفاعل مع تقليل التكرار.
DOI: https://doi.org/10.1038/s41467-025-67495-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41688426
Publication Date: 2026-02-13
Author(s): Roman Joeres et al.
Primary Topic: Computational Drug Discovery Methods
Overview
In this addendum to our previously published manuscript, we further evaluate the DataSAIL tool, which automates the splitting of datasets for machine learning while minimizing information leakage between training, validation, and test sets. Our analysis extends beyond the initial comparison of DataSAIL with existing tools to include a comparison with predefined data splits from several benchmark datasets, specifically focusing on the leakage score $L(\pi)$ as defined in our original work. We incorporate additional datasets, including PINDER and a human gold-standard dataset for protein-protein interaction (PPI) prediction, to enhance the robustness of our findings.
The original study utilized DataSAIL’s similarity-based splitting method, achieving an 80:20 separation for training and test data, which necessitated a reevaluation of leakage measurements compared to the predefined splits provided by the authors of MoleculeNet. Notably, while MoleculeNet’s recommended splits primarily employ random data division, with some exceptions for stratified and scaffold splits, our results consistently demonstrate that DataSAIL splits result in reduced data leakage across all datasets analyzed. This underscores the effectiveness of DataSAIL in producing more reliable data splits for machine learning applications.
Discussion
In the discussion of the LP-PDBBind dataset, the authors emphasize the dataset’s design to minimize data leakage by enforcing strict similarity limits between training, validation, and test splits. Specifically, they maintain a maximum protein sequence identity of 50% between the training and other splits, and 90% between validation and test sets, alongside a ligand similarity cap of 0.99. This contrasts with the DataSAIL approach, which focuses on minimizing overall information leakage. The LP-PDBBind dataset is structured with approximately 61% training, 26% validation, and 13% test data, necessitating recalibrations in the DataSAIL splits to align with these proportions.
The PLINDER dataset, which includes protein-ligand interactions, offers three splits with varying complexity, the most intricate being PLINDER-PL50. This split utilizes multiple similarity metrics to ensure that the test set comprises systems with minimal similarity to those in the training or validation sets. Additionally, the PINDER dataset, derived from the RCSB NextGen database, employs advanced clustering techniques to minimize data leakage in protein-protein interaction (PPI) assessments. Finally, the “gold standard” human PPI dataset developed by Bernett et al. highlights the pitfalls of reliance on data bias in model performance, advocating for a more rigorous evaluation framework that preserves interaction balance while mitigating redundancy.