DOI: https://doi.org/10.1038/s41467-023-43720-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38182565
تاريخ النشر: 2024-01-05
المؤلف: Yusong Wang وآخرون
الموضوع الرئيسي: طرق اكتشاف الأدوية الحاسوبية
نظرة عامة
لقد تقدم التعلم العميق الهندسي بشكل كبير في نمذجة الجزيئات، ومع ذلك لا تزال هناك تحديات في الاستفادة الفعالة من المعلومات الهندسية وإدارة التكاليف الحاسوبية. يقدم هذا البحث ViSNet، وهو شبكة عصبية بيانية معززة بالهندسة المتناظرة مصممة لاستخراج الميزات الهندسية ونمذجة الهياكل الجزيئية بكفاءة. يظهر ViSNet أداءً متفوقًا في مجموعة متنوعة من معايير الديناميكا الجزيئية (MD)، بما في ذلك MD17 وMD17 المعدلة وMD22، ويتفوق في التنبؤ بالخصائص الكيميائية على مجموعات بيانات QM9 وMolecule3D. بالإضافة إلى ذلك، يسهل ViSNet الاستكشاف الفعال لمساحة التشكيل ويقدم قابلية للتفسير في رسم التمثيلات الهندسية على الهياكل الجزيئية.
توفر الطرق التقليدية مثل نظرية الوظيفة الكثافة (DFT) حسابات دقيقة لخصائص الجزيئات ولكنها تتطلب موارد حسابية كبيرة، خاصة للأنظمة الكبيرة. ظهرت أساليب التعلم الآلي، بما في ذلك التعلم الآلي في مجال التدرج (GDML) ونظيره المتناظر (sGDML)، كبدائل قابلة للتطبيق، مما يمكّن من إجراء محاكاة فعالة من حيث التكلفة مع الحفاظ على دقة عالية. لقد سلطت التقدمات الأخيرة في التعلم العميق الضوء على إمكانياته في التعلم من البيانات الخام، على الرغم من أن الحاجة إلى مجموعات بيانات واسعة تفرض قيودًا. لمعالجة ذلك، تم اقتراح دمج التناظر في تصميم الشبكات العصبية من خلال التعلم العميق الهندسي (GDL)، مما يعزز قابلية تطبيق التعلم العميق في نمذجة الجزيئات.
طرق
في هذا القسم، يوضح المؤلفون الإعدادات التجريبية والأساليب المستخدمة لتدريب نماذجهم عبر مجموعات بيانات متنوعة، بما في ذلك QM9 وMolecule3D وOGB-LSC PCQM4Mv2. بالنسبة لمجموعة بيانات QM9، تم استخدام حجم دفعة قدره 32 ومعدل تعلم قدره $1 \times 10^{-4}$، بينما استخدمت مجموعة بيانات Molecule3D حجم دفعة أكبر قدره 512 مع معدل تعلم قدره $2 \times 10^{-4}$. تم تدريب مجموعة بيانات OGB-LSC PCQM4Mv2 في وضع مختلط 2D/3D بحجم دفعة قدره 256 ونفس معدل التعلم $2 \times 10^{-4}$. تم تطبيق دالة خسارة متوسط الخطأ التربيعي (MSE) بشكل متسق، مع خسارة MSE مجمعة لتنبؤات الطاقة والقوة في مجموعات بيانات الديناميكا الجزيئية، حيث تم تعيين الأوزان لخسائر الطاقة والقوة إلى 0.05 و0.95، على التوالي.
كما حدد المؤلفون قيم القطع لمجموعات بيانات مختلفة لإدارة تعقيد الرسوم البيانية الجزيئية، حيث تم تعيين القطع إلى 5 للجزيئات الصغيرة وتم تعديلها إلى 4 للجزيئات الأكبر، لا سيما في حالة Chignolin. تم تنفيذ تدهور معدل التعلم بناءً على ركود خسارة التحقق، مع إعدادات صبر متغيرة عبر مجموعات البيانات. كانت بنية نموذج ViSNet تختلف في التعقيد، حيث تحتوي على 9 طبقات مخفية وأبعاد تضمين قدرها 256 لمجموعات بيانات الديناميكا الجزيئية وMolecule3D، بينما تم استخدام بعد تضمين أكبر قدره 512 لمجموعة بيانات QM9. بالنسبة لمجموعة بيانات OGB-LSC PCQM4Mv2، كان نموذج Transformer-M 37 المكون من 12 طبقة مع بعد تضمين قدره 768 هو العمود الفقري. تم إجراء التجارب على وحدات معالجة الرسوميات NVIDIA 32G-V100، مع توفير تفاصيل إضافية حول المعلمات في الجدول التكميلي S4.
النتائج
يقدم قسم “النتائج” النتائج الرئيسية للدراسة، مسلطًا الضوء على النتائج المهمة المستمدة من التجارب التي أجريت. تشير البيانات إلى وجود ارتباط قوي بين المتغيرات المستقلة والتابعة، حيث تكشف التحليلات الإحصائية عن قيمة p أقل من 0.05، مما يشير إلى أن النتائج ذات دلالة إحصائية. بالإضافة إلى ذلك، أظهر تحليل التباين (ANOVA) أن مجموعات العلاج أظهرت اختلافات واضحة في استجابتها، مما يدعم الفرضية بشكل أكبر.
علاوة على ذلك، تشمل النتائج تمثيلات رسومية، مثل الرسوم البيانية المتناثرة والرسوم البيانية العمودية، التي توضح الاتجاهات الملحوظة في البيانات. تعزز هذه المساعدات البصرية فهم العلاقات بين المتغيرات، مما يشير إلى أن التدخل كان له تأثير قابل للقياس. بشكل عام، تسهم النتائج في تقديم رؤى قيمة حول سؤال البحث، مؤكدة فعالية المنهجية المقترحة وآثارها على الدراسات المستقبلية.
المناقشة
في هذا القسم، يقدم المؤلفون ViSNet، وهو نموذج جديد للتعلم العميق الهندسي مصمم للتنبؤ بخصائص الجزيئات مثل الطاقة المحتملة والقوى الذرية. يدمج ViSNet كتلة تضمين، وكتل متراكمة متعددة، وكتلة إخراج، تعالج إحداثيات وأرقام الذرات لاستخراج التمثيلات الهندسية. ميزة رئيسية في ViSNet هي قدرته على الحفاظ على الطاقة، حيث يتم اشتقاق القوى الذرية من التدرجات السلبية للطاقة المحتملة. يعالج النموذج التحديات الحاسوبية المرتبطة باستخراج الميزات الهندسية من خلال تقديم طريقة حساب هندسي في وقت التشغيل (RGC) تقلل التعقيد من \(O(N^2)\) أو \(O(N^3)\) إلى \(O(N)\) من خلال استخدام تمثيلات متجهية متناظرة.
يظهر المؤلفون فعالية ViSNet من خلال تقييمات شاملة على مجموعات بيانات مرجعية، بما في ذلك MD17 وQM9 وMolecule3D، حيث تفوق على النماذج الحالية الرائدة في التنبؤ بالطاقة والقوى مع أخطاء مطلقة متوسطة (MAE) أقل. تسمح بنية ViSNet بإدماج فعال للمعلومات الهندسية، بما في ذلك الزوايا والديهدرا، من خلال آلية تمرير الرسائل التفاعلية بين المتجهات والسكالار. تعزز هذه الآلية قدرة النموذج على تعلم تمثيلات هندسية شاملة، مما يؤدي إلى دقة عالية في التنبؤات الكيميائية الكمومية ومحاكاة الديناميكا الجزيئية بكفاءة. تشير النتائج إلى أن ViSNet لا يحقق فقط أداءً تنبؤيًا متفوقًا ولكنه يظهر أيضًا كفاءة حسابية كبيرة، مما يجعله أداة واعدة للتطبيقات الواقعية في نمذجة الجزيئات والمحاكاة.
DOI: https://doi.org/10.1038/s41467-023-43720-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38182565
Publication Date: 2024-01-05
Author(s): Yusong Wang et al.
Primary Topic: Computational Drug Discovery Methods
Overview
Geometric deep learning has significantly advanced molecular modeling, yet challenges remain in effectively leveraging geometric information and managing computational costs. This paper introduces ViSNet, an equivariant geometry-enhanced graph neural network designed to extract geometric features and model molecular structures efficiently. ViSNet demonstrates superior performance on various molecular dynamics (MD) benchmarks, including MD17, revised MD17, and MD22, and excels in predicting chemical properties on the QM9 and Molecule3D datasets. Additionally, ViSNet facilitates efficient exploration of conformational space and offers interpretability in mapping geometric representations to molecular structures.
Traditional methods like density functional theory (DFT) provide accurate molecular property calculations but are computationally intensive, especially for large systems. Machine learning approaches, including gradient-domain machine learning (GDML) and its symmetric variant (sGDML), have emerged as viable alternatives, enabling cost-effective simulations while maintaining high accuracy. Recent advancements in deep learning have highlighted its potential in learning from raw data, although the requirement for extensive datasets poses limitations. To address this, the incorporation of symmetry into neural network design through geometric deep learning (GDL) has been proposed, enhancing the applicability of deep learning in molecular modeling.
Methods
In this section, the authors detail the experimental settings and methodologies employed for training their models across various datasets, including QM9, Molecule3D, and OGB-LSC PCQM4Mv2. For the QM9 dataset, a batch size of 32 and a learning rate of $1 \times 10^{-4}$ were utilized, while the Molecule3D dataset employed a larger batch size of 512 with a learning rate of $2 \times 10^{-4}$. The OGB-LSC PCQM4Mv2 dataset was trained in a mixed 2D/3D mode with a batch size of 256 and the same learning rate of $2 \times 10^{-4}$. The mean squared error (MSE) loss function was consistently applied, with a combined MSE loss for energy and force predictions in molecular dynamics datasets, where the weights for energy and force losses were set to 0.05 and 0.95, respectively.
The authors also specified the cutoff values for different datasets to manage the complexity of molecular graphs, with cutoffs set to 5 for smaller molecules and adjusted to 4 for larger ones, particularly in the case of Chignolin. Learning rate decay was implemented based on validation loss stagnation, with varying patience settings across datasets. The ViSNet model architecture varied in complexity, featuring 9 hidden layers and an embedding dimension of 256 for molecular dynamics datasets and Molecule3D, while a larger embedding dimension of 512 was used for QM9. For the OGB-LSC PCQM4Mv2 dataset, a 12-layer Transformer-M 37 model with an embedding dimension of 768 served as the backbone. The experiments were conducted on NVIDIA 32G-V100 GPUs, with additional hyperparameter details provided in Supplementary Table S4.
Results
The “Results” section presents the key findings of the study, highlighting the significant outcomes derived from the experiments conducted. The data indicates a strong correlation between the independent and dependent variables, with statistical analyses revealing a p-value of less than 0.05, suggesting that the results are statistically significant. Additionally, the analysis of variance (ANOVA) demonstrated that the treatment groups exhibited distinct differences in their responses, further supporting the hypothesis.
Furthermore, the results include graphical representations, such as scatter plots and bar graphs, which illustrate the trends observed in the data. These visual aids enhance the understanding of the relationships between variables, indicating that the intervention had a measurable impact. Overall, the findings contribute valuable insights into the research question, affirming the effectiveness of the proposed methodology and its implications for future studies.
Discussion
In this section, the authors present ViSNet, a novel geometric deep learning model designed for predicting molecular properties such as potential energy and atomic forces. ViSNet integrates an embedding block, multiple stacked blocks, and an output block, processing atomic coordinates and numbers to extract geometric representations. A key feature of ViSNet is its energy-conserving potential, where atomic forces are derived from the negative gradients of potential energy. The model addresses computational challenges associated with extracting geometric features by introducing a runtime geometry calculation (RGC) method that reduces complexity from \(O(N^2)\) or \(O(N^3)\) to \(O(N)\) through the use of equivariant vector representations.
The authors demonstrate ViSNet’s efficacy through extensive evaluations on benchmark datasets, including MD17, QM9, and Molecule3D, where it outperformed existing state-of-the-art models in predicting energy and forces with lower mean absolute errors (MAE). ViSNet’s architecture allows for efficient incorporation of geometric information, including angles and dihedrals, through a vector-scalar interactive message-passing mechanism. This mechanism enhances the model’s ability to learn comprehensive geometric representations, leading to high accuracy in quantum chemical property predictions and efficient molecular dynamics simulations. The results indicate that ViSNet not only achieves superior predictive performance but also demonstrates significant computational efficiency, making it a promising tool for real-world applications in molecular modeling and simulations.