دمج الأساليب المعتمدة على الميزات مع الشبكات العصبية البيانية والانحدار الرمزي لتحقيق أداء تآزري وقابلية للتفسير
Combining feature-based approaches with graph neural networks and symbolic regression for synergistic performance and interpretability

شارك:
المجلة: npj Computational Materials، المجلد: 12، العدد: 1
DOI: https://doi.org/10.1038/s41524-025-01938-2
تاريخ النشر: 2026-01-15
المؤلف: Rogério Almeida Gouvêa وآخرون
الموضوع الرئيسي: تعلم الآلة في علوم المواد

نظرة عامة

تقدم هذه الدراسة MatterVial، وهو إطار هجين جديد مصمم لتطبيقات التعلم الآلي المعتمدة على الميزات في علم المواد. يعزز MatterVial مساحة الميزات من خلال دمج التمثيلات الكامنة من نماذج الشبكات العصبية الرسومية (GNN) المدربة مسبقًا، بما في ذلك الشبكات المعتمدة على الهيكل (MEGNet) والشبكات المعتمدة على التركيب (ROOST) والشبكات المتساوية (ORB). يجمع بين هذه النماذج مع أوصاف مقاربة GNN وميزات جديدة مستمدة من الانحدار الرمزي، مما يدمج الشفافية الكيميائية للنماذج التقليدية مع القدرات التنبؤية للتعلم العميق.

عند تطبيقه على نموذج MODNet في مهام Matbench، يظهر MatterVial تخفيضات كبيرة في الأخطاء، محققًا مستويات أداء تنافسية، وفي بعض الحالات متفوقة على، الشبكات العصبية الرسومية الرائدة من البداية إلى النهاية، مع تحسينات في الدقة تتجاوز 40% عبر مهام متعددة. بالإضافة إلى ذلك، يتضمن الإطار وحدة تفسيرية تستخدم نماذج بديلة والانحدار الرمزي لترجمة الأوصاف المستمدة من GNN إلى معادلات واضحة وذات معنى فيزيائي. لا تعزز هذه المقاربة المتكاملة فقط معلومات المواد ولكنها تتماشى أيضًا مع مبادئ الذكاء الاصطناعي القابل للتفسير، مما يسهل اكتشاف المواد بشكل أكثر استهدافًا واستقلالية.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي للتعلم الآلي على علم المواد، لا سيما في اكتشاف المواد وتحسين الخصائص. تقارن بين منهجين رئيسيين: النماذج المعتمدة على الميزات ونماذج الشبكات العصبية الرسومية (GNN). تستخدم النماذج المعتمدة على الميزات أوصافًا محددة مسبقًا، مما يجعلها قابلة للتفسير وفعالة لمجموعات البيانات الصغيرة، بينما تستفيد GNN من التمثيلات الرسومية لالتقاط المعلومات الهيكلية المعقدة، مما يؤدي إلى توقعات أكثر دقة ولكن يتطلب موارد حسابية وبيانات كبيرة. تحدد الورقة التحدي المتمثل في تعزيز النماذج المعتمدة على الميزات لتتنافس مع GNN، مما يتطلب غالبًا عمليات استخراج ميزات واسعة النطاق.

لمعالجة هذه التحديات، يقترح المؤلفون نهجًا هجينًا يدمج الأوصاف الكيميائية التقليدية مع الميزات الكامنة المستمدة من نماذج GNN المدربة مسبقًا. تجمع هذه الاستراتيجية بين الميزات من كل من GNN المعتمدة على الهيكل وGNN المعتمدة على التركيب، جنبًا إلى جنب مع أوصاف جديدة تم إنشاؤها من خلال الانحدار الرمزي. يسهل الحزمة المطورة، MatterVial، استخراج كل من ميزات الفضاء الكامن والأوصاف الكيميائية القابلة للتفسير، باستخدام تقنيات مثل SHapley Additive exPlanations (SHAP) والانحدار الرمزي عبر Sure Independence Screening and Sparsifying Operator (SISSO). تشير النتائج إلى أن هذه المقاربة متعددة الأوجه تعزز الأداء عبر مجموعات بيانات متنوعة، متفوقة على أداة MatMiner الأساسية ونماذج GNN الفردية، مما يثبت فعالية دمج الميزات التقليدية وميزات الفضاء الكامن لتحسين التعميم في تطبيقات علم المواد.

طرق

تحدد قسم “الطرق” تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث نفذوا تجربة محكومة لتقييم تأثير المتغير X على النتيجة Y. تم جمع البيانات من خلال سلسلة من التجارب، مع ضمان توحيد الظروف لتقليل التأثيرات الخارجية. تم تطبيق التحليلات الإحصائية، بما في ذلك نماذج الانحدار وANOVA، لتقييم أهمية النتائج، مع التركيز على تحديد العلاقة بين المتغيرات المستقلة والتابعة.

بالإضافة إلى ذلك، تضمنت المنهجية استخدام أدوات وبروتوكولات محددة لضمان موثوقية وصلاحية القياسات. تم حساب حجم العينة بناءً على تحليل القوة لضمان تمثيل كافٍ وقوة النتائج. تم أيضًا معالجة الاعتبارات الأخلاقية، مع الحصول على الموافقات المناسبة قبل بدء الدراسة. بشكل عام، توفر الطرق المستخدمة إطارًا شاملاً لفهم تأثير المتغير X على النتيجة Y، مما يساهم في مجموعة المعرفة الحالية في هذا المجال.

نتائج

في هذا القسم، يقدم المؤلفون نتائج تقييمهم للنهج المقترح باستخدام معيار MatBench v0.1 جنبًا إلى جنب مع MODNet، المعترف به كنموذج رائد معتمد على الميزات في علم المواد. تستخدم الدراسة نفس ميزات MatMiner كما هو مستخدم في المنشور الأصلي لـ MODNet، مما يضمن التناسق في تمثيل الميزات.

يقدم المؤلفون ثلاث فئات من ميزات MatterVial، مع التركيز على الميزات المستمدة من الفضاء الكامن من الشبكات العصبية الرسومية الموجهة نحو الأوصاف (GNNs). يتم توليد هذه الميزات من خلال تحويل الأوصاف التقليدية للمواد إلى تمثيلات كامنة عبر مشفر تلقائي تم تدريبه على بيانات مشروع المواد (MP). تسلط الدراسة الضوء على تضمين ميزات MatMiner المستخدمة على نطاق واسع (المشار إليها بـ ℓ-MM) وتلك من أداة ميزات مصفوفة المجال المداري (المشار إليها بـ ℓ-OFM). يتم تدريب GNN لتكرار هذه الميزات الكامنة مباشرة من الهياكل المدخلة، محققًا كفاءة حسابية مقارنة بالشبكات العصبية الرسومية التقليدية مع الحفاظ على القابلية للتفسير من خلال عملية فك التشفير.

مناقشة

في هذا القسم، يقدم المؤلفون إطار عمل MatterVial، الذي يدمج الشبكات العصبية الرسومية الموجهة نحو المهام والأوصاف (GNNs) لتعزيز توقعات خصائص المواد مع الحفاظ على القابلية للتفسير. يستخدم الإطار ميزات الفضاء الكامن من نماذج GNN المدربة مسبقًا، مثل MEGNet وROOST، للتنبؤ بمختلف خصائص المواد، بما في ذلك الثوابت المرنة وفجوات النطاق. تعتبر الابتكار الكبير هو تطوير وحدة المفسر التي تقوم بتفكيك ميزات GNN عالية المستوى إلى أوصاف قابلة للتفسير، مما يجسر الفجوة بين مخرجات GNN المعقدة والنماذج المعتمدة على الميزات التقليدية.

تم التحقق من أداء نماذج MODNet المعززة بـ MatterVial مقابل معيار MatBench، مما يظهر تخفيضات كبيرة في أخطاء التنبؤ عبر مهام متعددة. من الجدير بالذكر أن دمج الميزات المستمدة من الانحدار الرمزي واستخدام نماذج GNN المجاورة قد حسّن الدقة بشكل أكبر، لا سيما في مجموعات البيانات الصغيرة حيث تتفوق النماذج المعتمدة على الميزات التقليدية. تشير النتائج إلى أن النهج الهجين لا يعزز فقط الأداء التنبؤي ولكن يحتفظ أيضًا بمستوى من القابلية للتفسير التي تعتبر حاسمة لفهم العلوم واكتشاف المواد. تؤكد هذه الدراسة على إمكانيات النمذجة المعتمدة على الميزات في معلومات المواد، داعيةً إلى نهج متوازن يجمع بين الدقة والقدرة على توضيح المبادئ الفيزيائية الأساسية.

Journal: npj Computational Materials, Volume: 12, Issue: 1
DOI: https://doi.org/10.1038/s41524-025-01938-2
Publication Date: 2026-01-15
Author(s): Rogério Almeida Gouvêa et al.
Primary Topic: Machine Learning in Materials Science

Overview

This study presents MatterVial, a novel hybrid framework designed for feature-based machine learning applications in materials science. MatterVial enhances the feature space by incorporating latent representations from various pretrained graph neural network (GNN) models, including structure-based (MEGNet), composition-based (ROOST), and equivariant (ORB) networks. It combines these with GNN-approximated descriptors and new features derived from symbolic regression, merging the chemical transparency of traditional models with the predictive capabilities of deep learning.

When applied to the MODNet model on Matbench tasks, MatterVial demonstrates substantial error reductions, achieving performance levels that are competitive with, and in some instances superior to, leading end-to-end GNNs, with accuracy improvements exceeding 40% across multiple tasks. Additionally, the framework includes an interpretability module that utilizes surrogate models and symbolic regression to translate the latent GNN-derived descriptors into explicit, physically meaningful equations. This integrated approach not only enhances materials informatics but also aligns with the principles of explainable AI, facilitating more targeted and autonomous materials discovery.

Introduction

The introduction of this research paper highlights the transformative impact of machine learning on materials science, particularly in material discovery and property optimization. It contrasts two primary methodologies: feature-based models and graph-neural-network (GNN) models. Feature-based models utilize predefined descriptors, making them interpretable and effective for smaller datasets, while GNNs leverage graph representations to capture complex structural information, yielding more accurate predictions but requiring significant computational resources and data. The paper identifies the challenge of enhancing feature-based models to compete with GNNs, often necessitating extensive feature extraction processes.

To address these challenges, the authors propose a hybrid approach that integrates traditional chemical descriptors with latent features derived from pretrained GNN models. This strategy combines features from both structure-based and composition-based GNNs, alongside new descriptors generated through symbolic regression. The developed package, MatterVial, facilitates the extraction of both latent-space features and interpretable chemical descriptors, employing techniques such as SHapley Additive exPlanations (SHAP) and symbolic regression via Sure Independence Screening and Sparsifying Operator (SISSO). The results indicate that this multifaceted approach enhances performance across various datasets, outperforming the baseline MatMiner featurizer and individual GNN models, thereby demonstrating the efficacy of combining traditional and latent-space features for improved generalization in materials science applications.

Methods

The “Methods” section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, implementing a controlled experiment to assess the impact of variable X on outcome Y. Data were collected through a series of trials, ensuring that conditions were standardized to minimize external influences. Statistical analyses, including regression models and ANOVA, were applied to evaluate the significance of the results, with a focus on determining the relationship between the independent and dependent variables.

Additionally, the methodology involved the use of specific instruments and protocols to ensure the reliability and validity of the measurements. The sample size was calculated based on power analysis to ensure adequate representation and robustness of the findings. Ethical considerations were also addressed, with appropriate approvals obtained prior to the commencement of the study. Overall, the methods employed provide a comprehensive framework for understanding the effects of variable X on outcome Y, contributing to the field’s existing body of knowledge.

Results

In this section, the authors present the results of their evaluation of the proposed approach using the MatBench v0.1 benchmark alongside MODNet, recognized as the leading feature-based model in materials science. The study employs the same MatMiner featurization as utilized in the original MODNet publication, ensuring consistency in feature representation.

The authors introduce three categories of MatterVial features, with a focus on latent-space features derived from descriptor-oriented Graph Neural Networks (GNNs). These features are generated by transforming conventional material descriptors into latent representations through an autoencoder trained on Materials Project (MP) data. The study highlights the inclusion of widely used MatMiner features (denoted as ℓ-MM) and those from the Orbital Field Matrix featurizer (denoted as ℓ-OFM). The GNN is trained to replicate these latent features directly from input structures, achieving computational efficiency comparable to traditional GNNs while maintaining interpretability through the decoding process.

Discussion

In this section, the authors present the MatterVial framework, which integrates task-oriented and descriptor-oriented graph neural networks (GNNs) to enhance material property predictions while maintaining interpretability. The framework utilizes latent-space features from pretrained GNN models, such as MEGNet and ROOST, to predict various material properties, including elastic constants and band gaps. A significant innovation is the development of an Interpreter module that decomposes high-level GNN features into interpretable descriptors, thus bridging the gap between complex GNN outputs and traditional feature-based models.

The performance of the MatterVial-enhanced MODNet models was validated against the MatBench benchmark, demonstrating substantial reductions in prediction errors across multiple tasks. Notably, the integration of symbolic regression-derived features and the use of adjacent GNN models further improved accuracy, particularly in smaller datasets where traditional feature-based models excel. The results indicate that the hybrid approach not only enhances predictive performance but also retains a level of interpretability that is crucial for scientific understanding and materials discovery. This work underscores the potential of feature-based modeling in materials informatics, advocating for a balanced approach that combines accuracy with the ability to elucidate underlying physical principles.

شارك: