DOI: https://doi.org/10.1088/2632-2153/ae7d85
تاريخ النشر: 2026-06-01
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: تعلم الآلة في علوم المواد
نظرة عامة
في هذا القسم، يتناول المؤلفون قيود المقاييس الثنائية التقليدية—التميز (U)، الجدة (N)، والاستقرار (S)—المستخدمة في تقييم النماذج التوليدية للمواد الوظيفية. تعتمد هذه المقاييس التقليدية على المقارنات الثنائية، مما يمكن أن يؤدي إلى مشاكل مثل الحساسية للاختلالات في الإحداثيات الذرية وغياب الثبات عند تبديل العينات. للتغلب على هذه التحديات، يقترح المؤلفون نسخًا مستمرة من هذه المقاييس، تُعرف مجتمعة باسم “SUN المستمر” (cSUN). توفر هذه المقياس الجديد توزيع درجات أكثر دقة وتعزز القدرة على تصنيف المرشحين بشكل فعال، مما يسهل تحديد المواد الواعدة.
يظهر المؤلفون أن cSUN لا يقدم فقط مزايا نظرية، مثل القوة ضد التحولات الذرية الطفيفة، ولكنه يعمل أيضًا كإشارة مكافأة فعالة في سياقات التعلم المعزز. تساعد خطة الوزن القابلة للتعديل لـ cSUN في التخفيف من مشاكل مثل اختراق المكافآت والحد الأدنى المحلي. تشمل اتجاهات البحث المستقبلية استكشاف وظائف المسافة القابلة للتعلم لمقاييس التميز والجدة المستمرة، بالإضافة إلى تطوير وظائف استقرار أكثر تعقيدًا تأخذ في الاعتبار قابلية التركيب المعتمدة على التركيب. يهدف المؤلفون إلى أن تصبح مقاييسهم معيارًا لتقييم النماذج التوليدية، مما يعزز البحث في هذا المجال الحاسم.
مقدمة
تتناول مقدمة هذه الورقة البحثية التحديات في التصميم الفعال للبلورات الوظيفية، مع التأكيد على قيود الطرق التقليدية التي تعتمد على المعرفة الخبيرة والتحقق التجريبي. تعتبر هذه الأساليب غير فعالة في مواجهة القضايا العاجلة المتعلقة بالطاقة والبيئة، مما يدفع نحو التحول إلى نماذج توليدية تعتمد على التعلم الآلي (ML). يمكن لهذه النماذج استكشاف مجموعة واسعة من المركبات المرشحة بسرعة من خلال الاستفادة من قواعد بيانات واسعة من البلورات المعروفة. ومع ذلك، يتطلب المجال المتنامي لنماذج البلورات التوليدية مقاييس تقييم قوية لتقييم أداء النموذج بشكل فعال.
تنتقد الورقة المقاييس الحالية—التميز (U)، الجدة (N)، والاستقرار (S)—لأنها تعتمد على التقييمات الثنائية التي تفشل في التقاط الفروق الدقيقة في تشابه البلورات واستقرارها. يبرز المؤلفون بشكل خاص أن الطرق الحالية لا تأخذ في الاعتبار التغيرات الهيكلية الصغيرة بشكل كافٍ وغالبًا ما تتجاهل المرشحين المحتملين المثيرين للاهتمام بناءً على عتبات صارمة. للتغلب على هذه القيود، تقترح الدراسة إطار تقييم مستمر يُعرف باسم SUN المستمر (cSUN)، والذي يستخدم مقاييس مسافة مستمرة للتميز والجدة، ومقياس استقرار مُحسّن يعتمد على دالة مستمرة للطاقة فوق القمة المحدبة. يسمح هذا النهج الجديد بتقييم أكثر دقة للعينات المولدة ويقدم أوزان قابلة للتعديل لإعطاء الأولوية لمكونات التقييم المختلفة. يستكشف المؤلفون أيضًا دمج التعلم المعزز (RL) لتحسين النماذج التوليدية نحو تحقيق درجات cSUN أعلى، مما يعزز تحديد المرشحين الواعدين من البلورات.
طرق
في هذا القسم، يصف المؤلفون منهجيتهم التجريبية باستخدام إطار Chemeleon2، الذي يعتمد على بنية انتشار كامنة. تتكون عملية التدريب من ثلاث مراحل: أولاً، يتم استخدام مشفر تلقائي متغير (VAE) لتضمين هياكل البلورات في مساحة كامنة مستمرة؛ ثانيًا، يتم تدريب نموذج انتشار داخل هذه المساحة الكامنة مع ثوابت VAE ثابتة؛ وأخيرًا، يتم تحسين نموذج الانتشار باستخدام خوارزمية التعلم المعزز المعروفة باسم تحسين السياسة النسبية الجماعية (GRPO). يعدل المؤلفون دالة المكافأة لتعزيز أداء النموذج، مع التركيز بشكل خاص على مقاييس SUN smat وSUN elm+am، مع الاحتفاظ بمجموعة البيانات الأصلية (MP20) وتكوينات التدريب.
تقوم الدراسة بتقييم 10,000 هيكل تم إنشاؤه بواسطة سبعة نماذج توليدية مختلفة، بما في ذلك CDVAE، DiffCSP، DiffCSP++، MatterGen، Chemeleon-DNG، ADiT، وChemeleon2، جميعها مدربة على مجموعة بيانات MP20 لأخذ عينات البلورات من جديد. تم إجراء الحصول على البيانات للنماذج باستخدام قواعد التعليمات البرمجية الرسمية ونقاط التحقق المدربة مسبقًا، مع مجموعات متاحة للجمهور تضم 10,000 هيكل لبعض النماذج. تم تقييم الجدة مقابل مجموعة تدريب MP20، وتم قياس الاستقرار الديناميكي الحراري من خلال التنبؤ بطاقة التكوين لكل مرشح باستخدام مجال القوة التعلم الآلي MACE-MPA-0، تلاه حساب الطاقة فوق القمة المحدبة (E_hull) بالنسبة لقاعدة بيانات مشروع المواد.
النتائج
في قسم النتائج، تقدم الأشكال 3 و4 و9 تمثيلات بصرية لدرجات U وN وSUN لكل نموذج، باستخدام مخططات شريطية للوضوح. يرافق هذه الأشكال، تقدم الجداول S1 وS2 وS3 الدرجات العددية الفعلية. بشكل خاص، توضح الجدول S3 درجات SUN لمختلف النماذج التوليدية عبر مسافات مختلفة، مع إبراز أعلى درجة في كل صف بخط عريض والثانية الأعلى بخط تحت. من المهم ملاحظة أن مجموعة اختبار MP20 تعمل كخط أساس وليست مدرجة في تصنيف الدرجات.
المناقشة
في هذا القسم، يناقش المؤلفون المقاييس الحيوية للتميز والجدة لتقييم النماذج التوليدية في تصميم البلورات. يتم تعريف التميز من خلال نهجين: مقياس منفصل $U(x_i)$ ومقياس مستمر $cU(x_i)$، وكلاهما يقيس عدم التشابه بين العينات المولدة. درجة تميز النموذج هي متوسط درجات التميز الفردية، مع قيم أعلى تشير إلى تنوع أكبر بين العينات المولدة. يبرز المؤلفون قيود وظائف المسافة المنفصلة التقليدية، وخاصة $d_{smat}$، ويدعون إلى مقاييس المسافة المستمرة التي توفر تقييمًا أكثر دقة لهياكل البلورات.
من ناحية أخرى، تقيس الجدة عدم التشابه بين العينات المولدة وبيانات التدريب، باستخدام صيغ منفصلة ومستمر مشابهة. يؤكد المؤلفون أن الاعتماد فقط على التميز غير كافٍ، حيث قد تنتج النماذج مخرجات ليست سوى تباينات للهياكل الموجودة. يقدمون مجموعة متنوعة من وظائف المسافة، بما في ذلك $d_{elm}$ و$d_{am}$، والتي تسمح بتقييم أكثر تفصيلاً للاختلافات التركيبية والهيكلية. تختتم القسم بمناقشة الحاجة إلى مقياس استقرار مستمر لتقييم قابلية تركيب البلورات المولدة، مقترحة في النهاية مقياس موحد مستمر (cSUN) يجمع بين التميز والجدة والاستقرار في إطار تقييم واحد. يهدف هذا النهج الشامل إلى تعزيز تقييم النماذج التوليدية في تصميم البلورات، مع معالجة قيود المقاييس الحالية.
DOI: https://doi.org/10.1088/2632-2153/ae7d85
Publication Date: 2026-06-01
Author(s): Zhenyun Du et al.
Primary Topic: Machine Learning in Materials Science
Overview
In this section, the authors address the limitations of traditional binary metrics—uniqueness (U), novelty (N), and stability (S)—used in evaluating generative models for functional materials. These conventional metrics rely on binary comparisons, which can lead to issues such as sensitivity to atomic coordinate perturbations and a lack of invariance to sample permutation. To overcome these challenges, the authors propose continuous versions of these metrics, collectively termed “continuous SUN” (cSUN). This new metric provides a more nuanced score distribution and enhances the ability to rank candidates effectively, thereby facilitating the identification of promising materials.
The authors demonstrate that cSUN not only offers theoretical advantages, such as robustness against minor atomic shifts but also serves as an effective reward signal in reinforcement learning contexts. The adjustable weighting scheme of cSUN helps mitigate issues like reward hacking and local minima. Future research directions include the exploration of learnable distance functions for continuous uniqueness and novelty metrics, as well as the development of more sophisticated stability functions that account for composition-dependent synthesizability. The authors aim for their metrics to become a standard for evaluating generative models, thereby advancing research in this critical area.
Introduction
The introduction of this research paper addresses the challenges in the efficient design of functional crystals, emphasizing the limitations of traditional methods that rely on expert knowledge and experimental validation. These approaches are deemed inefficient for tackling urgent energy and environmental issues, prompting a shift towards machine learning (ML) generative models. These models can rapidly explore a vast array of candidate compounds by leveraging extensive databases of known crystals. However, the burgeoning field of crystal generative models necessitates robust evaluation metrics to assess model performance effectively.
The paper critiques existing metrics—uniqueness (U), novelty (N), and stability (S)—for their reliance on binary assessments that fail to capture the nuances of crystal similarity and stability. Specifically, the authors highlight that current methods do not adequately account for small structural variations and often discard potentially interesting candidates based on rigid thresholds. To overcome these limitations, the study proposes a continuous evaluation framework termed continuous SUN (cSUN), which employs continuous distance measures for U and N, and a refined stability metric based on a continuous function of energy above the convex hull. This new approach allows for a more nuanced assessment of generated samples and introduces tunable weights to prioritize different evaluation components. The authors also explore the integration of reinforcement learning (RL) to optimize generative models towards achieving higher cSUN scores, thereby enhancing the identification of promising crystal candidates.
Methods
In this section, the authors describe their experimental methodology utilizing the Chemeleon2 framework, which is based on a latent diffusion architecture. The training process consists of three stages: first, a Variational Autoencoder (VAE) is employed to embed crystal structures into a continuous latent space; second, a diffusion model is trained within this latent space with fixed VAE parameters; and finally, the diffusion model is refined using a reinforcement learning algorithm known as Group Relative Policy Optimization (GRPO). The authors modify the reward function to enhance the model’s performance, specifically focusing on the SUN smat and SUN elm+am metrics, while retaining the original dataset (MP20) and training configurations.
The study evaluates 10,000 structures generated by seven different generative models, including CDVAE, DiffCSP, DiffCSP++, MatterGen, Chemeleon-DNG, ADiT, and Chemeleon2, all trained on the MP20 dataset for de novo crystal sampling. Data acquisition for the models was conducted using official codebases and pre-trained checkpoints, with publicly available sets of 10,000 structures for some models. Novelty was assessed against the MP20 training set, and thermodynamic stability was quantified by predicting the formation energy of each candidate using the MACE-MPA-0 machine learning force field, followed by calculating the energy above the convex hull (E_hull) in relation to the Materials Project database.
Results
In the results section, Figures 3, 4, and 9 provide visual representations of the U, N, and SUN scores for each model, utilizing strip plots for clarity. Accompanying these figures, Tables S1, S2, and S3 present the actual numerical scores. Specifically, Table S3 details the SUN scores for various generative models across different distances, highlighting the highest score in each row in bold and the second highest with an underline. It is important to note that the MP20 Test set serves as a baseline and is not included in the ranking of scores.
Discussion
In this section, the authors discuss the critical metrics of uniqueness and novelty for evaluating generative models in crystal design. Uniqueness is defined through two approaches: a discrete metric $U(x_i)$ and a continuous metric $cU(x_i)$, both measuring the dissimilarity of generated samples from one another. The uniqueness score of a model is the mean of individual uniqueness scores, with higher values indicating greater diversity among generated samples. The authors highlight the limitations of traditional discrete distance functions, particularly $d_{smat}$, and advocate for continuous distance metrics that provide a more nuanced evaluation of crystal structures.
Novelty, on the other hand, quantifies the dissimilarity between generated samples and the training data, using similar discrete and continuous formulations. The authors emphasize that relying solely on uniqueness is insufficient, as models may produce outputs that are merely variations of existing structures. They introduce various distance functions, including $d_{elm}$ and $d_{am}$, which allow for a more granular assessment of both compositional and structural differences. The section concludes with a discussion of the need for a continuous stability metric to evaluate the synthesizability of generated crystals, ultimately proposing a continuous unified metric (cSUN) that combines uniqueness, novelty, and stability into a single evaluative framework. This comprehensive approach aims to enhance the assessment of generative models in crystal design, addressing the limitations of existing metrics.