DOI: https://doi.org/10.1186/s13321-026-01252-z
PMID: https://pubmed.ncbi.nlm.nih.gov/42547887
تاريخ النشر: 2026-07-29
المؤلف: Afnan Sultan وآخرون
الموضوع الرئيسي: طرق اكتشاف الأدوية الحاسوبية
نظرة عامة
في السنوات الأخيرة، أصبحت نماذج المحولات الجزيئية أدوات أساسية في اكتشاف الأدوية، حيث تم تدريبها مسبقًا على مجموعات بيانات واسعة مثل ZINC وChEMBL. تقيّم هذه الدراسة فعالية هذا التدريب المسبق في توقع خصائص الجزيئات وتحدد القيود في المنهجيات الحالية. تكشف النتائج أن زيادة حجم مجموعة بيانات التدريب المسبق إلى ما يتجاوز حوالي 400K-800K جزيء لا يؤدي إلى تحسينات كبيرة في الأداء عبر نقاط نهاية ADME المختلفة، بما في ذلك المحبة للدهون، النفاذية، والذوبانية. على العكس من ذلك، فإن التكيف مع المجال باستخدام مجموعة بيانات صغيرة وذات صلة (≤ 4K جزيئات) مع نهج الانحدار متعدد المهام يعزز بشكل كبير أداء النموذج، محققًا تحسينات ذات دلالة إحصائية (قيمة P < 0.001). كانت التكوينات المثلى التي تم تحديدها نموذجًا تم تدريبه مسبقًا على حوالي 400K جزيء وتكيف مع بيانات محددة المجال، والتي تفوقت على نماذج المحولات الأكبر مثل MolFormer وتطابقت مع أداء MolBERT. بالإضافة إلى ذلك، تسلط الدراسة الضوء على أن دمج الميزات المستندة إلى الكيمياء يؤدي باستمرار إلى نتائج أفضل مقارنة بأساليب التعلم الآلي التقليدية، مثل الغابات العشوائية. بينما تظل الغابات العشوائية معايير قوية، تؤكد الأبحاث على أهمية مواءمة التدريب المسبق والتكيف مع المهام والبيانات ذات الصلة كيميائيًا، مما يشير إلى أن هذه الاستراتيجيات حاسمة في تعزيز قدرات توقع خصائص الجزيئات. النماذج التي تم تطويرها في هذه الدراسة متاحة على HuggingFace للاستخدام والتكيف الإضافي.
مقدمة
تناقش مقدمة ورقة البحث أهمية توقع خصائص الجزيئات (MPP) في الكيمياء المعلوماتية وتصميم الأدوية، مع تسليط الضوء على التحديات التي تطرحها مجموعات البيانات المحدودة وتعقيدات توصيف خصائص الجزيئات. تعتمد طرق التعلم الخاضع للإشراف التقليدية على موصوفات جزيئية محددة مسبقًا، والتي يمكن أن تكون مقيدة، بينما تتطلب الأساليب المعتمدة على البيانات مثل التعلم العميق مجموعات بيانات موسومة كبيرة غالبًا ما تكون غير متاحة. لمعالجة هذه القيود، ظهرت التعلم الذاتي الخاضع للإشراف (SSL) كبديل واعد، مما يمكّن النماذج من التعلم من مجموعات بيانات غير موسومة كبيرة من خلال اكتشاف العلاقات الجوهرية داخل البيانات. تؤكد الورقة على نجاح نماذج المحولات المعتمدة على SSL في معالجة اللغة الطبيعية وإمكانية تطبيقها في تمثيلات الجزيئات.
يحدد المؤلفون قيود نماذج المحولات الجزيئية الحالية، لا سيما من حيث اعتمادها على مجموعات بيانات تدريب مسبق واسعة والتحديات المتعلقة بالتكيف مع المجال. يقترحون أن التكيف مع المجال (DA) يمكن أن يعزز أداء النموذج من خلال إدخال بيانات محددة المجال ذات الصلة أثناء التدريب الإضافي. تهدف الدراسة إلى التحقيق في تأثير حجم مجموعة بيانات التدريب المسبق وأهداف DA المختلفة على أداء MPP. تشير النتائج الأولية إلى أن زيادة حجم مجموعة بيانات التدريب المسبق تؤدي إلى عوائد متناقصة، بينما يؤدي استخدام أهداف محددة المجال، لا سيما الانحدار متعدد المهام (MTR)، إلى تحسين دقة التوقع بشكل كبير عبر مجموعات بيانات متعددة. تشير النتائج إلى أن الاستفادة من استراتيجيات التدريب المستندة إلى الكيمياء يمكن أن تؤدي إلى نماذج أكثر فعالية وكفاءة حسابية لتوقع خصائص الجزيئات.
طرق
في هذه الدراسة، استخدم المؤلفون نموذجًا مشابهًا لـ BERT تم تدريبه بهدف نمذجة اللغة المقنعة (MLM) باستخدام مجموعة بيانات GuacaMol، تلاها التكيف مع المجال على معيار ADME. استخدم التكيف إما هدف MLM أو أهداف محددة المجال مثل تمثيل المهام الجزيئية (MTR) والتعلم التبايني (CL). للتحقيق في تأثير حجم مجموعة بيانات التدريب المسبق على الأداء اللاحق، تم تدريب نماذج متعددة بأحجام مختلفة من مجموعات بيانات التدريب المسبق.
تحدد هذه القسم بنية وأساليب تدريب النماذج، موضحة كل هدف تدريبي والنهج لزيادة حجم مجموعة بيانات التدريب المسبق. بالإضافة إلى ذلك، تسرد النماذج الأدبية المستخدمة كمعايير وتصف عملية التقييم. جعل المؤلفون كودهم وبياناتهم وتحليلهم متاحين للجمهور على مستودع GitHub الخاص بهم، مما يسهل المزيد من البحث في مجال المحولات الجزيئية.
نتائج
في هذا القسم، يقدم المؤلفون نتائجهم بشأن تأثير زيادة حجم مجموعة بيانات التدريب المسبق على أداء النموذج. يظهرون أن مجموعات البيانات الأكبر تؤدي إلى نتائج محسنة، مما يبرز أهمية حجم البيانات في تعزيز فعالية النموذج. بالإضافة إلى ذلك، تستكشف الدراسة مزايا تنفيذ التكيف مع المجال (DA)، الذي يعزز الأداء بشكل أكبر من خلال تخصيص النموذج لسياقات تطبيق محددة.
تشير النتائج إلى أن التكوينات الأكثر كفاءة وعالية الأداء تتجاوز النماذج الحالية الموثقة في الأدبيات. تؤكد هذه المقارنة فعالية المنهجيات المقترحة، مما يشير إلى أن كل من حجم مجموعة البيانات والتكيف مع المجال هما عاملان حاسمان في تحقيق أداء نموذجي متفوق. يخلص المؤلفون إلى أن نهجهم لا يعزز فقط الفهم الحالي لديناميات تدريب النموذج، بل يضع أيضًا معيارًا جديدًا للبحث المستقبلي في هذا المجال.
نقاش
في هذه الدراسة، يقوم المؤلفون بتدريب نموذج محول باستخدام مجموعة بيانات GuacaMol، التي تتكون من حوالي 1.3 مليون جزيء تم تصفيتها من قاعدة بيانات ChEMBL، لتقييم أدائه على خصائص ADME (الامتصاص، التوزيع، الأيض، الإخراج). يحدث تدريب النموذج في ثلاث مراحل: التدريب المسبق على مجموعة بيانات GuacaMol، التكيف مع المجال باستخدام مجموعة بيانات ADME غير الموسومة، والتقييم على مجموعة بيانات ADME الموسومة. يستخدم التدريب المسبق هدف نمذجة اللغة المقنعة (MLM)، بينما يستخدم التكيف مع المجال أهداف الانحدار متعدد المهام (MTR) والتعلم التبايني (CL). تشير النتائج إلى أنه بينما يعزز التدريب المسبق الأداء، فإن التحسينات تتوقف بعد حجم مجموعة بيانات معين، حيث تحقق مجموعة البيانات بنسبة 30% (حوالي 400,000 جزيء) نتائج تنافسية مقارنة بمجموعات البيانات الأكبر.
تشمل مقاييس التقييم متوسط الخطأ المطلق (MAE) ومعامل التحديد ($R^2$)، مما يكشف أنه على الرغم من تحقيق دلالة إحصائية، تظل مقاييس الأداء المطلقة منخفضة نسبيًا، مما يبرز التحديات في نمذجة العلاقات المعقدة بدقة بين الهياكل الجزيئية والخصائص. تختتم الدراسة بأن دمج الأهداف المستندة إلى الكيمياء ومواءمة تكيف النموذج مع البيانات ذات الصلة بالمهام أمران حاسمان لتعزيز أداء نموذج المحولات في توقع خصائص الجزيئات. من الجدير بالذكر أن النموذج الهجين الذي يجمع بين MLM للتدريب المسبق وMTR للتكيف مع المجال يظهر أداءً متفوقًا مقارنة بنماذج المحولات الأكبر، مما يبرز إمكانيات استراتيجيات التدريب المسبق الفعالة في هذا المجال.
DOI: https://doi.org/10.1186/s13321-026-01252-z
PMID: https://pubmed.ncbi.nlm.nih.gov/42547887
Publication Date: 2026-07-29
Author(s): Afnan Sultan et al.
Primary Topic: Computational Drug Discovery Methods
Overview
In recent years, molecular transformer models have become essential tools in drug discovery, primarily pre-trained on extensive datasets like ZINC and ChEMBL. This study evaluates the effectiveness of such pre-training for molecular property prediction and identifies limitations in current methodologies. The findings reveal that increasing the pre-training dataset size beyond approximately 400K-800K molecules does not yield significant performance improvements across various ADME endpoints, including lipophilicity, permeability, and solubility. Conversely, domain adaptation using a small, relevant dataset (≤ 4K molecules) with a multi-task regression approach significantly enhances model performance, achieving statistically significant improvements (P-value < 0.001). The optimal configuration identified was a model pre-trained on approximately 400K molecules and adapted with domain-specific data, which outperformed larger transformer models like MolFormer and matched the performance of MolBERT. Additionally, the study highlights that incorporating chemically informed features consistently leads to superior outcomes compared to traditional machine learning methods, such as Random Forests. While Random Forests remain robust baselines, the research emphasizes the importance of aligning pre-training and adaptation with chemically relevant tasks and data, suggesting that these strategies are critical for advancing molecular property prediction capabilities. The models developed in this study are accessible on HuggingFace for further use and adaptation.
Introduction
The introduction of the research paper discusses the significance of molecular property prediction (MPP) in cheminformatics and drug design, highlighting the challenges posed by limited datasets and the complexities of molecular property characterization. Traditional supervised learning methods rely on predefined molecular descriptors, which can be restrictive, while data-driven approaches like deep learning necessitate large labeled datasets that are often unavailable. To address these limitations, self-supervised learning (SSL) has emerged as a promising alternative, enabling models to learn from large unlabeled datasets by uncovering intrinsic relationships within the data. The paper emphasizes the success of SSL-based transformer models in natural language processing and their potential application in molecular representations.
The authors outline the limitations of existing molecular transformer models, particularly in terms of their reliance on extensive pre-training datasets and the challenges of domain adaptation. They propose that domain adaptation (DA) can enhance model performance by introducing relevant domain-specific data during further training. The study aims to investigate the effects of pre-training dataset size and various DA objectives on MPP performance. Initial findings indicate that increasing the pre-training dataset size yields diminishing returns, while employing domain-specific objectives, particularly multi-task regression (MTR), significantly improves predictive accuracy across multiple datasets. The results suggest that leveraging chemically informed training strategies can lead to more effective and computationally efficient models for predicting molecular properties.
Methods
In this study, the authors employed a BERT-like model trained with a masked language modeling (MLM) objective using the GuacaMol dataset, followed by domain adaptation on the ADME benchmark. The adaptation utilized either the MLM objective or domain-specific objectives such as Molecular Task Representation (MTR) and Contrastive Learning (CL). To investigate the impact of pre-training dataset size on downstream performance, multiple models were trained with varying sizes of pre-training datasets.
The section outlines the architecture and training methodologies of the models, detailing each training objective and the approach for augmenting the pre-training dataset size. Additionally, it lists the literature models used for benchmarking and describes the evaluation process. The authors have made their code, data, and analysis publicly available on their GitHub repository, facilitating further research in the domain of molecular transformers.
Results
In this section, the authors present their findings regarding the impact of increasing the size of the pre-training dataset on model performance. They demonstrate that larger datasets lead to improved outcomes, highlighting the significance of data volume in enhancing model efficacy. Additionally, the study explores the advantages of implementing domain adaptation (DA), which further optimizes performance by tailoring the model to specific application contexts.
The results indicate that the most efficient and high-performing configurations surpass existing models documented in the literature. This comparison underscores the effectiveness of the proposed methodologies, suggesting that both dataset size and domain adaptation are critical factors in achieving superior model performance. The authors conclude that their approach not only advances the current understanding of model training dynamics but also sets a new benchmark for future research in the field.
Discussion
In this study, the authors pre-train a transformer model using the GuacaMol dataset, which consists of approximately 1.3 million molecules filtered from the ChEMBL database, to evaluate its performance on ADME (Absorption, Distribution, Metabolism, Excretion) properties. The model training occurs in three stages: pre-training on the GuacaMol dataset, domain adaptation using an unlabeled ADME dataset, and evaluation on a labeled ADME dataset. The pre-training employs a masked language modeling (MLM) objective, while domain adaptation utilizes multi-task regression (MTR) and contrastive learning (CL) objectives. The results indicate that while pre-training enhances performance, improvements plateau beyond a certain dataset size, with the 30% subset (approximately 400,000 molecules) yielding competitive results compared to larger datasets.
The evaluation metrics include Mean Absolute Error (MAE) and the coefficient of determination ($R^2$), revealing that although statistical significance is achieved, the absolute performance metrics remain relatively low, highlighting challenges in accurately modeling the complex relationships between molecular structures and properties. The study concludes that incorporating chemically informed objectives and aligning model adaptation with task-relevant data are critical for enhancing transformer model performance in molecular property prediction. Notably, the hybrid model combining MLM for pre-training and MTR for domain adaptation demonstrates superior performance compared to larger transformer models, underscoring the potential of efficient pre-training strategies in this domain.