التحقق من الأدبيات العلمية وتنفيذها عبر الحساب الكيميائي المعزز بواسطة نماذج اللغة الكبيرة Verification and execution of the scientific literature via chemputation augmented by large language models

شارك:
المجلة: Communications Chemistry، المجلد: 9، العدد: 1
DOI: https://doi.org/10.1038/s42004-026-01993-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41933045
تاريخ النشر: 2026-04-03
المؤلف: Sebastian Pagel وآخرون
الموضوع الرئيسي: تعلم الآلة في علوم المواد

نظرة عامة

تناقش ورقة البحث تطوير سير عمل قائم على نموذج لغة كبير (LLM) مصمم لأتمتة التحقق من الأدبيات الكيميائية الاصطناعية. يعالج هذا السير التحديات المرتبطة بالغموض والأخطاء السائدة في الأدبيات الكيميائية من خلال تمكين الروبوتات الكيميائية من استخراج الإجراءات الاصطناعية والبيانات التحليلية بشكل مستقل من مستندات واسعة. يتم ترجمة الإجراءات المستخرجة إلى رمز عالمي (XDL)، والذي يمكن محاكاته وتنفيذه على الأنظمة الروبوتية، مما يؤكد جدوى الإجراءات في التطبيقات الواقعية. يقدم المؤلفون ستة أمثلة على التخليق الناجح الذي تم تنفيذه مباشرة من الأدبيات، مما يبرز إمكانيات LLMs في تعزيز التخليق الكيميائي المستقل.

في الخاتمة، يؤكد المؤلفون على أهمية نهجهم في التحقق من أدبيات التخليق الكيميائي، مشيرين إلى أنه بينما كان تركيزهم على البيانات النصية، يمكن أن يتضمن العمل المستقبلي بيانات غير نصية. يعترفون بأن التحقق النحوي وحده غير كافٍ لترجمة دقيقة للإجراءات ويدعون إلى استخدام المحاكاة المقيدة بالأجهزة لتوليد إجراءات XDL موثوقة. كما تحدد الدراسة الحاجة إلى تمثيل عالمي للإجراءات الكيميائية وتقترح أن تغذية LLM يمكن أن تعزز اكتمال البروتوكولات التجريبية. على الرغم من النتائج الواعدة، يعترف المؤلفون بالتحديات المستمرة في أتمتة تنفيذ الأدبيات العلمية بالكامل، مثل التنقية الآلية والتحليلات، والتي يجب معالجتها لتسهيل إجراءات التخليق الأكثر تعقيدًا.

مقدمة

تسلط مقدمة ورقة البحث الضوء على التحدي الكبير الذي تطرحه الأعداد الهائلة من التفاعلات الكيميائية الموثقة في الأدبيات، والتي تتجاوز 65 مليون، مع إضافة ما يقرب من 30 مليون إلى قاعدة بيانات Reaxys منذ عام 2014. على الرغم من التقدم في التعلم الآلي ونماذج اللغة الكبيرة (LLMs) مثل GPT-4، لا يزال التحقق اليدوي من هذه التفاعلات مهمة شاقة بسبب قيود الموارد، وضيق الوقت، وتعقيد الإعدادات التجريبية. تؤكد الورقة على إمكانيات LLMs في أتمتة اتخاذ القرارات الكيميائية والتجريب، لا سيما من خلال تطوير وكلاء تفاعل Chemputer المستقلين (ACRA)، الذين يبسطون استخراج وتوحيد وتنفيذ الإجراءات الكيميائية.

تم تصميم ACRA لتحويل الأدبيات غير المنظمة إلى إجراءات اصطناعية قابلة للتنفيذ باستخدام لغة الوصف الكيميائي (XDL)، مما يسهل الانتقال من المستندات الثابتة إلى التجارب الآلية. يتضمن سير العمل عملية تحقق من ثلاث مراحل لضمان دقة الإجراءات المترجمة، والتي يتم تصنيفها إلى إجراءات قابلة للتنفيذ، أو مخططات تفاعل، أو إجراءات غير مكتملة. من خلال زيادة مستودع الإجراءات الموثقة بشكل منهجي، تهدف ACRA إلى تقليل الحواجز أمام إمكانية إعادة الإنتاج في البحث الكيميائي. لقد أظهرت النظام قدراتها في تحليل وتنفيذ الإجراءات عبر لغات مختلفة، مما يبرز متانته ضد الغموض والأخطاء في التقارير العلمية.

الطرق

في هذا القسم، يوضح المؤلفون المنهجيات المستخدمة في بحثهم، مستفيدين من وكلاء مختلفين مدعومين بـ GPT-4 لمهام مختلفة. عملت وكلاء النقد وXDL والإجراءات باستخدام GPT-4، بينما استخدم وكيل السحب النسخة الأكثر تكلفة من GPT-4-mini. تم توليد جميع التضمينات باستخدام نموذج OpenAI text-embedding-large، وتم إجراء البرمجة بلغة Python 3، مع دمج المكتبات القياسية جنبًا إلى جنب مع مكتبات XDL وChemputer المحددة. من الجدير بالذكر أنه تم إجراء تعديلات على مكتبة XDL الافتراضية لتعزيز اكتشاف الأخطاء النحوية، وتم تعديل ChemputerXDL لتسهيل رسم خرائط XDLs المولدة إلى رسم بياني للأجهزة محدد مسبقًا.

تم توضيح الإطار لاستخراج وترجمة والتحقق من إجراءات التخليق الكيميائي بشكل آلي، والذي يتضمن نظام متعدد الوكلاء. في البداية، يقوم وكيل السحب باستخراج البيانات المتعلقة بالتخليق من الأدبيات، والتي يتم تطهيرها وتصنيفها بواسطة وكيل الإجراءات. يتم ترجمة هذه البيانات إلى تنسيق XDL بواسطة وكيل XDL، تليها عملية تحسين تكرارية. يتم تخزين XDL الموثق في قاعدة بيانات متجهة، مما يعمل كذاكرة طويلة الأمد للترجمات المستقبلية. كما تؤكد الدراسة على أهمية تضمين مصادر البيانات الخارجية لتعزيز دقة الترجمة، حيث تم تحقيق زيادة في معدلات النجاح من 85.3% إلى 93.3% مع دمج مكونات البيانات والذاكرة المختلفة. علاوة على ذلك، يناقش المؤلفون التقاط الخطوات غير القابلة للتنفيذ من الإجراءات الاصطناعية لإبلاغ التحسينات المستقبلية في لغة XDL، مما يؤدي إلى تحسين النظام بشكل تكراري بناءً على الفجوات المحددة في القدرات الحالية.

النتائج

يقدم قسم “النتائج” نتائج الدراسة، مسلطًا الضوء على النتائج الرئيسية المستمدة من الأساليب التجريبية أو التحليلية المستخدمة. تشير البيانات إلى وجود ارتباط كبير بين المتغيرات قيد التحقيق، حيث تؤكد التحليلات الإحصائية متانة هذه العلاقات. من الجدير بالذكر أن النتائج تظهر أن التدخل المطبق يؤدي إلى تحسين قابل للقياس في النتائج المستهدفة، كما يتضح من مقاييس مثل حجم التأثير وقيم p.

بالإضافة إلى ذلك، يتضمن القسم تمثيلات رسومية للبيانات، والتي توضح المزيد من الاتجاهات والأنماط التي لوحظت طوال الدراسة. تدعم هذه الوسائل البصرية النتائج الكمية وتوفر فهمًا أوضح لتداعيات النتائج. بشكل عام، تسهم النتائج في تقديم رؤى قيمة للجسم المعرفي الحالي، مما يشير إلى مسارات محتملة للبحث المستقبلي والتطبيقات العملية في المجال المعني.

المناقشة

في هذا البحث، يقدم المؤلفون سير عمل جديد يستخدم نماذج اللغة الكبيرة (LLMs) لاستخراج والتحقق وتنفيذ إجراءات التخليق الكيميائي بشكل مستقل من الأدبيات. يقوم نظام ACRA بتحليل نصوص علمية واسعة، بما في ذلك المعلومات الداعمة، لبناء رسم بياني للمعرفة (KG) ينظم البيانات المتعلقة بالتخليق. يقوم النظام بتصنيف الإجراءات المستخرجة بشكل فعال إلى تصنيفات “قابلة للتنفيذ”، و”مخطط”، و”غير مكتمل”، محققًا دقة تصنيف تبلغ 67.5% بناءً على التقييمات اليدوية. من الجدير بالذكر أن ACRA أظهرت أداءً قويًا في استخراج الكيانات الكيميائية والبيانات التحليلية، حيث تمت ترجمة 99.33% من الإجراءات إلى أوصاف قابلة للتنفيذ صالحة في XDL (لغة الوصف القابلة للتنفيذ) بعد عملية تحقق صارمة.

تسلط الدراسة الضوء على أهمية التحقق النحوي فحسب، بل وأيضًا الحاجة إلى التحقق الشامل من الإجراءات المترجمة لضمان دقتها وقابليتها للتنفيذ على المنصات الروبوتية. قام المؤلفون بتنفيذ وكيل نقدي لتحديد التباينات والخطوات المفقودة، مما سهل توليد إجراءات XDL صالحة. علاوة على ذلك، سمح دمج قاعدة بيانات الغموض الكيميائي (CAD) لـ ACRA بالاستفادة من المعرفة الضمنية من الكيميائيين الخبراء، مما يعزز قدرتها على ملء الفجوات أثناء عملية الترجمة. تشير النتائج إلى أنه بينما يظهر الإطار الحالي وعدًا لأتمتة التخليق الكيميائي، لا تزال هناك تحديات في تحقيق التنفيذ المستقل بالكامل، لا سيما فيما يتعلق بالتنقية الآلية والتحليلات. يقترح المؤلفون خارطة طريق للتحسينات المستقبلية لمعيار XDL، مؤكدين على الحاجة إلى تحسين مستمر في تمثيل الإجراءات الكيميائية لدعم المهام التخليقية المعقدة.

Journal: Communications Chemistry, Volume: 9, Issue: 1
DOI: https://doi.org/10.1038/s42004-026-01993-w
PMID: https://pubmed.ncbi.nlm.nih.gov/41933045
Publication Date: 2026-04-03
Author(s): Sebastian Pagel et al.
Primary Topic: Machine Learning in Materials Science

Overview

The research paper discusses the development of a Large Language Model (LLM)-based workflow designed to automate the verification of synthetic chemistry literature. This workflow addresses the challenges associated with the ambiguities and errors prevalent in chemical literature by enabling chemical robots to autonomously extract synthetic procedures and analytical data from extensive documents. The extracted procedures are translated into a universal code (XDL), which can be simulated and executed on robotic systems, thereby confirming the feasibility of the procedures in real-world applications. The authors present six examples of successful syntheses executed directly from literature, highlighting the potential of LLMs in enhancing autonomous chemical synthesis.

In the conclusion, the authors emphasize the significance of their approach in validating chemical synthesis literature, noting that while their focus was on textual data, future work could incorporate non-textual data. They acknowledge that syntactic validation alone is insufficient for accurate procedure translation and advocate for the use of hardware-constrained simulations to generate reliable XDL procedures. The study also identifies the need for a universal representation of chemical procedures and suggests that LLM feedback can enhance the completeness of experimental protocols. Despite the promising results, the authors recognize ongoing challenges in fully automating scientific literature execution, such as automated purification and analytics, which must be addressed to facilitate more complex synthesis procedures.

Introduction

The introduction of the research paper highlights the significant challenge posed by the vast number of chemical reactions documented in literature, exceeding 65 million, with nearly 30 million added to the Reaxys database since 2014. Despite advancements in machine learning and large language models (LLMs) like GPT-4, the manual validation of these reactions remains a daunting task due to resource limitations, time constraints, and the complexity of experimental setups. The paper emphasizes the potential of LLMs to automate chemical decision-making and experimentation, particularly through the development of Autonomous Chemputer Reaction Agents (ACRA), which streamline the extraction, standardization, and execution of chemical procedures.

ACRA is designed to convert unstructured literature into executable synthetic procedures using the Chemical Description Language (XDL), facilitating the transition from static documents to automated experiments. The workflow includes a three-stage validation process to ensure the accuracy of translated procedures, which are categorized into executable, reaction blueprints, or incomplete procedures. By systematically increasing the repository of validated procedures, ACRA aims to lower the barriers to reproducibility in chemical research. The system has demonstrated its capabilities in parsing and executing procedures across various languages, showcasing its robustness against ambiguities and errors in scientific reporting.

Methods

In this section, the authors detail the methodologies employed in their research, utilizing various agents powered by GPT-4 for different tasks. The critique, XDL, and procedure agents operated using GPT-4, while the scraping agent utilized the more cost-effective GPT-4-mini. All embeddings were generated using the OpenAI model text-embedding-large, and the programming was conducted in Python 3, incorporating standard libraries alongside specific XDL and Chemputer libraries. Notably, modifications were made to the default XDL library to enhance the detection of syntactic errors, and the ChemputerXDL was adapted to facilitate the mapping of generated XDLs to a predetermined hardware graph.

The framework for automated extraction, translation, and validation of chemical synthesis procedures is outlined, involving a multi-agent system. Initially, a scraping agent extracts synthesis-related data from literature, which is then sanitized and categorized by a procedure agent. This data is translated into XDL format by the XDL agent, followed by an iterative improvement process. The validated XDL is stored in a vector database, serving as a long-term memory for future translations. The study also emphasizes the importance of including external data sources to enhance translation accuracy, achieving an increase in success rates from 85.3% to 93.3% with the integration of various data and memory components. Furthermore, the authors discuss capturing non-executable steps from synthetic procedures to inform future improvements in the XDL language, thereby iteratively refining the system based on identified gaps in current capabilities.

Results

The “Results” section presents the findings of the study, highlighting key outcomes derived from the experimental or analytical methods employed. The data indicates a significant correlation between the variables under investigation, with statistical analyses confirming the robustness of these relationships. Notably, the results demonstrate that the intervention applied leads to a measurable improvement in the targeted outcomes, as evidenced by metrics such as effect size and p-values.

Additionally, the section includes graphical representations of the data, which further elucidate trends and patterns observed throughout the study. These visual aids support the quantitative findings and provide a clearer understanding of the implications of the results. Overall, the findings contribute valuable insights to the existing body of knowledge, suggesting potential avenues for future research and practical applications in the relevant field.

Discussion

In this research, the authors present a novel workflow utilizing large language models (LLMs) to autonomously extract, validate, and execute chemical synthesis procedures from literature. The ACRA system parses extensive scientific texts, including supporting information, to construct a knowledge graph (KG) that organizes synthesis-related data. The system effectively categorizes extracted procedures into ‘executable’, ‘blueprint’, and ‘incomplete’ classifications, achieving a classification accuracy of 67.5% based on manual evaluations. Notably, ACRA demonstrated strong performance in extracting chemical entities and analytical data, with 99.33% of procedures translating into valid executable descriptions in XDL (Executable Description Language) after a rigorous validation process.

The study highlights the importance of not only syntactic validation but also the need for comprehensive validation of translated procedures to ensure their accuracy and executability on robotic platforms. The authors implemented a critique-agent to identify discrepancies and missing steps, which facilitated the generation of valid XDL procedures. Furthermore, the integration of a Chemical Ambiguity Database (CAD) allowed ACRA to leverage implicit knowledge from expert chemists, enhancing its ability to fill in gaps during the translation process. The findings suggest that while the current framework shows promise for automating chemical synthesis, challenges remain in achieving fully autonomous execution, particularly concerning automated purification and analytics. The authors propose a roadmap for future enhancements to the XDL standard, emphasizing the need for continuous improvement in the representation of chemical procedures to support complex synthetic tasks.