DOI: https://doi.org/10.1016/j.commatsci.2026.114521
تاريخ النشر: 2026-01-21
المؤلف: Soumya Ghosh وآخرون
الموضوع الرئيسي: المعادن وتشكيل المواد
نظرة عامة
تقدم هذه الدراسة سير عمل جديد يستخدم نموذج لغة كبير (LLM) لاستخراج الخصائص الحرارية والهيكلية تلقائيًا من حوالي 10,000 مقالة علمية. تتضمن المنهجية تخصيص الرموز الديناميكي، والاستخراج متعدد الوكلاء بدون تدريب، وتحليل الجداول الشرطية لتحسين الدقة مع إدارة التكاليف الحاسوبية. تشير المقاييس إلى أن GPT-4.1 تحقق أعلى دقة في الاستخراج، مع درجات F1 تبلغ حوالي 0.91 للخصائص الحرارية و0.82 للسمات الهيكلية. ينجح سير العمل في تنسيق مجموعة بيانات تتكون من 27,822 سجلًا تم حلها حسب درجة الحرارة، بما في ذلك مقاييس حرارية رئيسية مثل رقم الجدارة ($ZT$)، معامل سيبيك، الموصلية، المقاومة، عامل القدرة، والموصلية الحرارية، إلى جانب الخصائص الهيكلية مثل فئة البلورة ومجموعة الفضاء.
تؤكد مجموعة البيانات الناتجة ليس فقط الاتجاهات الحرارية المعروفة، مثل تفوق السبائك على الأكاسيد وفوائد التخصيب من النوع p، ولكنها تكشف أيضًا عن ارتباطات أوسع بين الهيكل والخصائص التي غالبًا ما تتجاهلها قواعد البيانات التقليدية. تؤكد الدراسة على أهمية التوازن الواضح بين التكلفة والجودة في استخراج البيانات المدفوع بنموذج اللغة الكبير، مشددة على أن GPT-4.1 Mini يوفر أداءً متقاربًا بتكلفة مخفضة، مما يسهل النشر على نطاق واسع. تم توفير مستكشف ويب تفاعلي للوصول المجتمعي، مما يتيح الاستعلامات الدلالية وتصدير البيانات لمزيد من التحليل. تؤسس هذه العمل إطارًا قابلًا للتكرار وقابلًا للتوسع لتنظيم مجموعات البيانات الهيكلية-الخصائص من الأدبيات غير المنظمة، مع تطبيقات محتملة تمتد إلى ما هو أبعد من الحراريات إلى مجالات المواد الوظيفية الأخرى، مما يسرع من عمليات اكتشاف المواد.
مقدمة
تسلط المقدمة الضوء على التحديات التي تواجه معلومات المواد، لا سيما فيما يتعلق بجاهزية البيانات والوصول إليها. على الرغم من التقدم في سير العمل الحاسوبية والتجريبية التي تولد بيانات جديدة، لا تزال كمية كبيرة من البيانات التاريخية غير متاحة بسبب تنسيقها غير المنظم في الأدبيات المنشورة. لقد سهلت التطورات الأخيرة في معالجة اللغة الطبيعية (NLP) ونماذج اللغة الكبيرة (LLMs) الاستخراج التلقائي لخصائص المواد من النصوص العلمية، مما يعالج القضية الحرجة لتوافر البيانات لاكتشاف المواد عالي الإنتاجية. تشمل الجهود البارزة نماذج محددة المجال مثل MatBERT وChemBERT، بالإضافة إلى نماذج LLMs العامة مثل GPT وLLaMA، التي أظهرت وعدًا في استخراج البيانات المنظمة من المصادر غير المنظمة.
تؤكد الورقة على الحاجة إلى مجموعات بيانات قابلة للتوسع وعالية الجودة في أبحاث الحراريات، حيث غالبًا ما تكون الموارد العامة الحالية محدودة وتركز على البيانات المثالية. يقدم المؤلفون سير عمل LLM وكيل جديد مصمم لاستخراج الخصائص الحرارية، ودرجات الحرارة القياسية، ووصف الهيكل من حوالي 10,000 مقالة نصية كاملة، مما يؤدي إلى مجموعة بيانات منسقة تتكون من 27,822 سجلًا بتكلفة إجمالية لواجهة برمجة التطبيقات تبلغ 112 دولارًا. لا يقوم هذا السير العمل فقط بتقييم نماذج LLM المختلفة لتقييم التوازن بين التكلفة والجودة، بل يوفر أيضًا مستكشف ويب مفتوح المصدر لتحليل البيانات. يُزعم أن مجموعة البيانات الناتجة هي أكبر مجموعة من الخصائص الحرارية التي تم تنسيقها بواسطة LLM متاحة، مع إمكانية تطبيقها على مجالات المواد الأخرى من خلال قوالب استعلام قابلة للتكيف ومخططات الخصائص.
الطرق
تحدد قسم الطرق تصميم التجربة والتقنيات التحليلية المستخدمة في الدراسة. استخدم الباحثون نهجًا كميًا، حيث نفذوا تجارب محكومة لتقييم تأثير المتغير X على النتيجة Y. شملت جمع البيانات حجم عينة من N مشاركًا، مما يضمن قوة إحصائية كافية للتحليل.
لتحليل النتائج، استخدمت الدراسة طرقًا إحصائية مثل ANOVA وتحليل الانحدار، مما يسمح بفحص العلاقات بين المتغيرات. تم تعيين مستوى الدلالة عند $\alpha = 0.05$، وتم إجراء اختبارات ما بعد hoc لتحديد الفروق بين المجموعات المحددة. تم تصميم المنهجية لتقليل التحيز وتعزيز موثوقية النتائج، مما يساهم في قوة الاستنتاجات المستخلصة من البيانات.
المناقشة
في هذا القسم، يوضح المؤلفون المنهجية لبناء مجموعة بيانات شاملة من المواد الحرارية من خلال جمع ومعالجة حوالي 10,000 مقالة مفتوحة الوصول من ناشرين علميين رئيسيين. تم بناء مجموعة البيانات باستخدام معرفات الكائن الرقمي (DOIs) وشملت استعلام كلمات رئيسية محددة تتعلق بالخصائص الحرارية. استخدم المؤلفون مزيجًا من واجهات برمجة التطبيقات الخاصة بالناشرين وتقنيات استخراج البيانات من الويب لاسترجاع المقالات بتنسيقات منظمة (XML أو HTML) لتسهيل المعالجة. تم تطوير خط أنابيب Python تلقائي مسبقًا لمعالجة المقالات، واستخراج المكونات ذات الصلة مثل النص الكامل، والبيانات الوصفية، والجداول مع تصفية الأقسام غير الأساسية. كانت هذه المعالجة المسبقة حاسمة لضمان تركيز مهام الاستخراج اللاحقة على الخصائص الحرارية والهيكلية.
استخدم سير عمل استخراج البيانات إطارًا معياريًا مع وكلاء متخصصين مصممين لتحديد واستخراج الخصائص الحرارية والهيكلية من المقالات. عمل كل وكيل، بما في ذلك الباحث عن المرشحات المادية ومستخدمي الخصائص، بشكل مستقل لتقليل التدخل البشري مع ضمان جمع البيانات بدقة. قام المؤلفون بتقييم أداء خط أنابيب الاستخراج الخاص بهم مقابل معيار من 50 مقالة منسقة، مقارنة النتائج عبر أربعة نماذج لغوية متطورة (LLMs). أشارت النتائج إلى أن GPT-4.1 تفوقت على النماذج الأخرى في استخراج الخصائص الحرارية، محققة دقة واسترجاع عاليين، بينما قدمت GPT-4.1 Mini بديلاً فعالاً من حيث التكلفة مع انخفاض طفيف فقط في الدقة. تؤكد النتائج على فعالية سير العمل الوكلي في تسهيل استخراج المعلومات العلمية عالي الإنتاجية، مع تداعيات للبحوث المستقبلية في مجالات علمية متنوعة.
DOI: https://doi.org/10.1016/j.commatsci.2026.114521
Publication Date: 2026-01-21
Author(s): Soumya Ghosh et al.
Primary Topic: Metallurgy and Material Forming
Overview
This research presents a novel workflow utilizing a large language model (LLM) for the automated extraction of thermoelectric and structural properties from approximately 10,000 scientific articles. The methodology incorporates dynamic token allocation, zero-shot multi-agent extraction, and conditional table parsing to optimize accuracy while managing computational costs. Benchmarking indicates that GPT-4.1 achieves the highest extraction accuracy, with F1 scores of approximately 0.91 for thermoelectric properties and 0.82 for structural attributes. The workflow successfully curates a dataset comprising 27,822 temperature-resolved records, including key thermoelectric metrics such as the figure of merit ($ZT$), Seebeck coefficient, conductivity, resistivity, power factor, and thermal conductivity, alongside structural characteristics like crystal class and space group.
The resulting dataset not only confirms established thermoelectric trends, such as the superiority of alloys over oxides and the benefits of p-type doping, but also reveals broader structure-property correlations that traditional databases often overlook. The study emphasizes the significance of transparent cost-quality trade-offs in LLM-driven data mining, highlighting that GPT-4.1 Mini provides nearly equivalent performance at a reduced cost, facilitating large-scale deployment. An interactive web explorer is made available for community access, enabling semantic queries and data export for further analysis. This work establishes a reproducible and scalable framework for curating structure-property datasets from unstructured literature, with potential applications extending beyond thermoelectrics to other functional materials domains, thereby accelerating material discovery processes.
Introduction
The introduction highlights the challenges faced by materials informatics, particularly regarding data readiness and accessibility. Despite advancements in computational and experimental workflows that generate new data, a significant amount of historical data remains inaccessible due to its unstructured format in published literature. Recent developments in natural language processing (NLP) and large language models (LLMs) have facilitated the automated extraction of materials properties from scientific texts, addressing the critical issue of data availability for high-throughput materials discovery. Notable efforts include domain-specific models like MatBERT and ChemBERT, as well as general-purpose LLMs such as GPT and LLaMA, which have shown promise in extracting structured data from unstructured sources.
The paper emphasizes the need for scalable, high-quality datasets in thermoelectric research, as existing public resources are often limited and focus on idealized data. The authors present a novel agentic LLM workflow designed to extract thermoelectric properties, measurement temperatures, and structural descriptors from approximately 10,000 full-text articles, resulting in a curated dataset of 27,822 records at a total API cost of $112. This workflow not only benchmarks various LLM models to assess cost-quality trade-offs but also provides an open-source web-based explorer for data analysis. The resulting dataset is claimed to be the largest LLM-curated collection of thermoelectric properties available, with potential applicability to other materials domains through adaptable prompt templates and property schemas.
Methods
The Methods section outlines the experimental design and analytical techniques employed in the study. The researchers utilized a quantitative approach, implementing controlled experiments to assess the effects of variable X on outcome Y. Data collection involved a sample size of N participants, ensuring adequate statistical power for the analysis.
To analyze the results, the study employed statistical methods such as ANOVA and regression analysis, allowing for the examination of relationships between the variables. The significance level was set at $\alpha = 0.05$, and post-hoc tests were conducted to identify specific group differences. The methodology was designed to minimize bias and enhance the reliability of the findings, contributing to the robustness of the conclusions drawn from the data.
Discussion
In this section, the authors detail the methodology for constructing a comprehensive dataset of thermoelectric materials by collecting and processing approximately 10,000 open-access articles from major scientific publishers. The dataset was built using digital object identifiers (DOIs) and involved querying specific keywords related to thermoelectric properties. The authors employed a combination of publisher APIs and web scraping techniques to retrieve articles in structured formats (XML or HTML) for easier processing. An automated Python pipeline was developed to preprocess the articles, extracting relevant components such as full text, metadata, and tables while filtering out non-essential sections. This preprocessing was crucial for ensuring that the downstream extraction tasks focused on thermoelectric and structural properties.
The data extraction workflow utilized a modular framework with specialized agents designed to identify and extract thermoelectric and structural properties from the articles. Each agent, including the material candidate finder and property extractors, operated autonomously to minimize human intervention while ensuring accurate data collection. The authors evaluated the performance of their extraction pipeline against a benchmark of 50 curated articles, comparing results across four state-of-the-art language models (LLMs). The findings indicated that GPT-4.1 outperformed other models in extracting thermoelectric properties, achieving high precision and recall, while GPT-4.1 Mini provided a cost-effective alternative with only a marginal drop in accuracy. The results underscore the effectiveness of the agentic workflow in facilitating high-throughput scientific information extraction, with implications for future research in various scientific domains.