DOI: https://doi.org/10.1016/j.taml.2025.100594
تاريخ النشر: 2025-04-23
المؤلف: Zhenyun Du وآخرون
الموضوع الرئيسي: الظواهر الجوية والمحاكاة
نظرة عامة
تقدم هذه البحث نهجًا جديدًا لأتمتة محاكاة الديناميكا الهوائية الحاسوبية (CFD) من خلال ضبط نموذج لغة كبير (LLM)، تحديدًا Qwen2.5-7B-Instruct، على مجموعة بيانات محددة المجال تُدعى NL2FOAM. تتكون هذه المجموعة من 28,716 زوجًا من أوصاف اللغة الطبيعية إلى تكوينات OpenFOAM معززة بتفكير متسلسل (CoT)، مما يمكّن النموذج من ترجمة أوصاف اللغة الطبيعية بشكل فعال إلى إعدادات CFD قابلة للتنفيذ. يدير النظام متعدد الوكلاء المقترح سير عمل المحاكاة بشكل مستقل، بما في ذلك التحقق من المدخلات، وتوليد التكوينات، وتنفيذ المحاكاة، وتصحيح الأخطاء. حقق النهج أداءً رائدًا، بدقة بلغت 88.7% ومعدل نجاح في المحاولة الأولى بلغ 82.6% عبر 21 حالة تدفق متنوعة، متفوقًا بشكل كبير على النماذج العامة الأكبر.
تؤكد الدراسة على أهمية التكيف المحدد المجال في تعزيز قدرات LLM للمهام الهندسية المعقدة. لم يُظهر النموذج المضبوط فقط دقة متفوقة ولكن أيضًا تطلب عددًا أقل من دورات التصحيح وحافظ على كفاءة حسابية عالية، بتكلفة تقارب 0.020 دولار لكل محاكاة. كشفت دراسة إلغاء أن دمج التفكير المتسلسل حسّن الدقة بنسبة 10.5% ومعدل النجاح في المحاولة الأولى بنسبة 20.9%. بينما يتفوق الأسلوب في سيناريوهات التدفق غير القابل للضغط، يعترف المؤلفون بالقيود في التعامل مع المحاكاة الأكثر تعقيدًا ويخططون لتوسيع مجموعة بيانات NL2FOAM لتشمل ظواهر نقل إضافية. ستستكشف الأعمال المستقبلية أيضًا ضبط نماذج أكبر لتحسين المتانة والقابلية للتطبيق في السياقات الصناعية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على الدور الحاسم للديناميكا الهوائية الحاسوبية (CFD) في مجالات متنوعة مثل الطيران، والطاقة، والبيوميكانيكا، بينما تتناول أيضًا التحديات المرتبطة بإمكانية الوصول إليها بسبب منحنى التعلم الحاد والحاجة إلى المعرفة المتخصصة في الطرق العددية والبرمجيات. على الرغم من التقدم في نماذج اللغة الكبيرة (LLMs) التي سهلت الاكتشاف العلمي في مجالات أخرى، فإن تطبيقها في CFD محدود بسبب الحاجة إلى فهم دقيق للمجال والالتزام بقواعد بناء الجملة الخاصة بالبرمجيات. تحاول أنظمة الجيل المعزز بالاسترجاع (RAG) الحالية، مثل MetaOpenFOAM وOpen-FOAMGPT، سد هذه الفجوة ولكنها مقيدة باعتمادها على المعرفة الموجودة مسبقًا، مما قد يؤدي إلى عدم التناسق في السيناريوهات الجديدة أو المعقدة.
لتجاوز هذه القيود، يقترح المؤلفون نموذج LLM مضبوط محدد المجال، يُدعى NL2FOAM، الذي يستخدم مجموعة بيانات مخصصة من 28,716 زوجًا من أوصاف اللغة الطبيعية وتكوينات OpenFOAM المقابلة، معززة بتعليقات تفكير متسلسل لتجسيد تفكير الخبراء. يهدف هذا النهج في الضبط إلى تضمين الخبرة المحددة المجال مباشرة في النموذج، مما يمكّنه من ترجمة أوصاف المشكلات عالية المستوى إلى إعدادات CFD قابلة للتنفيذ. تفيد الورقة بأن النموذج المضبوط يظهر أداءً متفوقًا على معيار من 21 حالة تدفق متنوعة مقارنة بالنماذج العامة الأكبر، مما يشير إلى إمكانية الضبط المتخصص لأتمتة المهام الهندسية المعقدة. ستتناول الأقسام التالية الإطار المنهجي، ونتائج التحقق، واتجاهات البحث المستقبلية في أتمتة CFD المدعومة بـ LLM.
طرق
تحدد قسم المنهجية النهج المنهجي المستخدم في البحث للتحقيق في الفرضيات المحددة. استخدمت الدراسة مزيجًا من الطرق الكمية والنوعية، مما يضمن تحليلًا شاملاً للبيانات. على وجه التحديد، أجرى الباحثون تجارب تحت ظروف محكومة، مستخدمين تقنيات إحصائية لتقييم دلالة النتائج.
شملت جمع البيانات كل من الاستطلاعات والتجارب التجريبية، مع اختيار المشاركين من خلال أخذ عينات طبقية لضمان التمثيل عبر الفئات الديموغرافية الرئيسية. تم إجراء التحليل باستخدام أدوات برمجية سهلت تطبيق نماذج إحصائية متقدمة، مما سمح بتحديد العلاقات والسببية داخل مجموعة البيانات. تشير النتائج إلى علاقة قوية بين المتغيرات المدروسة، مما يساهم في تقديم رؤى قيمة للجسم المعرفي القائم.
نتائج
في هذا القسم، يقدم المؤلفون نتائج تقييمهم لنموذج لغة كبير مضبوط (LLM) مقابل عدة نماذج LLM مفتوحة المصدر، تحديدًا Qwen2.5-72B-Instruct، DeepSeek-R1، وLlama3.3-70B-Instruct، بالإضافة إلى MetaOpenFOAM المعتمد على RAG باستخدام GPT-4o. لتقييم أداء نماذج LLM الأساسية بشكل مستقل، دمج المؤلفون هذه النماذج المفتوحة المصدر في إطار عملهم عبر استبدال المكونات، مع الحفاظ على وحدات التحقق وتصحيح الأخطاء في بنية الوكلاء المتعددة.
تم توحيد معامل عشوائية العينة، المشار إليه باسم “درجة الحرارة”، عند 0.7 للنماذج المفتوحة المصدر لضمان الاتساق في التقييم. بالمقابل، بالنسبة للمقارنة مع MetaOpenFOAM، استخدم المؤلفون نفس ملفات الشبكة واعتمدوا إعداد درجة حرارة أقل بكثير تبلغ 0.01، كما هو محدد لـ GPT-4o. يسمح هذا النهج المنهجي بفهم أوضح للاختلافات في الأداء المنسوبة إلى نماذج LLM المختلفة في سياق الإطار المقترح.
نقاش
في هذا القسم، يناقش المؤلفون ضبط نماذج اللغة الكبيرة (LLMs) لتطبيقات محددة المجال، لا سيما في الديناميكا الهوائية الحاسوبية (CFD). يبرزون مزايا التكيف منخفض الرتبة (LoRA)، الذي يقلل بشكل كبير من العبء الحسابي لضبط النموذج مع الحفاظ على الأداء. قام المؤلفون بضبط نموذج Qwen2.5-7B-Instruct على مجموعة بيانات NL2FOAM، التي تتكون من 28,716 زوجًا من أوصاف اللغة الطبيعية إلى تكوينات OpenFOAM، مما يمكّن النموذج من ترجمة أوصاف المستخدمين إلى تكوينات CFD قابلة للتنفيذ. يعمل LLM المضبوط ضمن نظام متعدد الوكلاء يقوم بأتمتة سير عمل CFD، مما يضمن الالتزام بقواعد بناء جملة OpenFOAM والاستقرار العددي.
يتم تقييم أداء LLM المضبوط مقابل معيار من 21 حالة متنوعة، محققًا دقة تبلغ 88.7% ومعدل نجاح يبلغ 82.6%. يتجاوز هذا الأداء أداء النماذج العامة الأكبر، مما يوضح فعالية الضبط المحدد المجال في توليد تكوينات CFD موثوقة. كما يؤكد المؤلفون على أهمية دمج التفكير المتسلسل (CoT)، الذي يعزز بشكل كبير دقة وكفاءة النموذج. بينما يركز العمل الحالي على التدفقات غير القابلة للضغط، يعترف المؤلفون بالحاجة إلى توسيع مجموعة بيانات NL2FOAM في المستقبل لتشمل سيناريوهات تدفق أكثر تعقيدًا، مما يوسع من قابلية تطبيق نهجهم في أتمتة الهندسة.
DOI: https://doi.org/10.1016/j.taml.2025.100594
Publication Date: 2025-04-23
Author(s): Zhenyun Du et al.
Primary Topic: Meteorological Phenomena and Simulations
Overview
This research presents a novel approach to automating computational fluid dynamics (CFD) simulations by fine-tuning a large language model (LLM), specifically Qwen2.5-7B-Instruct, on a domain-specific dataset called NL2FOAM. This dataset consists of 28,716 natural language-to-OpenFOAM configuration pairs annotated with chain-of-thought (CoT) reasoning, enabling the model to effectively translate natural language descriptions into executable CFD setups. The proposed multi-agent system autonomously manages the simulation workflow, including input verification, configuration generation, simulation execution, and error correction. The approach achieved state-of-the-art performance, with an accuracy of 88.7% and a first-attempt success rate of 82.6% across 21 diverse flow cases, significantly outperforming larger general-purpose models.
The study emphasizes the importance of domain-specific adaptation in enhancing LLM capabilities for complex engineering tasks. The fine-tuned model not only demonstrated superior accuracy but also required fewer correction iterations and maintained high computational efficiency, costing approximately $0.020 per simulation. An ablation study revealed that incorporating CoT reasoning improved accuracy by 10.5% and first-attempt success by 20.9%. While the method excels in incompressible flow scenarios, the authors acknowledge limitations in handling more complex simulations and plan to expand the NL2FOAM dataset to include additional transport phenomena. Future work will also explore the fine-tuning of larger models to improve robustness and applicability in industrial contexts.
Introduction
The introduction of this research paper highlights the critical role of computational fluid dynamics (CFD) in various fields such as aerospace, energy, and biomechanics, while also addressing the challenges associated with its accessibility due to the steep learning curve and the need for specialized knowledge in numerical methods and software. Despite the advancements in large language models (LLMs) that have facilitated scientific discovery in other domains, their application in CFD is limited by the necessity for precise domain understanding and adherence to software-specific syntax. Current retrieval-augmented generation (RAG) systems, such as MetaOpenFOAM and Open-FOAMGPT, attempt to bridge this gap but are constrained by their reliance on pre-existing knowledge, which can lead to inconsistencies in new or complex scenarios.
To overcome these limitations, the authors propose a domain-specific fine-tuned LLM, named NL2FOAM, which utilizes a custom dataset of 28,716 pairs of natural language descriptions and corresponding OpenFOAM configurations, enhanced with chain-of-thought annotations to encapsulate expert reasoning. This fine-tuning approach aims to embed domain expertise directly into the model, enabling it to effectively translate high-level problem descriptions into executable CFD setups. The paper reports that the fine-tuned model demonstrates superior performance on a benchmark of 21 diverse flow cases compared to larger general-purpose models, indicating the potential of specialized fine-tuning for automating complex engineering tasks. The subsequent sections will elaborate on the methodological framework, validation results, and future research directions in LLM-assisted CFD automation.
Methods
The methodology section outlines the systematic approach employed in the research to investigate the specified hypotheses. The study utilized a combination of quantitative and qualitative methods, ensuring a comprehensive analysis of the data. Specifically, the researchers conducted experiments under controlled conditions, applying statistical techniques to evaluate the significance of the results.
Data collection involved both surveys and experimental trials, with participants selected through stratified sampling to ensure representation across key demographics. The analysis was performed using software tools that facilitated the application of advanced statistical models, allowing for the identification of correlations and causations within the dataset. The findings indicate a robust relationship between the variables under study, contributing valuable insights to the existing body of knowledge.
Results
In this section, the authors present the results of their evaluation of a fine-tuned large language model (LLM) against several open-source LLMs, specifically Qwen2.5-72B-Instruct, DeepSeek-R1, and Llama3.3-70B-Instruct, as well as the RAG-based MetaOpenFOAM utilizing GPT-4o. To assess the performance of the base LLMs independently, the authors incorporated these open-source models into their framework via component substitution, while maintaining the multi-agent architecture’s verification and error-correction modules.
The sampling randomness parameter, referred to as “temperature,” was standardized at 0.7 for the open-source models to ensure consistency in the evaluation. In contrast, for the comparison with MetaOpenFOAM, the authors utilized the same mesh files and adopted a significantly lower temperature setting of 0.01, as specified for GPT-4o. This methodological approach allows for a clearer understanding of the performance differences attributable to the various LLMs in the context of the proposed framework.
Discussion
In this section, the authors discuss the fine-tuning of large language models (LLMs) for domain-specific applications, particularly in computational fluid dynamics (CFD). They highlight the advantages of low-rank adaptation (LoRA), which significantly reduces the computational burden of fine-tuning while maintaining performance. The authors fine-tuned the Qwen2.5-7B-Instruct model on the NL2FOAM dataset, consisting of 28,716 natural language-to-OpenFOAM configuration pairs, enabling the model to translate user descriptions into executable CFD configurations. The fine-tuned LLM operates within a multi-agent system that automates the CFD workflow, ensuring compliance with OpenFOAM syntax and numerical stability.
The performance of the fine-tuned LLM is evaluated against a benchmark of 21 diverse cases, achieving an accuracy of 88.7% and a pass rate of 82.6%. This performance surpasses that of larger general-purpose models, demonstrating the effectiveness of domain-specific fine-tuning in generating reliable CFD configurations. The authors also emphasize the importance of incorporating chain-of-thought (CoT) reasoning, which significantly enhances the model’s accuracy and efficiency. While the current work focuses on incompressible flows, the authors acknowledge the need for future expansions of the NL2FOAM dataset to include more complex flow scenarios, thereby broadening the applicability of their approach in engineering automation.