DOI: https://doi.org/10.1017/pds.2025.10234
تاريخ النشر: 2025-08-01
المؤلف: Shuo Jiang وآخرون
الموضوع الرئيسي: تطوير المنتجات والتخصيص
نظرة عامة
تناقش هذه القسم أهمية تحسين التوليف (CO) في تعزيز الكفاءة والأداء في التطبيقات الهندسية. يبرز القيود المفروضة على الخوارزميات التقليدية، التي غالبًا ما تفشل في أخذ الفروق السياقية في مهام التحسين بعين الاعتبار. يقدم البحث إطارًا جديدًا يستخدم نماذج اللغة الكبيرة (LLMs) لمعالجة مشاكل تحسين التوليف الهندسي من خلال استغلال قدراتها على التفكير والفهم السياقي.
يستهدف الإطار المقترح القائم على LLM بشكل خاص تحسين تسلسل مصفوفة هيكل التصميم (DSM)، وهي تحدٍ شائع في تحسين التوليف. تشير النتائج التجريبية عبر سيناريوهات DSM المختلفة إلى أن هذا النهج لا يحقق فقط تقاربًا أسرع ولكن أيضًا ينتج جودة حلول أعلى مقارنة بالطرق المرجعية المعتمدة. علاوة على ذلك، تؤكد النتائج على أهمية دمج المعرفة السياقية في المجال، مما يعزز الأداء بشكل كبير بغض النظر عن LLM المحدد المستخدم.
مقدمة
تتناول مقدمة هذه الورقة البحثية أهمية مشاكل تحسين التوليف (CO) عبر مجالات مختلفة، مع التأكيد على دورها في تعزيز الكفاءة، والجدوى الاقتصادية، والأداء. يبرز المؤلفون التحديات التي تطرحها الطبيعة NP-hard لهذه المشاكل، خاصة مع تصاعد التعقيد مع مجموعات البيانات الأكبر والاعتماديات المعقدة. تتضمن الأساليب التقليدية لتحسين التوليف في الهندسة مرحلة نمذجة رياضية تليها حلول خوارزمية، والتي غالبًا ما تفشل في التقاط الفروق السياقية اللازمة للتطبيقات الواقعية.
أظهرت التطورات الأخيرة في نماذج اللغة الكبيرة (LLMs) وعدًا في معالجة هذه التحديات، حيث تمتلك قدرات في توليد اللغة الطبيعية، والفهم الدلالي، والتفكير المعقد. يقترح المؤلفون أن LLMs يمكن أن تحل مشاكل تحسين التوليف الهندسي بفعالية من خلال دمج المعرفة السياقية في المجال، مما يعزز التفكير الرياضي مع الرؤى الدلالية. يقدمون إطارًا جديدًا قائمًا على LLM يهدف إلى تحسين مهمة تسلسل مصفوفة هيكل التصميم (DSM)، وهي مشكلة NP-hard يمكن أن تستفيد بشكل كبير من تحسين التجزئة وتقليل حلقات التغذية الراجعة. تشير التجارب الأولية إلى أن طريقتهم القائمة على LLM تتفوق على الخوارزميات التقليدية من حيث سرعة التقارب وجودة الحلول، خاصة عند دمج المعرفة السياقية في المجال.
الطرق
في هذا القسم، يقدم المؤلفون إطارًا جديدًا يستفيد من نماذج اللغة الكبيرة (LLMs) لمعالجة مشاكل تحسين التوليف (CO)، مع التركيز بشكل خاص على تسلسل DSM. تبدأ المنهجية بحل مأخوذ عشوائيًا من فضاء الحلول، والذي يتم تقييمه وفقًا لمعايير محددة مسبقًا لتقييم جودته. يستخدم الإطار التعلم القليل-shot لتحسين قاعدة الحلول بشكل تكراري من خلال توليد مرشحين جدد من خلال مطالبات مصممة تدمج بين التمثيلات الرياضية ووصف اللغة الطبيعية للمعرفة في المجال. بعد عدد محدد مسبقًا من التكرارات، يتم اختيار أفضل حل من القاعدة المحدثة كالناتج النهائي.
شمل الإعداد التجريبي تشغيل كل طريقة عشر مرات مع بذور عشوائية متغيرة لضمان القوة، مع تعيين معلمات محددة لعينات الحلول وحدود التكرار. اختار المؤلفون Claude-3.5-Sonnet كـ LLM الأساسي، مع الحفاظ على الإعدادات الافتراضية. للمقارنة، قاموا بمقارنة إطارهم ضد كل من الطرق العشوائية، مثل الخوارزمية الجينية (GA) مع إعدادات تركيز مختلفة، والطرق الحتمية التي تعيد ترتيب العقد بناءً على معايير محددة، بما في ذلك درجة الدخول والخروج والرؤية. بالإضافة إلى ذلك، تم اختبار متغير من طريقتهم، الذي استبعد المعرفة في المجال، معتمدًا فقط على المعلومات الطوبولوجية لتقييم فعالية دمج المعرفة السياقية في عملية التحسين.
النتائج
في هذا القسم، يقدم المؤلفون تحليلًا مقارنًا لسرعة التقارب وجودة الحلول لطرقهم القائمة على LLM مقابل ثلاثة متغيرات من الخوارزميات الجينية (GA). تشير النتائج إلى أن الطرق القائمة على LLM تحقق باستمرار سرعات تقارب أعلى، حيث تصل إلى قيم موضوعية أقل بشكل أسرع من GA عبر جميع الحالات المختبرة. بشكل خاص، تحدد طرق LLM حلولًا أولية عالية الجودة في المحاولة الأولى وتستمر في تحسينها بفعالية، مما يظهر مزايا التعلم في السياق. من الجدير بالذكر أن دمج المعرفة في المجال يعزز الأداء بشكل كبير، كما يتضح من التفوق المستمر لطرق LLM على GA، خاصة في حالة تطوير الخرطوشة حيث حققت كلا الطريقتين LLM حلولًا مثالية في تكرار واحد.
يكشف التحليل الإضافي لجودة الحلول أن طرق LLM تتفوق على كل من المعايير الحتمية والعشوائية عبر تجارب مختلفة. في المقارنات ذات التجربة الواحدة، تفوقت طرق LLM على معظم الخوارزميات الحتمية، باستثناء حالة واحدة. في تقييمات 20 تجربة، حققت طرق LLM باستمرار حلولًا أفضل، محققة نتائج مثالية في ثلاث من أربع حالات. تشير دراسة الإزالة التي تقيم LLMs الأساسية المختلفة إلى أن Claude-3.5-Sonnet يتفوق على النماذج الأخرى، بما في ذلك البدائل مفتوحة المصدر مثل Llama3-70B، بينما تؤكد أيضًا أن دمج المعرفة السياقية يعزز جودة الحلول عبر جميع النماذج. تؤكد هذه النتائج فعالية LLMs في حل مشاكل تحسين التوليف وتبرز أهمية المعرفة في المجال في تحسين أداء التفكير.
المناقشة
في قسم المناقشة، يوضح المؤلفون وظيفة وأهمية قاعدة الحلول في نهجهم لمهمة تسلسل مصفوفة هيكل التصميم (DSM). تسهل قاعدة الحلول تخزين وتقييم الحلول المستكشفة، وتدعم التعلم القليل-shot لنموذج اللغة، وتحدد الحلول ذات الأداء العالي في نهاية التكرارات. تتضمن عملية التهيئة أخذ عينة عشوائية من حل أولي من فضاء الحلول، والذي يتم تقييمه بعد ذلك من حيث الجودة بناءً على تقليل حلقات التغذية الراجعة في DSM. يتم صياغة التقييم من خلال دالة موضوعية تسعى إلى تقليل عدد الاعتماديات العكسية الممثلة في مصفوفة الجوار غير المتماثلة.
تظهر النتائج التجريبية أن الطريقة المقترحة، خاصة عند تعزيزها بالمعرفة السياقية في المجال، تتفوق بشكل كبير على كل من المعايير العشوائية والحتمية من حيث سرعة التقارب وجودة الحلول. يستخدم البحث أربع حالات DSM، مصنفة إلى أنواع قائمة على النشاط وأنواع قائمة على المعلمات، مع عدد متغير من العقد والحواف التي تعكس تعقيدها. من الجدير بالذكر أن النتائج تشير إلى أن تضمين المعرفة في المجال يحسن الأداء باستمرار عبر نماذج اللغة الأساسية المختلفة، حيث أظهرت نموذج Claude-3.5-Sonnet أفضل النتائج. يعترف المؤلفون بالقيود، مثل الحاجة إلى نطاق أوسع من حالات DSM والطبيعة السوداء لنماذج LLM، مما يشير إلى أن العمل المستقبلي يجب أن يركز على تعزيز القابلية للتفسير واستكشاف تطبيق طريقتهم على مجموعة أوسع من مهام تحسين التوليف.
DOI: https://doi.org/10.1017/pds.2025.10234
Publication Date: 2025-08-01
Author(s): Shuo Jiang et al.
Primary Topic: Product Development and Customization
Overview
This section discusses the significance of combinatorial optimization (CO) in enhancing efficiency and performance within engineering applications. It highlights the limitations of traditional algorithms, which often fail to account for contextual nuances in optimization tasks. The study introduces a novel framework that utilizes Large Language Models (LLMs) to address engineering CO problems by harnessing their reasoning capabilities and contextual understanding.
The proposed LLM-based framework specifically targets the optimization of the sequencing of Design Structure Matrix (DSM), a prevalent CO challenge. Experimental results across various DSM scenarios indicate that this approach not only achieves faster convergence but also yields higher solution quality compared to established benchmark methods. Furthermore, the findings underscore the importance of integrating contextual domain knowledge, which significantly enhances performance regardless of the specific LLM employed.
Introduction
The introduction of this research paper addresses the significance of combinatorial optimization (CO) problems across various fields, emphasizing their role in enhancing efficiency, cost-effectiveness, and performance. The authors highlight the challenges posed by the NP-hard nature of these problems, particularly as complexity escalates with larger datasets and intricate dependencies. Traditional approaches to CO in engineering involve a mathematical modeling phase followed by algorithmic solutions, which often fail to capture the contextual nuances necessary for real-world applications.
Recent advancements in Large Language Models (LLMs) have shown promise in addressing these challenges, as they possess capabilities in natural language generation, semantic understanding, and complex reasoning. The authors propose that LLMs can effectively solve engineering CO problems by integrating contextual domain knowledge, thereby enhancing mathematical reasoning with semantic insights. They introduce a novel LLM-based framework aimed at optimizing the Design Structure Matrix (DSM) sequencing task, an NP-hard problem that can significantly benefit from improved modularization and reduced feedback loops. Preliminary experiments indicate that their LLM-based method outperforms traditional heuristics in terms of convergence speed and solution quality, particularly when contextual domain knowledge is incorporated.
Methods
In this section, the authors present a novel framework leveraging Large Language Models (LLMs) to address combinatorial optimization (CO) problems, specifically focusing on DSM sequencing. The methodology initiates with a randomly sampled solution from the solution space, which is evaluated against predefined criteria to assess its quality. The framework employs few-shot learning to iteratively refine the solution base by generating new candidates through crafted prompts that integrate both mathematical representations and natural language descriptions of domain knowledge. After a predetermined number of iterations, the best solution from the updated base is selected as the final output.
The experimental setup involved running each method ten times with varying random seeds to ensure robustness, with specific parameters set for solution sampling and iteration limits. The authors selected Claude-3.5-Sonnet-20241022 as the backbone LLM, maintaining default settings. For benchmarking, they compared their framework against both stochastic methods, such as the Genetic Algorithm (GA) with various focus settings, and deterministic methods that reorder nodes based on specific criteria, including Out-In Degree and Visibility. Additionally, a variant of their method was tested, which excluded domain knowledge, relying solely on topological information to evaluate the effectiveness of incorporating contextual knowledge in the optimization process.
Results
In this section, the authors present a comparative analysis of the convergence speed and solution quality of their LLM-based methods against three variants of Genetic Algorithms (GA). The results indicate that the LLM-based methods consistently achieve higher convergence speeds, reaching lower objective values more rapidly than GA across all tested cases. Specifically, the LLM methods identify high-quality initial solutions on the first attempt and continue to optimize effectively, demonstrating the advantages of in-context learning. Notably, the incorporation of domain knowledge significantly enhances performance, as evidenced by the consistent superiority of the LLM methods over GA, particularly in the cartridge development case where both LLM approaches achieved optimal solutions in a single iteration.
Further analysis of solution quality reveals that the LLM methods outperform both deterministic and stochastic benchmarks across various trial runs. In single-trial comparisons, the LLM methods excelled against most deterministic algorithms, with the exception of one case. In 20-trial evaluations, the LLM approaches consistently yielded better solutions, achieving optimal results in three out of four cases. An ablation study assessing different backbone LLMs indicates that Claude-3.5-Sonnet outperforms other models, including open-source alternatives like Llama3-70B, while also confirming that the integration of contextual domain knowledge enhances solution quality across all models. These findings underscore the effectiveness of LLMs in solving combinatorial optimization problems and highlight the importance of domain knowledge in improving reasoning performance.
Discussion
In the discussion section, the authors detail the functionality and significance of the Solution Base in their approach to the Design Structure Matrix (DSM) sequencing task. The Solution Base facilitates the storage and evaluation of explored solutions, supports few-shot learning for the language model, and identifies the top-performing solutions at the end of iterations. The initialization process involves randomly sampling an initial solution from the solution space, which is then evaluated for quality based on the minimization of feedback loops in the DSM. The evaluation is formalized through an objective function that seeks to minimize the number of backward dependencies represented in an asymmetric adjacency matrix.
The experimental results demonstrate that the proposed method, particularly when enhanced with contextual domain knowledge, significantly outperforms both stochastic and deterministic benchmarks in terms of convergence speed and solution quality. The study utilizes four DSM cases, categorized into activity-based and parameter-based types, with varying node and edge counts that reflect their complexity. Notably, the findings indicate that the inclusion of domain knowledge consistently improves performance across various backbone language models, with the Claude-3.5-Sonnet model showing the best results. The authors acknowledge limitations, such as the need for a broader range of DSM cases and the inherent black-box nature of LLMs, suggesting future work should focus on enhancing interpretability and exploring the application of their method to a wider array of combinatorial optimization tasks.