ORThought: تقييم وأتمتة نمذجة تحسين اللوجستيات عبر التفكير المنظم باستخدام LLM ORThought: Benchmarking and automating logistics optimization modeling via structured LLM reasoning

شارك:
المجلة: Artificial Intelligence for Transportation، المجلد: 6
DOI: https://doi.org/10.1016/j.ait.2026.100059
تاريخ النشر: 2026-01-01
المؤلف: Beinuo Yang وآخرون
الموضوع الرئيسي: طرق تحسين توجيه المركبات

نظرة عامة

تتناول البحث التحديات المتعلقة بتحسين اتخاذ القرارات في اللوجستيات والنقل، والتي غالبًا ما تعيقها الحاجة إلى خبرة متخصصة والعمليات اليدوية البطيئة. للتغلب على هذه الحواجز، يقدم المؤلفون إطار عمل قائم على LLM يقوم بأتمتة نمذجة التحسين. يقدمون ثلاث مساهمات رئيسية: تطوير LogiOR، وهو معيار شامل للوجستيات مع تعقيد وتنوع معزز؛ تقديم ORThought، وهو إطار عمل ذو وكيلين يدمج مبادئ نمذجة الخبراء من خلال التفكير المتسلسل لتقليل التكرار؛ وتقييمات تجريبية واسعة تظهر أن ORThought يتفوق على الأساليب الحديثة بنسبة 9-17 نقطة مئوية مع الحفاظ على كفاءة عالية في الرموز.

تشير النتائج إلى أن ORThought قوي عبر أنواع وأحجام مختلفة من المشكلات، مما يظهر تحسينات كبيرة في الأداء مقارنة بالمعايير الحالية. بالإضافة إلى ذلك، يقوم المؤلفون بإجراء تحليل خطأ متعدد الأبعاد لتحديد أوضاع الفشل الحرجة وعوامل النجاح، مما يقترح اتجاهات البحث المستقبلية مثل التحقق من صحة الصياغة التكرارية، واختيار النماذج التكيفية، وتعزيز التعاون بين الإنسان والذكاء الاصطناعي. تم إتاحة مجموعة البيانات والرمز للجمهور على Hugging Face وGitHub، مما يعزز المزيد من الاستكشاف والتطبيق داخل المجتمع.

مقدمة

تناقش مقدمة ورقة البحث الدور المحوري لبحوث العمليات (OR) في تعزيز اتخاذ القرارات داخل اللوجستيات والنقل، مع التأكيد على تأثيرها على كفاءة سلسلة التوريد العالمية (هيلير، 2021). على الرغم من التقدم في الخوارزميات لحل مشكلات التحسين المعقدة، تظل عملية تحويل الحقائق التشغيلية إلى نماذج رياضية – والتي تُسمى نمذجة التحسين (OM) – تحديًا كبيرًا. يعود هذا التحدي بشكل أساسي إلى الاعتماد على الخبرة البشرية، مما يخلق “فجوة خبرة” تحد من إمكانية الوصول إلى OM للممارسين الذين ليس لديهم تدريب متقدم (Gurobi Optimization, LLC, 2024b). بالإضافة إلى ذلك، تعيق الطبيعة اليدوية لـ OM الاستجابة للظروف السوقية المتغيرة بسرعة، حيث غالبًا ما تتطور قواعد القرار والقيود في الوقت الحقيقي (Richey et al., 2022).

تسلط الورقة الضوء على عدم الكفاءة المرتبطة بسير العمل اليدوي الحالي، والذي لا يبطئ فقط عملية النمذجة ولكن يؤدي أيضًا إلى عدم التوافق بين أصحاب المصلحة في المجال وخبراء OR، مما يؤدي إلى دورات تكرارية مكلفة. لمعالجة هذه القضايا، يدعو المؤلفون إلى نهج نمذجة التحسين الآلي (AOM) التي تخفف من عبء الخبرة، وتعزز من مرونة العمليات، وتبسط عملية النمذجة. يقترحون طريقة جديدة مدعومة بـ LLM تدمج الاسترجاع والنمذجة والحل في واجهة لغة طبيعية متماسكة، مما يسهل التكيف في الوقت الحقيقي مع المتطلبات التشغيلية الديناميكية.

طرق

تحدد هذه القسم منهجيتين رئيسيتين لتعزيز نماذج اللغة الكبيرة (LLMs) في نمذجة التحسين الآلي (AOM): الطرق المعتمدة على التدريب والطرق المعتمدة على الاستدلال. تتضمن الطرق المعتمدة على التدريب تعديل المعلمات مباشرة من خلال تقنيات مثل التخصيص الدقيق تحت الإشراف والتعلم المعزز، مع التركيز بشكل أساسي على النماذج الصغيرة والفعالة. تشمل المساهمات البارزة إطار العمل للتخصيص الدقيق التدريجي لأحمد وتشودري ومجموعة البيانات المتخصصة لـ هوانغ وآخرون للتخصيص الدقيق تحت الإشراف، والتي أظهرت أن النماذج الصغيرة يمكن أن تنافس النماذج الأكبر في الأداء. ومع ذلك، تواجه هذه الطرق تحديات تتعلق بالتكاليف الحسابية العالية وقابلية النقل المحدودة عبر هياكل النماذج المختلفة، مما يتطلب إعادة تدريب متكررة مع تطور النماذج الأساسية.

على النقيض من ذلك، تستفيد الطرق المعتمدة على الاستدلال من التعلم في السياق وإطارات الوكلاء لاستنباط قدرات التحسين دون تعديل معلمات النموذج. تتراوح هذه الطرق من الأساليب ذات الوكيل الواحد، التي تعزز الأداء من خلال مطالبات مصممة بعناية، إلى إطارات متعددة الوكلاء المنظمة التي تنفذ المهام الفرعية بشكل متسلسل. يمثل إطار ORMind المثال الأخير، بينما تسمح إطارات متعددة الوكلاء المستقلة الأكثر تقدمًا مثل Chain-of-Experts وOptiMUS بالتنسيق الديناميكي بين الوكلاء. على الرغم من أن هذه الإطارات تقدم مرونة أكبر وقابلية للتكيف مع المشكلات المعقدة، إلا أنها تقدم أيضًا عبء حسابي كبير واحتمالية عدم الاستقرار. تختتم هذه القسم بوصف ORThought، وهو إطار عمل ذو وكيلين مصمم لفصل المطالب المعرفية للصياغة الرياضية وتنفيذ الشيفرة، مما يحسن الأداء من خلال تقليل تداخل تبديل المهام.

مناقشة

تسلط قسم المناقشة في الورقة الضوء على التقدم الكبير في نماذج اللغة الكبيرة (LLMs) وتطبيقها في نمذجة التحسين الآلي (AOM). وضعت الاختراقات الأخيرة في فهم اللغة الطبيعية، والتفكير الرياضي، وتوليد الشيفرة الرسمية نماذج LLM كأدوات واعدة لـ AOM، كما يتضح من أدائها في مسابقة NL4Opt 2023، حيث تجاوزت النماذج الخاصة بالمهام في مهام البرمجة الخطية. تشير الأدبيات المتزايدة إلى تطبيقات ناجحة لنماذج LLM في مشكلات التحسين المختلفة، بما في ذلك السيناريوهات المعقدة مع القيود الضمنية والتحديات الخاصة بالمجال مثل توجيه المركبات وإدارة الأسطول الديناميكي. يقترح المؤلفون أن دمج نماذج LLM في AOM يمكن أن يقلل من زمن الصياغة والعبء الاتصالي مقارنة بسير العمل التقليدي المعتمد على الخبراء.

على الرغم من هذه التقدمات، يحدد المؤلفون التحديات الحرجة في البحث الحالي، بما في ذلك نقص المعايير الشاملة مع التعليقات التفصيلية، والاعتماد على إطارات متعددة الوكلاء المعقدة التي قد تقدم عدم استقرار، وغياب التقييمات متعددة الأبعاد لأداء النموذج عبر تعقيدات المشكلات المتنوعة. لمعالجة هذه القضايا، تقدم الورقة LogiOR، وهو معيار مصمم خصيصًا لتحسين اللوجستيات والنقل، مع ميزات تعليقات صارمة وأنواع مشكلات متنوعة. بالإضافة إلى ذلك، يقدم المؤلفون ORThought، وهو إطار عمل منظم يستخدم بنية وكيلين لتعزيز كفاءة النمذجة مع تقليل التكاليف الحسابية. تظهر النتائج التجريبية أن ORThought يتفوق باستمرار على الأساليب الحالية، مما يكشف عن إمكانيته في تعزيز نمذجة التحسين القائمة على LLM وتقديم رؤى لاتجاهات البحث المستقبلية.

Journal: Artificial Intelligence for Transportation, Volume: 6
DOI: https://doi.org/10.1016/j.ait.2026.100059
Publication Date: 2026-01-01
Author(s): Beinuo Yang et al.
Primary Topic: Vehicle Routing Optimization Methods

Overview

The research addresses the challenges of optimizing logistics and transportation decision-making, which is often impeded by the need for specialized expertise and slow manual processes. To overcome these barriers, the authors introduce an LLM-based framework that automates optimization modeling. They present three key contributions: the development of LogiOR, a comprehensive logistics benchmark with enhanced complexity and diversity; the introduction of ORThought, a dual-agent framework that integrates expert modeling principles through chain-of-thought reasoning to reduce redundancy; and extensive empirical evaluations showing that ORThought outperforms state-of-the-art methods by 9-17 percentage points while maintaining high token efficiency.

The findings indicate that ORThought is robust across various problem types and sizes, demonstrating significant performance improvements over existing baselines. Additionally, the authors conduct a multidimensional error analysis to identify critical failure modes and success factors, suggesting future research directions such as iterative formulation verification, adaptive model selection, and enhancing Human-AI collaboration. The dataset and code are made publicly available on Hugging Face and GitHub, promoting further exploration and application within the community.

Introduction

The introduction of the research paper discusses the pivotal role of Operations Research (OR) in enhancing decision-making within logistics and transportation, emphasizing its impact on global supply chain efficiency (Hillier, 2021). Despite advancements in algorithms for solving complex optimization problems, the process of transforming operational realities into mathematical models—termed Optimization Modeling (OM)—remains a significant challenge. This challenge is primarily due to the reliance on human expertise, which creates an “expertise gap” that limits the accessibility of OM to practitioners without advanced training (Gurobi Optimization, LLC, 2024b). Additionally, the manual nature of OM hinders responsiveness to rapidly changing market conditions, as decision rules and constraints often evolve in real-time (Richey et al., 2022).

The paper highlights the inefficiencies associated with the current manual workflow, which not only slows down the modeling process but also leads to misalignment between domain stakeholders and OR experts, resulting in costly iterative cycles. To address these issues, the authors advocate for Automated Optimization Modeling (AOM) approaches that alleviate the burden of expertise, enhance operational agility, and streamline the modeling process. They propose a novel LLM-empowered method that integrates retrieval, modeling, and solving into a cohesive natural language interface, thereby facilitating real-time adaptability to dynamic operational requirements.

Methods

The section outlines two primary methodologies for enhancing large language models (LLMs) in automated optimization modeling (AOM): training-based methods and inference-based methods. Training-based methods involve direct parameter adaptation through techniques like supervised fine-tuning and reinforcement learning, focusing predominantly on smaller, efficient models. Notable contributions include Ahmed and Choudhury’s progressive fine-tuning framework and Huang et al.’s specialized dataset for supervised fine-tuning, which demonstrated that smaller models can rival larger ones in performance. However, these methods face challenges related to high computational costs and limited transferability across different model architectures, necessitating frequent retraining as foundational models evolve.

In contrast, inference-based methods leverage in-context learning and agent frameworks to elicit optimization capabilities without modifying model parameters. These methods range from single-agent approaches, which enhance performance through carefully crafted prompts, to structured multi-agent frameworks that sequentially execute subtasks. The ORMind framework exemplifies the latter, while more advanced autonomous multi-agent frameworks like Chain-of-Experts and OptiMUS allow for dynamic coordination among agents. Although these frameworks offer increased flexibility and adaptability to complex problems, they also introduce significant computational overhead and potential instability. The section concludes with a description of ORThought, a dual-agent framework designed to separate the cognitive demands of mathematical formulation and code implementation, thereby improving performance by minimizing task-switching interference.

Discussion

The discussion section of the paper highlights the significant advancements in Large Language Models (LLMs) and their application in Automated Optimization Modeling (AOM). Recent breakthroughs in natural language understanding, mathematical reasoning, and formal code generation have positioned LLMs as promising tools for AOM, as evidenced by their performance in the 2023 NL4Opt competition, where they surpassed task-specific models in linear programming tasks. The growing literature indicates successful applications of LLMs in various optimization problems, including complex scenarios with implicit constraints and domain-specific challenges like vehicle routing and dynamic fleet management. The authors propose that integrating LLMs into AOM can reduce formulation latency and communication overhead compared to traditional expert-dependent workflows.

Despite these advancements, the authors identify critical challenges in current research, including the lack of comprehensive benchmarks with detailed annotations, the reliance on complex multi-agent frameworks that may introduce instability, and the absence of multidimensional assessments of model performance across varying problem complexities. To address these issues, the paper introduces LogiOR, a benchmark specifically designed for logistics and transportation optimization, featuring rigorous annotations and diverse problem types. Additionally, the authors present ORThought, a structured framework that employs a dual-agent architecture to enhance modeling efficiency while minimizing computational costs. Experimental results demonstrate that ORThought consistently outperforms existing methods, revealing its potential to advance LLM-based optimization modeling and providing insights for future research directions.