اجمع واغزو: متوسط النموذج للتنبؤ خارج التوزيع Combine and conquer: Model averaging for out-of-distribution forecasting

شارك:
المجلة: Transportation Research Part C Emerging Technologies، المجلد: 192
DOI: https://doi.org/10.1016/j.trc.2026.105846
تاريخ النشر: 2026-07-30
المؤلف: Stephane Hess وآخرون
الموضوع الرئيسي: تخطيط النقل وتحسينه

نظرة عامة

تستكشف ورقة البحث فعالية نماذج سلوك السفر المختلفة في توقع اختيار الوضع، مع التركيز بشكل خاص على تحديات التنبؤات خارج التوزيع، حيث تختلف خصائص الرحلة عن بيانات التقدير. يبرز المؤلفون أنه بينما تؤدي نماذج التعلم الآلي المدفوعة بالبيانات بشكل جيد ضمن نطاقات المسافة المستخدمة للتقدير، فإن دقتها التنبؤية تتناقص للرحلات خارج هذا النطاق. لمعالجة ذلك، تقترح الورقة نهج متوسط النموذج الذي يخصص أوزانًا لعائلات النماذج المختلفة بناءً على مسافة خصائص الرحلة من بيانات التقدير. يعزز هذا النهج أداء التنبؤ، خاصة في السيناريوهات خارج التوزيع، من خلال زيادة الاعتماد على النماذج ذات الأسس السلوكية الأقوى مع زيادة المسافة من بيانات التقدير.

تشير النتائج إلى أن طريقة متوسط النموذج تتفوق على كل من بيانات التقدير وبيانات الاختبار، خاصة في توقع اختيارات الوضع للرحلات ذات المسافات غير المغطاة في مجموعة بيانات التقدير. يقترح المؤلفون أن النماذج المستندة إلى النظرية السلوكية قد تظهر أداءً أكثر استقرارًا في هذه السياقات، حيث إنها أقل عرضة لالتقاط الأنماط الزائفة. تناقش الورقة أيضًا إمكانية البحث المستقبلي لتوسيع إطار متوسط النموذج ليشمل خصائص الرحلة الإضافية بخلاف المسافة، ولتحديد ما يشكل خارج التوزيع بشكل أكثر دقة. علاوة على ذلك، يقترح المؤلفون استكشاف تقنيات النمذجة الميتا المتقدمة لتعزيز القوة والعمومية في الأداء التنبؤي، وبالتالي الجمع بين نقاط القوة للنماذج الاقتصادية التقليدية ونماذج التعلم الآلي الحديثة.

مقدمة

تحدد مقدمة الورقة التمييز بين نماذج الاستدلال، التي تهدف إلى فهم سلوك السفر الحالي، ونماذج التنبؤ، التي تتنبأ بسلوك السفر المستقبلي في سياقات جديدة. تركز نماذج الاستدلال على توليد رؤى سلوكية معقولة، بينما تعطي نماذج التنبؤ الأولوية للتنبؤات الدقيقة، خاصة في السيناريوهات التي قد تتضمن تركيبات غير مرصودة من سمات السفر. تبرز الورقة الاهتمام المتزايد في أساليب النمذجة المتنوعة، بما في ذلك التقنيات الاقتصادية والنفسية الرياضية وتقنيات التعلم الآلي، مدفوعة بتوافر بيانات سلوك السفر التفصيلية، مثل تتبع نظام تحديد المواقع العالمي (GPS).

على الرغم من جاذبية نماذج التعلم الآلي بسبب أدائها التنبؤي المتفوق، لا يزال هناك اعتقاد سائد بأن النماذج ذات الأساس السلوكي القوي، مثل نماذج الاختيار المنفصل المستندة إلى تعظيم المنفعة العشوائية (RUM)، أكثر فعالية في التنبؤ في إعدادات جديدة. يحدد المؤلفون فجوة في فهم كيفية تقييم ودمج أداء النموذج في تطوير نماذج التنبؤ، مشيرين إلى أن الملاءمة الجيدة في العينة لا تضمن أداءً قويًا خارج التوزيع. تهدف الورقة إلى استكشاف أداء التنبؤ لنماذج التنبؤ ذات الأسس السلوكية المتنوعة بناءً على “المسافة” بين بيانات التدريب وسيناريوهات التنبؤ، وتقترح نهج متوسط النموذج لتعزيز أداء التنبؤ، مع التركيز بشكل خاص على مسافة الرحلة كمتغير رئيسي. تستخدم المنهجية شبكة عصبية لتعلم العلاقات غير الخطية بين المسافة وأوزان النموذج، مما يوفر في النهاية رؤى حول الأداء الأمثل للنموذج تحت ظروف متغيرة.

الطرق

في هذا القسم، يقدم المؤلفون ابتكارهم المنهجي، الذي يتضمن استخدام تقنيات متوسط النموذج خصيصًا للتنبؤ خارج التوزيع (OOD). يبدأون بتوضيح المبادئ الأساسية لمتوسط النموذج، والذي يتضمن عادةً دمج التنبؤات من نماذج متعددة لتعزيز الأداء العام والصلابة. بعد ذلك، يوضح المؤلفون التعديلات اللازمة على نهج متوسط النموذج لمعالجة التحديات التي تطرحها سيناريوهات OOD، حيث قد تختلف البيانات بشكل كبير عن توزيع التدريب. هذا التكيف ضروري لتحسين الدقة التنبؤية في التطبيقات الواقعية حيث تكون تقلبات البيانات شائعة.

النتائج

في هذا القسم، يتم تقديم النتائج التجريبية من دراستين حالتين، مع التركيز على أداء النماذج الفرعية الفردية وهيكل متوسط النموذج (MA). يكشف التحليل أن هيكل MA يحقق باستمرار احتمال لوغاريتمي أعلى (LL) من أي من النماذج الأربعة الفردية عبر كلا مجموعتي البيانات، مما يظهر صلابة حتى عندما يختلف أداء النموذج الفردي. يتماشى هذا مع المبدأ القائل بأن مجموعة من النماذج الأضعف يمكن أن تنتج نموذجًا أقوى بشكل عام. يسمح تضمين القطاعات 2 و9 في إطار MA له بالتعلم بفعالية عن الأداء خارج التوزيع، مما يوجه تخصيص الأوزان للنماذج الفردية بناءً على مسافة الرحلة.

تشير الفحوصات الإضافية للنتائج إلى أنه بينما يؤدي هيكل MA بشكل جيد ضمن قطاعات المسافة التدريبية (3-8)، فإنه يتكيف أيضًا بفعالية مع السيناريوهات خارج التوزيع. بالنسبة للرحلات القصيرة، يفضل عملية MA نماذج معينة (مثل MLP وXGB)، بينما بالنسبة للرحلات الأطول، تتغير توزيع الأوزان، مما يبرز الطبيعة الديناميكية لنهج متوسط النموذج. من الجدير بالذكر أن هيكل MA يتفوق على النماذج الفردية في بيانات الاختبار، مع زيادة في LL تكون أكثر وضوحًا مقارنة ببيانات التقدير، مما يشير إلى تقليل الإفراط في التكيف وتحسين العمومية. بشكل عام، تؤكد النتائج على مزايا نهج MA، خاصة في تعزيز الأداء خارج التوزيع، وهو الهدف الرئيسي للدراسة.

المناقشة

في قسم المناقشة من الورقة، يوضح المؤلفون نهج متوسط النموذج العام الذي يدمج نماذج تنبؤية متعددة لتعزيز عمليات اتخاذ القرار. تتضمن هذه الطريقة، المستندة إلى العمل الأساسي لوولبرت (1992)، تقدير $M$ نماذج مختلفة لاشتقاق الاحتمالات للاختيارات الملاحظة التي يقوم بها صانعو القرار. يقدم المؤلفون صياغتين لدالة الاحتمال اللوغاريتمي، واحدة على المستوى الفردي وأخرى على مستوى الملاحظة، مما يسمح بالمرونة في كيفية تخصيص أوزان النموذج بناءً على خصائص محددة للشخص أو الموقف. يتم تحديد الأوزان لتعكس تأثير هذه الخصائص، مما يسهل هيكل فئة كامن تسلسلي يمكّن النموذج من التعلم من البيانات بفعالية.

يقترح المؤلفون أيضًا نهجًا جديدًا للتنبؤ خارج التوزيع، حيث يتم تحديد أوزان النموذج بناءً على مدى عدم اعتيادية الملاحظة بالنسبة لبيانات التدريب. تؤكد هذه الطريقة على مسافة الرحلة كخاصية رئيسية، مما يسمح للنموذج بتكييف تنبؤاته بناءً على سياق الرحلة. من خلال تدريب النماذج الفرعية الفردية على نطاق محدود من المسافات أثناء تقدير هيكل متوسط النموذج على مجموعة البيانات الكاملة، يهدف المؤلفون إلى تحسين قدرة النموذج على الاستقراء خارج بيانات التدريب. يبرزون أهمية موازنة نطاق بيانات التدريب مع الحاجة إلى تقديرات قوية، مما يدعو في النهاية إلى استخدام شبكة متعددة الطبقات (MLP) لالتقاط العلاقات غير الخطية في البيانات، وبالتالي تعزيز قدرات النموذج التنبؤية. ينتهي القسم بوصف لمجموعات البيانات المستخدمة في دراساتهم الحالة، مع التأكيد على تنوع مسافات الرحلات وأهمية نهجهم في توقع الطلب على السفر.

Journal: Transportation Research Part C Emerging Technologies, Volume: 192
DOI: https://doi.org/10.1016/j.trc.2026.105846
Publication Date: 2026-07-30
Author(s): Stephane Hess et al.
Primary Topic: Transportation Planning and Optimization

Overview

The research paper explores the efficacy of various travel behaviour models in forecasting mode choice, particularly focusing on the challenges of out-of-distribution predictions, where trip characteristics differ from the estimation data. The authors highlight that while data-driven machine learning models perform well within the distance bands used for estimation, their predictive accuracy diminishes for trips outside this range. To address this, the paper proposes a model averaging approach that assigns weights to different model families based on the distance of the trip characteristics from the estimation data. This approach enhances prediction performance, particularly for out-of-distribution scenarios, by increasing the reliance on models with stronger behavioural foundations as the distance from the estimation data increases.

The findings indicate that the model averaging method outperforms both estimation and test data, especially in predicting mode choices for trips with distances not covered in the estimation dataset. The authors suggest that models grounded in behavioural theory may exhibit more stable performance in these contexts, as they are less prone to capturing spurious patterns. The paper also discusses the potential for future research to extend the model averaging framework to include additional trip characteristics beyond distance, and to refine the definition of what constitutes out-of-distribution. Furthermore, the authors propose exploring advanced meta-modeling techniques to enhance robustness and generalization in predictive performance, thereby combining the strengths of traditional econometric models and modern machine learning approaches.

Introduction

The introduction of the paper delineates the distinction between inference models, which aim to understand current travel behavior, and forecasting models, which predict future travel behavior in new contexts. Inference models focus on generating behaviorally plausible insights, while forecasting models prioritize accurate predictions, particularly in scenarios that may involve unobserved combinations of travel attributes. The paper highlights the growing interest in diverse modeling approaches, including econometric, mathematical psychology, and machine learning techniques, driven by the availability of granular travel behavior data, such as GPS tracking.

Despite the appeal of machine learning models due to their superior prediction performance, there remains a prevailing belief that models with a strong behavioral foundation, such as Random Utility Maximization (RUM) based discrete choice models, are more effective for forecasting in new settings. The authors identify a gap in understanding how to evaluate and incorporate model performance in the development of forecasting models, noting that good in-sample fit does not guarantee robust out-of-distribution performance. The paper aims to explore the prediction performance of forecasting models with varying behavioral underpinnings based on the “distance” between training data and forecasting scenarios, and proposes a model averaging approach to enhance prediction performance, particularly focusing on trip distance as a key variable. The methodology employs a neural network to learn nonlinear relationships between distance and model weights, ultimately providing insights into optimal model performance under varying conditions.

Methods

In this section, the authors introduce their methodological innovation, which involves employing model averaging techniques specifically for out-of-distribution (OOD) prediction. They begin by elucidating the fundamental principles of model averaging, which typically involves combining predictions from multiple models to enhance overall performance and robustness. Following this, the authors detail the necessary adaptations to the model averaging approach to effectively address the challenges posed by OOD scenarios, where data may differ significantly from the training distribution. This adaptation is crucial for improving predictive accuracy in real-world applications where data variability is common.

Results

In this section, the empirical results from two case studies are presented, focusing on the performance of individual sub-models and the model averaging (MA) structure. The analysis reveals that the MA structure consistently achieves a higher log-likelihood (LL) than any of the four individual models across both datasets, demonstrating robustness even when individual model performance varies. This aligns with the principle that an ensemble of weaker models can yield a stronger overall model. The inclusion of segments 2 and 9 in the MA framework allows it to effectively learn about out-of-distribution performance, guiding the allocation of weights to individual models based on trip distance.

Further examination of the results indicates that while the MA structure performs well within the training distance segments (3-8), it also adapts effectively to out-of-distribution scenarios. For shorter trips, the MA process favors specific models (e.g., MLP and XGB), while for longer trips, the weight distribution shifts, highlighting the dynamic nature of the model averaging approach. Notably, the MA structure outperforms individual models on test data, with gains in LL being more pronounced compared to estimation data, suggesting reduced overfitting and improved generalization. Overall, the findings underscore the advantages of the MA approach, particularly in enhancing out-of-distribution performance, which was a primary objective of the study.

Discussion

In the discussion section of the paper, the authors elaborate on a generic model averaging approach that integrates multiple predictive models to enhance decision-making processes. This method, rooted in the foundational work of Wolpert (1992), involves estimating $M$ different models to derive likelihoods for observed choices made by decision-makers. The authors present two formulations for the log-likelihood function, one at the individual level and another at the observation level, allowing for flexibility in how model weights are assigned based on either person-specific or situation-specific characteristics. The weights are parameterized to reflect the influence of these characteristics, facilitating a sequential latent class structure that enables the model to learn from the data effectively.

The authors further propose a novel approach for out-of-distribution prediction, where model weights are determined by how atypical an observation is relative to the training data. This method emphasizes trip distance as a key characteristic, allowing the model to adapt its predictions based on the context of the trip. By training individual sub-models on a restricted range of distances while estimating the model averaging structure on the full dataset, the authors aim to improve the model’s ability to extrapolate beyond the training data. They highlight the importance of balancing the training data’s range with the need for robust estimates, ultimately advocating for the use of a MultiLayer Perceptron (MLP) to capture nonlinear relationships in the data, thereby enhancing the model’s predictive capabilities. The section concludes with a description of the datasets used in their case studies, emphasizing the diversity of trip distances and the relevance of their approach to travel demand forecasting.