DOI: https://doi.org/10.1007/s11263-026-02826-y
تاريخ النشر: 2026-04-08
المؤلف: Lu Qiu وآخرون
الموضوع الرئيسي: تطبيقات تعلم الآلة متعددة الوسائط
نظرة عامة
ظهور نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) يمثل تقدمًا كبيرًا في الذكاء الاصطناعي العام (AGI)، خاصة في قدراتها على الفهم والتفكير متعدد الوسائط. ومع ذلك، فإن جانبًا حاسمًا من AGI – التخطيط الفعال في سيناريوهات متنوعة – لا يزال غير مستكشف بشكل كافٍ في MLLMs الحالية. يقدم هذا البحث EgoPlan-Bench2، وهو معيار شامل مصمم لتقييم قدرات التخطيط لـ MLLMs عبر 24 سيناريو في أربعة مجالات رئيسية تعكس المهام الواقعية. تم تطوير المعيار من خلال عملية شبه آلية تستخدم مقاطع الفيديو الذاتية، مما يضمن منظورًا من الدرجة الأولى يتماشى مع أساليب حل المشكلات البشرية.
تظهر تقييمات 21 نموذجًا تنافسيًا من MLLMs قيودًا كبيرة في قدراتها على التخطيط ضمن السياقات الواقعية. لمعالجة هذه التحديات، يقترح المؤلفون طريقة خالية من التدريب تستخدم تحفيز سلسلة الأفكار متعددة الوسائط (CoT)، مما يظهر تحسنًا ملحوظًا في أداء GPT-4V بنسبة 10.24% على EgoPlan-Bench2 دون الحاجة إلى تدريب إضافي. لا يسلط هذا العمل الضوء فقط على العيوب الحالية في مهارات التخطيط لـ MLLMs، بل يقدم أيضًا رؤى قيمة للتحسينات المستقبلية في هذا المجال الأساسي من البحث. البيانات والشيفرة المتعلقة بهذه الدراسة متاحة للجمهور على https://qiulu66.github.io/egoplanbench2/.
مقدمة
تناقش مقدمة الورقة التقدم في نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) وإمكاناتها لتحقيق الذكاء الاصطناعي العام (AGI) من خلال دمج مشفرات بصرية مع نماذج اللغة الكبيرة المدربة مسبقًا (LLMs). بينما أظهرت MLLMs قدرات مثيرة للإعجاب في الفهم والتفكير عبر مهام متعددة الوسائط، يؤكد المؤلفون أن تحقيق AGI يتطلب تطوير قدرات تخطيط المهام على مستوى الإنسان. لا يزال هذا الجانب غير مستكشف بشكل كافٍ، حيث تركز المعايير الحالية بشكل أساسي على الفهم بدلاً من التخطيط. لمعالجة هذه الفجوة، يقدم المؤلفون EgoPlan-Bench2، وهو معيار مصمم لتقييم قدرات التخطيط لـ MLLMs بدقة عبر سيناريوهات واقعية متنوعة، تشمل 1,321 سؤالًا متعدد الخيارات مستمدًا من 1,113 مقطع فيديو ذاتي عبر أربعة مجالات حياتية: العمل، الحياة اليومية، الهوايات، والترفيه.
يتم هيكلة EgoPlan-Bench2 حول ثلاثة مبادئ رئيسية: تضمين سيناريوهات غنية ومتنوعة، منظور ذاتي لتقييم التفاعل البشري الواقعي، والتركيز على تقييم قدرات التخطيط من خلال توقع الإجراء التالي. يهدف المعيار إلى محاكاة عمليات اتخاذ القرار الديناميكية المشابهة للسلوك البشري، مما يسمح للنماذج بالاستجابة للملاحظات في الوقت الحقيقي. يوضح المؤلفون المنهجية لبناء المعيار، والتي تشمل خط أنابيب شبه آلي لتوليد أزواج الأسئلة والأجوبة، مما يضمن الجودة من خلال التحقق من النموذج والإنسان. تكشف التقييمات الأولية أن MLLMs الحالية، بما في ذلك GPT-4V، تواجه تحديات كبيرة في تحقيق تخطيط المهام على مستوى الإنسان، حيث تشير مقاييس الأداء إلى أن حتى أفضل النماذج تكافح لتجاوز دقة التخمين العشوائي. تسلط النتائج الضوء على الحاجة إلى مزيد من البحث لتعزيز كفاءة التخطيط لـ MLLMs، خاصة من خلال استراتيجيات تحفيز مبتكرة تستفيد من المعلومات متعددة الوسائط.
الطرق
في هذه الدراسة، يقيم المؤلفون 21 نموذجًا كبيرًا متعدد الوسائط (MLLMs)، بما في ذلك أمثلة بارزة مثل GPT-4V وVideo-LLaMA2، تحت إعدادات تجريبية موحدة. تتضمن عملية التقييم استخدام تكوينات رسمية لنماذج MLLMs الفيديو، والتي تشمل تحديد عدد الإطارات. يتم قص فيديو تقدم المهمة ليكون مدخلًا بصريًا، مما يضمن تضمين كل من الإطار الأول والأخير لتمثيل الملاحظة الحالية. بالنسبة لنماذج MLLMs الصور، يستخدم المؤلفون ثمانية إطارات رئيسية، مع تعديل العدد حسب الحاجة لتجنب مشاكل الاستدلال. يتم أخذ هذه الإطارات الرئيسية بشكل موحد من مقاطع الفيديو وتحضيرها مسبقًا لتقييم النموذج.
يستخدم التقييم تنسيق تحفيز متسق، يطلب من النماذج اختيار أفضل إجابة لسؤال متعدد الخيارات بناءً على محتوى الفيديو. يطلب التحفيز بشكل محدد من النموذج الاستجابة بالحرف الذي يتوافق مع الخيار الصحيح، مع الأخذ في الاعتبار كل من تقدم الفيديو وملاحظة الإطار الأخير. يتم تحديد الدقة من خلال مقارنة مباشرة لمخرجات النموذج مع الإجابة الصحيحة، مع الالتزام باستراتيجية التقييم الموضحة في Video-MME، دون تدخل أي نماذج خارجية مثل GPT.
المناقشة
في قسم التقدم في نماذج اللغة الكبيرة متعددة الوسائط (MLLMs)، يسلط البحث الضوء على دمج مشفرات الصور، ونماذج اللغة، ووحدات المحاذاة لتعزيز قدرات الفهم والتفكير متعدد الوسائط. أظهرت نماذج بارزة مثل BLIP-2 وLLaVA وFlamingo تقدمًا كبيرًا في التدريب المسبق على الرؤية واللغة، بينما وسعت الأبحاث الأخيرة التركيز لتشمل بيانات الفيديو، مع نماذج مثل VideoChat وVideo-LLaMA التي تعزز قدرات اتباع التعليمات من خلال بيانات ضبط التعليمات بالفيديو. تطورت أيضًا معايير تقييم MLLMs، مع تقييمات مختلفة للأداء عبر المهام المتعلقة بالإدراك الزمني والمكاني، والتعرف على الكائنات، وأكثر من ذلك.
تناقش الورقة أيضًا بناء EgoPlan-Bench2، وهو معيار مصمم لتقييم قدرات التخطيط لـ MLLMs باستخدام مجموعات بيانات الفيديو الذاتية، وخاصة Ego4D. يتميز هذا المعيار بتركيزه على سيناريوهات واقعية متنوعة، ومنظور ذاتي، ونهج منظم لاستخراج أهداف المهام وتوليد الأسئلة. تشمل المنهجية خط أنابيب شبه آلي لتوليد أسئلة متعددة الخيارات تقيم قدرات التخطيط، مما يضمن أن تكون المهام ذات مغزى وذات صلة. تتكون مجموعة البيانات الناتجة من 1,321 زوجًا عالي الجودة من الأسئلة والأجوبة عبر مجالات حياتية متنوعة، مما يوفر موردًا شاملاً لتقييم MLLMs في مهام التخطيط.
القيود
تُبرز القيود الموجودة في نماذج اللغة متعددة الوسائط (MLLMs) في مجالين رئيسيين: القيود على عدد الإطارات المأخوذة من الفيديو وسعة التفكير غير الكافية. تشير القيود الأولى، النوع الرابع، إلى أن MLLMs غالبًا ما تكافح مع مقاطع الفيديو الطويلة بسبب اعتمادها على أخذ عينات من الإطارات بشكل متفرق وموحد. يمكن أن يؤدي ذلك إلى إغفال إجراءات حاسمة أو تغييرات في الحالة، كما يتضح من مثال حيث يفشل النموذج في التقاط إجراء محوري لالتقاط قضيب معدني بعد تفعيل سريع، مما يؤدي إلى اختيار إجراء غير صحيح.
يتناول النوع الخامس ضعف القدرة على التفكير لدى MLLMs، وهو أمر أساسي للتخطيط الفعال للمهام. يجب أن تفهم هذه النماذج أهداف المهام والأشياء ذات الصلة، ولكن يجب أن تمتلك أيضًا فهمًا عامًّا لعمليات المهام لتقديم استنتاجات دقيقة حول الإجراءات التالية. يوضح مثال أنه بينما يمكن لـ GPT-4V وصف عملية المهمة والحالة الحالية بدقة، فإنه يفشل في استنتاج أنه يجب طي كيس النايلون المفكوك قبل تخزين اللحم، مما يشير إلى فجوة في قدراته على التفكير.
DOI: https://doi.org/10.1007/s11263-026-02826-y
Publication Date: 2026-04-08
Author(s): Lu Qiu et al.
Primary Topic: Multimodal Machine Learning Applications
Overview
The emergence of Multimodal Large Language Models (MLLMs) has marked a significant advancement in artificial general intelligence (AGI), particularly in their multimodal understanding and reasoning capabilities. However, a critical aspect of AGI—effective planning in diverse scenarios—remains inadequately explored in current MLLMs. This paper introduces EgoPlan-Bench2, a comprehensive benchmark designed to evaluate the planning abilities of MLLMs across 24 scenarios in four major domains that reflect real-world tasks. The benchmark is developed through a semi-automated process utilizing egocentric videos, ensuring a first-person perspective that aligns with human problem-solving approaches.
The evaluation of 21 competitive MLLMs reveals substantial limitations in their planning capabilities within real-world contexts. To address these challenges, the authors propose a training-free method that employs multimodal Chain-of-Thought (CoT) prompting, demonstrating a notable improvement in the performance of GPT-4V by 10.24% on EgoPlan-Bench2 without requiring additional training. This work not only highlights the current deficiencies in MLLMs’ planning skills but also offers valuable insights for future enhancements in this essential area of research. Data and code related to this study are publicly accessible at https://qiulu66.github.io/egoplanbench2/.
Introduction
The introduction of the paper discusses the advancements in Multimodal Large Language Models (MLLMs) and their potential to achieve artificial general intelligence (AGI) by integrating visual encoders with pretrained Large Language Models (LLMs). While MLLMs have shown impressive capabilities in comprehension and reasoning across various multimodal tasks, the authors emphasize that achieving AGI necessitates the development of human-level task planning abilities. This aspect remains underexplored, with existing benchmarks primarily focusing on comprehension rather than planning. To address this gap, the authors introduce EgoPlan-Bench2, a benchmark designed to rigorously evaluate the planning capabilities of MLLMs across diverse real-world scenarios, encompassing 1,321 multiple-choice questions derived from 1,113 egocentric videos across four life domains: Work, Daily Life, Hobbies, and Recreation.
EgoPlan-Bench2 is structured around three key principles: the inclusion of rich and diverse scenarios, an egocentric perspective for realistic human interaction assessment, and a focus on evaluating planning capabilities through next action prediction. The benchmark aims to simulate dynamic decision-making processes akin to human behavior, allowing models to respond to real-time observations. The authors detail the methodology for constructing the benchmark, which includes a semi-automated pipeline for generating QA pairs, ensuring quality through model and human verification. Initial evaluations reveal that current MLLMs, including GPT-4V, face significant challenges in achieving human-level task planning, with performance metrics indicating that even the best models struggle to surpass random guessing accuracy. The findings highlight the need for further research to enhance MLLMs’ planning proficiency, particularly through innovative prompting strategies that leverage multimodal information.
Methods
In this study, the authors evaluate 21 multi-modal large language models (MLLMs), including notable examples such as GPT-4V and Video-LLaMA2, under standardized experimental settings. The evaluation process involves using official configurations for video MLLMs, which includes specifying the number of frames. The task progress video is cropped to serve as visual input, ensuring that both the first and last frames are included to represent the current observation. For image MLLMs, the authors utilize eight key frames, adjusting the number as necessary to avoid inference issues. These key frames are uniformly sampled from the video clips and prepared in advance for model assessment.
The evaluation employs a consistent prompt format, asking models to select the best answer to a multiple-choice question based on the video content. The prompt specifically requests the model to respond with the letter corresponding to the correct option, considering both the video progress and the last frame’s observation. Accuracy is determined by directly comparing the model’s output to the correct answer, adhering to the evaluation strategy outlined in Video-MME, without the involvement of any external models such as GPT.
Discussion
In the section on advancements in multimodal large language models (MLLMs), the paper highlights the integration of image encoders, language models, and alignment modules to enhance multimodal understanding and reasoning capabilities. Notable models such as BLIP-2, LLaVA, and Flamingo have demonstrated significant progress in vision-language pre-training, while recent research has expanded the focus to include video data, with models like VideoChat and Video-LLaMA enhancing instruction-following capabilities through video instruction-tuning data. The benchmarking of MLLMs has also evolved, with various benchmarks assessing performance across tasks related to temporal and spatial perception, object recognition, and more.
The paper further discusses the construction of EgoPlan-Bench2, a benchmark designed to evaluate MLLMs’ planning capabilities using egocentric video datasets, particularly Ego4D. This benchmark is characterized by its focus on diverse real-world scenarios, an egocentric perspective, and a structured approach to task goal extraction and question generation. The methodology includes a semi-automatic pipeline for generating multiple-choice questions that assess planning capabilities, ensuring that the tasks are purposeful and relevant. The resulting dataset comprises 1,321 high-quality QA pairs across various life domains, providing a comprehensive resource for evaluating MLLMs in planning tasks.
Limitations
The limitations of existing Multimodal Language Models (MLLMs) are highlighted in two key areas: the restriction on the number of sampled video frames and inadequate reasoning capacity. The first limitation, Type IV, indicates that MLLMs often struggle with long videos due to their reliance on sparse and uniform frame sampling. This can result in the omission of critical actions or state changes, as illustrated by an example where the model fails to capture a pivotal action of picking up a metal bar after a brief switch activation, leading to incorrect action selection.
Type V addresses the poor reasoning capacity of MLLMs, which is essential for effective task planning. These models must not only understand task goals and relevant objects but also possess a grasp of general task processes to make accurate inferences about subsequent actions. An example demonstrates that while GPT-4V can describe the task process and current state accurately, it fails to infer that the unfolded nylon bag must be folded before storing meat, indicating a gap in its reasoning capabilities.