DOI: https://doi.org/10.1109/tvcg.2026.3662720
PMID: https://pubmed.ncbi.nlm.nih.gov/41662560
تاريخ النشر: 2026-02-09
المؤلف: Ziyi Xu وآخرون
الموضوع الرئيسي: الشبكات التنافسية التوليدية وتوليد الصور
نظرة عامة
تقدم البحث AnchorCrafter، وهو نظام مبتكر قائم على الانتشار يهدف إلى إنشاء مقاطع فيديو ترويجية للمنتجات بأسلوب الأنكر من خلال دمج تفاعلات الإنسان مع الأشياء (HOI) في توليد فيديوهات بشرية موجهة بالوضع. تتناول هذه الطريقة تحديات كبيرة في هذا المجال، لا سيما في توجيه حركة الأشياء، والحفاظ على المظهر، وتعقيد تفاعلات الإنسان مع الأشياء. يتم اقتراح ابتكارين رئيسيين: إدراك مظهر HOI، الذي يعزز التعرف على مظهر الأشياء من زوايا مختلفة بينما يفصل بين الخصائص البصرية للبشر والأشياء، وحقن حركة HOI، الذي يسهل التفاعلات المعقدة بين الإنسان والشيء من خلال إدارة فعالة لظروف مسار الأشياء وقضايا التداخل.
تظهر النتائج التجريبية الواسعة أن AnchorCrafter يحسن بشكل كبير من الحفاظ على مظهر الأشياء بنسبة 7.5% ويضاعف دقة تحديد موقع الأشياء مقارنة بالطرق الحالية الرائدة. بالإضافة إلى ذلك، يتفوق في الحفاظ على اتساق حركة الإنسان وتوليد مقاطع فيديو عالية الجودة. كما يتضمن النظام خسارة إعادة وزن منطقة HOI لتعزيز تفاصيل الأشياء أثناء التدريب. بشكل عام، يمثل AnchorCrafter تقدمًا كبيرًا في توليد مقاطع الفيديو الترويجية للمنتجات، مما يضمن دقة بصرية فائقة وتفاعلات قابلة للتحكم.
مقدمة
تسلط المقدمة الضوء على الأهمية المتزايدة لمقاطع فيديو فتح الصناديق والترويج المباشر للمنتجات، التي يسهلها منشئو المحتوى المعروفون باسم الأنكر على منصات مثل يوتيوب وتيك توك. لقد مكنت التطورات الأخيرة في الرسوميات الحاسوبية من أتمتة إنشاء مثل هذا المحتوى؛ ومع ذلك، لا تزال هناك تحديات في تحقيق اتساق زمني عالي الدقة، وواقعية الأشياء، وتوليد حركة قابلة للتحكم. ظهرت تقنيات توليد فيديوهات بشرية موجهة بالوضع، مستفيدة من طرق قائمة على الانتشار لإنتاج فيديوهات بشرية عالية الجودة تتماشى مع الترويج بأسلوب الأنكر. تشمل المساهمات الملحوظة Make-Your-Anchor لتوليد فيديوهات مخصصة وطرق مثل Mimic-Motion وStableAnimator لتحريك الصور الثابتة.
على الرغم من هذه التقدمات، تكافح الطرق الحالية مع التفاعل الفعال بين الإنسان والشيء (HOI)، مما يحد من قدرتها على توليد عروض منتجات واقعية يقودها الإنسان. غالبًا ما يتم تقديم الأشياء كقوام ثابت، مما يقوض الواقعية التفاعلية ويعقد نمذجة التفاعلات المعقدة بين اليد والشيء. يبرز هذا القيد الحاجة إلى تقنيات محسنة يمكن أن تعزز الواقعية والتفاعلية للمحتوى الترويجي الآلي.
طرق
تستند منهجية الدراسة إلى نظام مكون من عنصرين: إدراك مظهر HOI وحقن حركة HOI. تعتبر بنية نموذج انتشار الفيديو، الموضحة في القسم 4.1، الأساس لـ AnchorCrafter. لتحسين دقة تمثيلات الإنسان والأشياء، يستخدم عنصر إدراك مظهر HOI استراتيجية فصل المظهر، كما هو موضح في القسم 4.2. يسهل حقن حركة HOI، الموضح في القسم 4.3، تنظيم الحركات من خلال دمج إشارات تحكم دقيقة. علاوة على ذلك، لتعزيز دقة التفاعلات، تقدم الدراسة خسارة إعادة وزن منطقة HOI في القسم 4.4، التي تركز على تحسين تفاصيل تفاعل اليد والشيء أثناء الاستدلال.
في الإعدادات التجريبية، يتم مقارنة AnchorCrafter مع خمسة طرق رائدة (SOTA): Mimic-Motion، StableAnimator، UniAnimate-DIT، Vace، وFlexiAct. تعتبر Mimic-Motion وStableAnimator طرق توليد فيديوهات بشرية موجهة بالوضع تعتمد على بنية UNet، بينما يستخدم UniAnimate-DIT بنية DiT لتوليد البشر الرقميين. Vace هو نموذج شامل يعتمد على DiT لإنشاء وتحرير الفيديو، وFlexiAct هو إطار نقل الحركة الذي يتطلب ضبطًا دقيقًا لأفعال محددة. لتحليل الجودة، تم إعداد صور بشرية مع أشياء لتسهيل المقارنات، حيث لا تقبل نماذج SOTA المدخلات الخاصة بالأشياء مباشرة.
نتائج
تظهر نتائج الدراسة فعالية الطريقة المقترحة في توليد مقاطع فيديو تفاعلية عالية الجودة بين الإنسان والشيء. كما هو موضح في الجدول 1، تكشف التقييمات أنه بينما لا تتوفر الحقيقة الأرضية للوضع بسبب تعقيد استراتيجية المحاذاة المستخدمة من قبل UniAnimate-DiT، فإن نهجنا يتفوق بشكل كبير على الطرق المنافسة من حيث إعادة إنتاج مظهر الأشياء، وحركة الأشياء، وتوليد اليد. على وجه التحديد، يحقق نهجنا درجة Object-IoU أعلى بشكل ملحوظ، مما يشير إلى حركة أشياء متفوقة، وأعلى درجة Object-CLIP للحفاظ على مظهر الأشياء. غالبًا ما تعالج النماذج المنافسة الأشياء كامتدادات لملابس الإنسان، مما يؤدي إلى تمثيلات ثابتة بدلاً من كيانات مستقلة.
تؤكد التقييمات النوعية هذه النتائج، كما هو موضح في الشكل 6. تبرز الأمثلة البصرية قدرة نهجنا على الحفاظ على كل من مظهر الإنسان والأشياء بينما تلتقط بدقة السلوكيات الديناميكية. بالمقابل، تظهر نماذج أخرى، مثل MimicMotion وStableAnimator، عيوب اقتران وتفشل في تمثيل الأشياء ككيانات مستقلة، خاصة خلال سيناريوهات الإزاحة. على الرغم من أن UniAnimate-DiT يؤدي بشكل معقول في مظهر الإنسان، إلا أنه يكافح مع اختفاء الأشياء ودقة توليد اليد. يعالج نهجنا، الذي يستفيد من إدراك مظهر HOI وحقن حركة HOI، هذه التحديات بفعالية، مما ينتج عنه مقاطع فيديو تتميز بدقة بصرية عالية وتماسك، كما يتضح من تقييمات VBench التي تؤكد اتساق الموضوع الفائق، واستقرار الخلفية، وسلاسة الحركة.
مناقشة
في قسم المناقشة من ورقة البحث، يبرز المؤلفون قيود الطرق الحالية في توليد تفاعلات واقعية بين الإنسان والشيء، لا سيما في سياق مقاطع الفيديو الترويجية للمنتجات. بينما تتعقب الطرق السابقة بفعالية أوضاع الإنسان، فإنها غالبًا ما تسيء تفسير الأشياء كجزء من الشكل البشري، مما يؤدي إلى رسوم متحركة ثابتة. بالمقابل، يدمج إطار AnchorCrafter المقترح تفاعلات الإنسان مع الأشياء (HOI) في توليد الفيديو الموجه بالوضع، مما يمكّن من حركات ديناميكية وطبيعية مع الحفاظ على مظهر الأشياء. يتم تحقيق ذلك من خلال إطار تخصيص مركزي للأشياء جديد يقوم بتكييف نموذج انتشار الفيديو بناءً على فيديو تفاعل مدته دقيقة واحدة لشيء معين، مما يسمح بتحريك واقعي ومتعدد الاستخدامات.
يقدم المؤلفون عدة ابتكارات رئيسية ضمن AnchorCrafter، بما في ذلك إدراك مظهر HOI، الذي يستخدم ميزات متعددة الزوايا وبنية مفصولة لتعزيز تمثيل الأشياء، ووحدة حقن حركة HOI التي تستخدم خرائط العمق وشبكات اليد ثلاثية الأبعاد للتحكم الدقيق في الحركة. بالإضافة إلى ذلك، يقترحون خسارة إعادة وزن منطقة HOI لتسليط الضوء على مناطق التفاعل الحرجة أثناء التدريب، مما يحسن من واقعية التفاعلات المولدة. تظهر التجارب الواسعة التي أجريت أن AnchorCrafter يتفوق بشكل كبير على الطرق الرائدة من حيث الحفاظ على مظهر الأشياء ووعي التفاعل، مما يعالج فجوة حاسمة في مجال توليد البشر الرقميين التفاعليين.
قيود
تظهر قيود AnchorCrafter بشكل أساسي في تقييمه على الأشياء الصلبة، حيث يظهر أداءً دون المستوى مع الأشياء الشفافة. يساهم نموذج المعالجة المسبقة، DWPose، في عدم الدقة التي تؤثر على النتائج العامة. على سبيل المثال، كما هو موضح في الشكل 11 (يسار)، يكافح النموذج مع السيناريوهات التي تتضمن اختراق المرايا. علاوة على ذلك، يبرز الشكل 11 (يمين) تناقضًا حيث يوجه نموذج اليد ثلاثية الأبعاد بدقة وضع اليد، بينما يحدد DWPose اليد اليسرى بشكل غير صحيح، مما يؤدي إلى نتائج توليد معيبة. ستركز الأبحاث المستقبلية على معالجة التحديات التي تطرحها الأشياء الشفافة وغير الصلبة لتحسين أداء النموذج.
DOI: https://doi.org/10.1109/tvcg.2026.3662720
PMID: https://pubmed.ncbi.nlm.nih.gov/41662560
Publication Date: 2026-02-09
Author(s): Ziyi Xu et al.
Primary Topic: Generative Adversarial Networks and Image Synthesis
Overview
The research introduces AnchorCrafter, an innovative diffusion-based system aimed at generating anchor-style product promotion videos by integrating human-object interactions (HOI) into pose-guided human video generation. This approach addresses significant challenges in the field, particularly in object motion guidance, appearance preservation, and the complexity of human-object interactions. Two primary innovations are proposed: HOI-appearance perception, which enhances the recognition of object appearances from various perspectives while disentangling the visual attributes of humans and objects, and HOI-motion injection, which facilitates intricate human-object interactions by effectively managing object trajectory conditioning and inter-occlusion issues.
Extensive experimental results demonstrate that AnchorCrafter significantly improves object appearance preservation by 7.5% and doubles the accuracy of object localization compared to existing state-of-the-art methods. Additionally, it excels in maintaining human motion consistency and generating high-quality videos. The system also incorporates an HOI-region reweighting loss to further enhance object detail during training. Overall, AnchorCrafter represents a substantial advancement in the generation of product promotion videos, ensuring superior visual fidelity and controllable interactions.
Introduction
The introduction highlights the growing significance of unboxing videos and live-streamed product promotions, facilitated by content creators known as anchors on platforms like YouTube and TikTok. Recent advancements in computer graphics have enabled the automation of such content creation; however, challenges remain in achieving high-fidelity temporal consistency, object realism, and controllable motion generation. Pose-guided human video generation techniques have emerged, leveraging diffusion-based methods to produce high-quality human videos that align with anchor-style promotions. Notable contributions include Make-Your-Anchor for personalized video generation and methods like Mimic-Motion and StableAnimator for animating static images.
Despite these advancements, existing methods struggle with effective human-object interaction (HOI), limiting their ability to generate realistic human-driven product demonstrations. Objects are often rendered as static textures, which undermines interactive realism and complicates the modeling of intricate hand-object interactions. This limitation underscores the need for improved techniques that can enhance the realism and interactivity of automated promotional content.
Methods
The methodology of the study is structured around a two-component system: HOI-appearance perception and HOI-motion injection. The video diffusion model architecture, detailed in Section 4.1, serves as the foundation for AnchorCrafter. To improve the accuracy of human and object representations, the HOI-appearance perception component employs an appearance-decoupling strategy, as described in Section 4.2. The HOI-motion injection, outlined in Section 4.3, facilitates the regulation of movements by integrating precise control signals. Furthermore, to enhance the fidelity of interactions, the study introduces a HOI-region reweighting loss in Section 4.4, which focuses on refining hand-object interaction details during inference.
In the experimental settings, AnchorCrafter is compared against five state-of-the-art (SOTA) methods: Mimic-Motion, StableAnimator, UniAnimate-DIT, Vace, and FlexiAct. Mimic-Motion and StableAnimator are pose-guided human video generation methods based on UNet architecture, while UniAnimate-DIT utilizes the DiT architecture for digital human synthesis. Vace is an all-in-one DiT-based model for video creation and editing, and FlexiAct is a motion transfer framework that requires fine-tuning for specific actions. For the qualitative analysis, human images with objects were prepared to facilitate comparisons, as the SOTA models do not directly accept object inputs.
Results
The results of the study demonstrate the effectiveness of the proposed method in generating high-quality human-object interaction videos. As detailed in Table 1, the evaluation reveals that while ground truth for pose is unavailable due to the complexity of the alignment strategy employed by UniAnimate-DiT, our approach significantly outperforms competing methods in terms of object appearance reproduction, object motion, and hand generation. Specifically, our method achieves a notably higher Object-IoU, indicating superior object motion, and the highest Object-CLIP score for object appearance preservation. Competing models often treat objects as extensions of human clothing, leading to static representations rather than independent entities.
Qualitative assessments further corroborate these findings, as illustrated in Figure 6. The visual examples highlight our method’s ability to maintain both human and object appearances while accurately capturing dynamic behaviors. In contrast, other models, such as MimicMotion and StableAnimator, exhibit coupling artifacts and fail to represent objects as independent entities, particularly during displacement scenarios. Although UniAnimate-DiT performs reasonably well in human appearance, it struggles with object disappearance and hand synthesis accuracy. Our approach, leveraging HOI-appearance perception and HOI-motion injection, effectively addresses these challenges, resulting in videos characterized by high visual fidelity and coherence, as evidenced by VBench evaluations that confirm superior subject consistency, background stability, and motion smoothness.
Discussion
In the discussion section of the research paper, the authors highlight the limitations of existing methods in generating realistic human-object interactions, particularly in the context of product promotion videos. While previous approaches effectively track human poses, they often misinterpret objects as part of the human figure, resulting in static animations. In contrast, the proposed AnchorCrafter framework integrates human-object interactions (HOI) into pose-guided video generation, enabling dynamic and natural movements while preserving object appearance. This is achieved through a novel object-centric customization framework that tailors a video diffusion model based on a one-minute interaction video of a specific object, allowing for versatile and realistic animations.
The authors introduce several key innovations within AnchorCrafter, including HOI-appearance perception, which utilizes multi-view features and a decoupled architecture to enhance object representation, and an HOI-motion injection module that employs depth maps and 3D hand meshes for precise motion control. Additionally, they propose an HOI-region reweighting loss to emphasize critical interaction areas during training, thereby improving the realism of generated interactions. The extensive experiments conducted demonstrate that AnchorCrafter significantly outperforms state-of-the-art methods in terms of object appearance preservation and interaction awareness, addressing a crucial gap in the field of interactive digital human generation.
Limitations
The limitations of AnchorCrafter are primarily evident in its evaluation on rigid objects, where it demonstrates suboptimal performance with transparent objects. The preprocessing model, DWPose, contributes to inaccuracies that affect the overall results. For instance, as illustrated in Figure 11 (left), the model struggles with scenarios involving mirror penetration. Furthermore, Figure 11 (right) highlights a discrepancy where the 3D hand mesh accurately guides hand positioning, while DWPose incorrectly identifies the left hand, resulting in flawed generation outcomes. Future research will focus on addressing the challenges posed by transparent and non-rigid objects to enhance the model’s performance.