DOI: https://doi.org/10.1007/s11263-025-02685-z
تاريخ النشر: 2026-02-21
المؤلف: Yue Ma وآخرون
الموضوع الرئيسي: الشبكات التنافسية التوليدية وتوليد الصور
نظرة عامة
في هذا البحث، يقدم المؤلفون Follow-Your-Emoji-Faster، وهو إطار عمل قائم على الانتشار مصمم لتحريك الصور الشخصية بشكل فعال باستخدام معالم الوجه. يعالج الإطار التحديات الرئيسية مثل الحفاظ على الهوية، ونقل التعبيرات بدقة، والاتساق الزمني على المدى الطويل. لتعزيز الأداء، يدمج المؤلفون معالم مدركة للتعبير تعمل كإشارات حركة واضحة، مما يحسن محاذاة الحركة ويقلل من تسرب الهوية. بالإضافة إلى ذلك، يتم استخدام خسارة وجه دقيقة لالتقاط التعبيرات الدقيقة مع الحفاظ على مظهر الصورة المرجعية. هذا النموذج متعدد الاستخدامات، يدعم أنواعًا مختلفة من الصور الشخصية، بما في ذلك الوجوه الحقيقية والتمثيلات الفنية.
لمعالجة المشكلة الشائعة المتمثلة في توليد الرسوم المتحركة المستقرة على المدى الطويل في أطر الانتشار، يقترح المؤلفون استراتيجية توليد تدريجية وذاكرة مؤقتة مُعَدلَة باستخدام تايلور (TIC)، محققين تسريعًا بمعدل 2.6× دون المساس بالجودة. كما يقدمون Emo-jiBench++، وهو معيار شامل لتقييم الإطار عبر صور شخصية متنوعة ومقاطع فيديو تحريك. تظهر التقييمات الشاملة أن Follow-Your-Emoji-Faster يتفوق على الطرق الحالية في جودة الرسوم المتحركة وقابلية التحكم، مما يبرز فعاليته في التعميم على الصور الشخصية والحركات غير المرئية. يوفر المؤلفون الوصول إلى كودهم، ومجموعة بيانات التدريب، والمعيار عبر الإنترنت.
مقدمة
في هذا القسم، يقدم المؤلفون مشكلة تحريك الصور الشخصية، والتي تتضمن نقل ديناميات الوضع والتعبير من فيديو تحريكي إلى صورة شخصية ثابتة. يبرزون التقدمات الأخيرة في الشبكات التنافسية التوليدية (GANs) ونماذج الانتشار، مشيرين إلى أنه بينما تم استخدام GANs على نطاق واسع، فإنها غالبًا ما تنتج تفاصيل غير واقعية وعيوب بسبب القيود في تمثيل الحركة. بالمقابل، أظهرت نماذج الانتشار أداءً توليديًا متفوقًا لكنها تواجه صعوبة في الحفاظ على الهوية ونقل التعبيرات الدقيقة في تحريك الصور الشخصية. يحدد المؤلفون مشكلتين رئيسيتين: نقص القوة في تمثيلات الحركة وعدم كفاية خسارة الانتشار القياسية في نمذجة ديناميات الوجه.
لمعالجة هذه التحديات، يقدم المؤلفون “Follow-Your-Emoji-Faster”، وهو إطار عمل جديد قائم على الانتشار يدمج عدة مكونات مبتكرة. يقترحون معالم مدركة للتعبير مستمدة من نقاط الوجه ثلاثية الأبعاد للحفاظ على المحاذاة مع الصورة المرجعية والتخفيف من انحراف الهوية. بالإضافة إلى ذلك، يقدمون خسارة وجه دقيقة لتعزيز التقاط التعبيرات الدقيقة. يستخدم الإطار استراتيجية توليد تدريجية للرسوم المتحركة طويلة المدة ويقدم استراتيجية تسريع قائمة على التخزين المؤقت، ذاكرة مؤقتة مُعَدلَة باستخدام تايلور (TIC)، والتي تحسن بشكل كبير من سرعة الاستدلال مع الحفاظ على الجودة. يتحقق المؤلفون من نهجهم باستخدام مجموعة بيانات تعبير جديدة ومعيار موسع، Emo-jiBench++، مما يظهر أداءً متفوقًا في الجودة البصرية، والحفاظ على الهوية، وكفاءة التوليد مقارنة بالطرق الحالية.
النتائج
في قسم النتائج، يقدم المؤلفون تقييمات نوعية وكمية لنهجهم باستخدام مجموعة بيانات EmojiBench++، مع مقارنة ضد أحدث طرق تحريك الصور الشخصية، بما في ذلك Follow-Your-Emoji الأصلية. تتضمن التحليلات الكمية توليد 64 إطارًا بدقة $256 \times 256$ وتستخدم مقاييس متنوعة للتقييم. بالنسبة لإعادة التمثيل الذاتي، يتم استخدام مقاييس مثل خطأ L1، SSIM، LPIPS، وFVD، مع كون الإطار الأول هو الصورة المرجعية. يتم تقييم إعادة التمثيل المتبادل من خلال تشابه الهوية (المقاس بواسطة درجة ArcFace)، وجودة الصورة (باستخدام HyperIQA)، ودقة المعالم (متوسط خطأ المحاذاة لنقاط 2D). دراسة مستخدم تضم 30 مشاركًا تقيم أيضًا دقة التعبير، وتشابه الهوية، وجودة الفيديو العامة، مما يكشف أن الطريقة المقترحة تتفوق على جميع الأسس عبر سبعة مقاييس.
بالإضافة إلى ذلك، يحلل المؤلفون كفاءة طريقتهم من خلال مقارنة زمن الاستجابة وFLOPs أثناء عملية إزالة الضوضاء ضد تقنيات تسريع متنوعة، بما في ذلك الاستدلال البسيط وطرق التخزين المؤقت. تشير النتائج إلى أن طريقتهم في التخزين المؤقت تحقق مقاييس جودة متفوقة مع زمن استجابة ضئيل وأعباء حسابية منخفضة، بينما تتسبب خط الأنابيب الأصلي، على الرغم من توليد مقاطع فيديو ذات جودة أعلى، في أطول زمن استجابة للاستدلال. تسلط الدراسة أيضًا الضوء على القيود، مشيرة إلى أن الطريقة تواجه صعوبات مع تفاصيل معينة في المجال، مثل توليد الشفاه للدببة، وأن طريقة Follow-Your-Emoji-Faster تواجه تحديات مع المعالم غير القابلة للاكتشاف، مما يبرز الحاجة إلى تحسينات لضمان العدالة والمساواة في أنظمة الذكاء الاصطناعي.
نقاش
في قسم النقاش من ورقة البحث، يستكشف المؤلفون التقدمات في تحريك الصور الشخصية، مع التركيز بشكل خاص على الطرق الأحادية الأمامية والنهج القائمة على الانتشار. يبرزون أن الطرق التقليدية، التي تستخدم أساسًا الشبكات التنافسية التوليدية (GANs)، قد حققت تقدمًا كبيرًا في تحريك الصور الشخصية الثابتة من خلال تسلسل معالم الوجه وإطارات الفيديو. ومع ذلك، غالبًا ما تواجه هذه الطرق صعوبة في توليد تفاصيل عالية الجودة، خاصة عندما يكون هناك فجوة كبيرة في نمط المجال بين الصورة المصدر وبيانات التدريب. بالمقابل، يقترح المؤلفون نهجًا جديدًا يمكنه تحريك أنماط صور شخصية متنوعة، بما في ذلك الرسوم المتحركة والتماثيل، باستخدام معالم مدركة للتعبير مستمدة من نقاط ثلاثية الأبعاد، مما يعزز الدقة في نقل الإشارات العاطفية الدقيقة.
تناقش الورقة أيضًا تطور نماذج الانتشار، التي أظهرت أداءً متفوقًا في المهام التوليدية، بما في ذلك توليد الفيديو. بينما حسنت النماذج الحديثة جودة الفيديو، فإنها غالبًا ما تعتمد على نصوص غامضة كإشارات، مما قد لا يعكس بدقة نية المستخدم. يقدم المؤلفون بنية قائمة على الانتشار تدمج إشارات التحكم من أجل دقة الوجه، مما يعالج قيود الأطر الحالية التي تركز بشكل أساسي على الحركة الكاملة للجسم. علاوة على ذلك، يقدمون استراتيجية تدريجية لتحريك طويل الأمد تعزز الاتساق الزمني وتقلل من العبء الحسابي من خلال آلية تحديث ذاكرة مؤقتة ديناميكية، مستفيدة من معلومات معالم الوجه. بشكل عام، تظهر الطرق المقترحة تحسينًا في الحفاظ على الهوية وتوليد التعبيرات، مما يضع معيارًا جديدًا في مجال تحريك الصور الشخصية.
DOI: https://doi.org/10.1007/s11263-025-02685-z
Publication Date: 2026-02-21
Author(s): Yue Ma et al.
Primary Topic: Generative Adversarial Networks and Image Synthesis
Overview
In this research, the authors introduce Follow-Your-Emoji-Faster, a diffusion-based framework designed for efficient freestyle portrait animation utilizing facial landmarks. The framework addresses key challenges such as identity preservation, accurate expression transfer, and long-term temporal consistency. To enhance performance, the authors incorporate expression-aware landmarks that serve as explicit motion signals, improving motion alignment and reducing identity leakage. Additionally, a fine-grained facial loss is employed to capture subtle expressions while maintaining the reference portrait’s appearance. This model is versatile, supporting various portrait types, including real faces and artistic representations.
To tackle the common issue of generating stable long-term animations in diffusion frameworks, the authors propose a progressive generation strategy and a Taylor-interpolated cache (TIC), achieving a 2.6× acceleration without compromising quality. They also present Emo-jiBench++, a comprehensive benchmark for evaluating the framework across diverse portraits and driving videos. Extensive evaluations demonstrate that Follow-Your-Emoji-Faster outperforms existing methods in animation quality and controllability, showcasing its effectiveness in generalizing to unseen portraits and motions. The authors provide access to their code, training dataset, and benchmark online.
Introduction
In this section, the authors present the problem of portrait animation, which involves transferring pose and expression dynamics from a driving video to a static portrait. They highlight recent advancements in Generative Adversarial Networks (GANs) and diffusion models, noting that while GANs have been widely used, they often produce unrealistic details and artifacts due to limitations in motion representation. In contrast, diffusion models have shown superior generative performance but struggle with identity preservation and nuanced expression transfer in portrait animation. The authors identify two main issues: the lack of robustness in motion representations and the inadequacy of standard diffusion loss in modeling facial dynamics.
To address these challenges, the authors introduce “Follow-Your-Emoji-Faster,” a novel diffusion-based framework that incorporates several innovative components. They propose expression-aware landmarks derived from 3D facial keypoints to maintain alignment with the reference portrait and mitigate identity drift. Additionally, they introduce a facial fine-grained loss to enhance the capture of subtle expressions. The framework employs a progressive generation strategy for long-duration animations and introduces a caching-based acceleration strategy, Taylor-Interpolated Cache (TIC), which significantly improves inference speed while preserving quality. The authors validate their approach using a new expression dataset and an extended benchmark, Emo-jiBench++, demonstrating superior performance in visual quality, identity preservation, and generation efficiency compared to existing methods.
Results
In the results section, the authors present both qualitative and quantitative evaluations of their approach using the EmojiBench++ dataset, benchmarking against state-of-the-art portrait animation methods, including the original Follow-Your-Emoji. The quantitative analysis involves generating 64 frames at a resolution of $256 \times 256$ and employs various metrics for evaluation. For self reenactment, metrics such as L1 error, SSIM, LPIPS, and FVD are utilized, with the first frame serving as the reference image. Cross reenactment is assessed through identity similarity (measured by the ArcFace score), image quality (using HyperIQA), and landmark precision (mean alignment error of 2D keypoints). A user study involving 30 participants further evaluates expression fidelity, identity similarity, and overall video quality, revealing that the proposed method outperforms all baselines across seven metrics.
Additionally, the authors analyze the efficiency of their method by comparing latency and FLOPs during the denoising process against various acceleration techniques, including naive inference and caching methods. Results indicate that their caching method achieves superior quality metrics with minimal latency and computational overhead, while the original pipeline, despite generating higher quality videos, incurs the longest inference latency. The study also highlights limitations, noting that the method struggles with specific domain details, such as lip generation for bears, and that the Follow-Your-Emoji-Faster method faces challenges with undetectable landmarks, emphasizing the need for improvements to ensure fairness and equity in AI systems.
Discussion
In the discussion section of the research paper, the authors explore advancements in portrait animation, particularly focusing on single-forward methods and diffusion-based approaches. They highlight that traditional methods, primarily utilizing Generative Adversarial Networks (GANs), have made significant strides in animating static portraits through facial landmark sequences and video frames. However, these methods often struggle with high-quality detail synthesis, especially when there is a substantial style domain gap between the source image and the training data. In contrast, the authors propose a novel approach that can animate diverse portrait styles, including cartoons and sculptures, using expression-aware landmarks derived from 3D keypoints, which enhances fidelity in conveying subtle emotional cues.
The paper also discusses the evolution of diffusion models, which have shown superior performance in generative tasks, including video generation. While recent models have improved video quality, they often rely on vague text prompts for guidance, which may not accurately reflect user intent. The authors introduce a diffusion-based architecture that incorporates control signals for facial fidelity, addressing the limitations of existing frameworks that primarily focus on full-body motion. Furthermore, they present a progressive strategy for long-term animation that enhances temporal coherence and reduces computational burden through a dynamically adjusted cache update mechanism, leveraging facial landmark information. Overall, the proposed methods demonstrate improved identity preservation and expression generation, setting a new benchmark in the field of portrait animation.