DOI: https://doi.org/10.1109/tvcg.2026.3651640
PMID: https://pubmed.ncbi.nlm.nih.gov/41525576
تاريخ النشر: 2026-01-12
المؤلف: Chuhang Ma وآخرون
الموضوع الرئيسي: التعرف على الوجه والتحليل
نظرة عامة
في هذه الورقة، يقدم المؤلفون ESGaussianFace، وهو إطار عمل جديد مصمم لتوليد مقاطع فيديو عالية الجودة لرؤوس متحدثة تتكامل بشكل فعال مع التعبيرات العاطفية والميزات الأسلوبية. يستخدم الإطار تقنية 3D Gaussian Splatting لتحقيق كفاءة عالية وتناسق ثلاثي الأبعاد، إلى جانب قدرات العرض متعدد الزوايا. الابتكار الرئيسي هو وحدة الانتباه المكاني الموجهة بالعاطفة والصوت، التي تلتقط التفاعل بين الصوت والعاطفة لتحديد مواقع النقاط الغاوسية بدقة، مما يعزز دقة الهياكل الوجهية المولدة.
لتسهيل المهمة المعقدة لتوليد الفيديو، يقترح المؤلفون استراتيجية تدريب متعددة المراحل تعلم النموذج بشكل متتابع كيفية تعلم حركات الشفاه، والتغيرات العاطفية، وميزات الأسلوب. تشير النتائج التجريبية الواسعة إلى أن ESGaussianFace يتفوق بشكل كبير على التقنيات الحالية الرائدة من حيث دقة حركة الشفاه، وتنوع التعبيرات، وبلاغة ميزات الأسلوب، كما يتضح من التقييمات النوعية والكمية عبر مجموعات بيانات متعددة.
مقدمة
تناقش مقدمة الورقة تطوير الرسوم المتحركة الوجهية المدفوعة بالصوت (ADFA)، التي تولد الرسوم المتحركة الوجهية بناءً على المدخلات الصوتية، مع تطبيقات في البشر الرقميين والواقع الافتراضي. بينما تركز الطرق الحالية بشكل أساسي على العواطف المحايدة، فإنها غالبًا ما تفتقر إلى التناسق ثلاثي الأبعاد وتكافح مع سيناريوهات متعددة العواطف. لقد حسنت التطورات الأخيرة في مجالات الإشعاع العصبي (NeRF) و3D Gaussian Splatting (3DGS) من إعادة البناء ثلاثي الأبعاد ولكنها تواجه تحديات في سرعة العرض وتنوع العواطف. يقترح المؤلفون إطار عمل جديد، ESGaussianFace، مصمم لتوليد مقاطع فيديو لرؤوس متحدثة عاطفية وأسلوبية بكفاءة من خلال دمج الصوت، والفيديو العاطفي، وصور الأسلوب.
يتكون ESGaussianFace من ثلاثة وحدات رئيسية: مولد غاوسي ثلاثي الأبعاد قائم على ثلاثي الطائرات، ووحدة استخراج ودمج الميزات السمعية والبصرية، ووحدة توقع تشوه ESGaussian. يتيح هذا الإطار التحكم الدقيق في حركات الشفاه والتعبيرات العاطفية من خلال استراتيجية تدريب متعددة المراحل تشمل مراحل محايدة، وعاطفية، وتشكيلية. تعزز إدخال آلية الانتباه المكاني الموجهة بالعاطفة والصوت قدرة النموذج على التأثير ديناميكيًا على المناطق الوجهية، مما يؤدي إلى تحسين الدقة والكفاءة في توليد مقاطع فيديو لرؤوس متحدثة واقعية. يدعي المؤلفون أن ESGaussianFace يتفوق على الطرق الحالية، مما يمثل تقدمًا كبيرًا في مجال ADFA.
طرق
في هذا القسم، يوضح المؤلفون طرقهم التجريبية، مع التركيز على مجموعات البيانات، وإعدادات المقارنة، والنتائج. يستخدمون مجموعات بيانات MEAD وRAVDESS، التي تحتوي على بيانات سمعية بصرية تمثل ثماني عواطف من عدة ممثلين، لتدريب نموذجهم. لتقييم قابلية تعميم النموذج، يدمجون أيضًا مجموعات بيانات فنية متنوعة. تتبع الطريقة التجريبية منهجية Style 2 Talker، باستخدام VToonify لتوليد صور وجهية مصممة من صور المصدر والأسلوب. يقارن المؤلفون طريقتهم مع عدة تقنيات رائدة في الرسوم المتحركة الوجهية المدفوعة بالصوت (ADFA)، بما في ذلك الطرق التقليدية مثل MakeItTalk وWav2Lip، بالإضافة إلى طرق قائمة على NeRF مثل AD-NeRF وطرق ADFA العاطفية مثل MEAD وDreamTalk. تشمل مقاييس التقييم PSNR وSSIM وFID وLPIPS، والمسافة بين المعالم (LMD) لتقييم جودة الصورة ودقة حركة الشفاه.
تشير النتائج إلى أن الطريقة المقترحة تتفوق في توليد التعبيرات العاطفية، وأنماط الفن، والعرض متعدد الزوايا، متفوقة على معظم المنافسين عبر مقاييس متنوعة. بشكل ملحوظ، تحتل المرتبة الثانية بعد Wav2Lip في دقة تزامن الشفاه، وذلك بسبب منهجية تدريب Wav2Lip. تكشف المقارنات النوعية أنه بينما يستعيد GaussianTalker التفاصيل الوجهية بشكل فعال، فإنه يكافح مع التمييز العاطفي. تظهر طريقة المؤلفين دقة متفوقة في حركات الشفاه وتدعم العرض في الوقت الحقيقي بمعدل إطار مثير للإعجاب يبلغ 69 إطارًا في الثانية، مما يجعلها فعالة مقارنة بالطرق الرائدة الأخرى. تتوفر مزيد من التفاصيل والتحليلات في المواد التكميلية.
نتائج
في قسم النتائج، يعرض المؤلفون فعالية طريقتهم في العرض متعدد الزوايا باستخدام 3D Gaussian Splatting. يقدمون نتائج العرض من زوايا مختلفة، موضحين القدرة على التلاعب بالعواطف—تحديدًا الغضب، والدهشة، والسعادة، والحزن—مع ضمان تناسق ثلاثي الأبعاد قوي عبر زوايا مختلفة، كما هو موضح في الشكل 7.
بالإضافة إلى ذلك، يتناول المؤلفون تحدي تعميم طريقتهم على مجموعات بيانات أخرى، خاصة بالنظر إلى أن العديد من مقاطع الفيديو خارج مجموعات البيانات العاطفية تعرض في الغالب عواطف محايدة. للتغلب على ذلك، يستخدمون EmoStyle لتعديل العواطف في كل إطار من أي فيديو لرأس متحدث في البرية، ثم يستخدمون هذه الفيديوهات المعدلة للتدريب. تظهر نتائج الاستدلال المقدمة في الشكل 8 قدرة الطريقة القوية على التعميم، مما يمدد تطبيقها بشكل فعال خارج مجموعات بيانات MEAD وRAVDESS.
نقاش
تناقش الورقة البحثية التقدم في الرسوم المتحركة الوجهية المدفوعة بالصوت (ADFA)، مع التركيز بشكل خاص على دمج 3D Gaussian Splatting (3DGS) لتوليد مقاطع فيديو لرؤوس متحدثة واقعية مع تعبيرات عاطفية وأنماط فنية. غالبًا ما اعتمدت الطرق التقليدية على الشبكات العصبية التلافيفية (CNNs) أو الشبكات المعادية، التي واجهت صعوبات في دقة الهيكل الوجهية، خاصة عند تصوير العواطف. لقد دمجت الأساليب الحديثة معالم الوجه والنماذج ثلاثية الأبعاد لتعزيز الواقعية، ومع ذلك، كانت تركز بشكل أساسي على التعبيرات المحايدة. تبرز الورقة قيود مجموعات البيانات والأساليب الحالية في توليد رؤوس متحدثة عاطفية، مشيرة إلى أنه بينما تستخدم بعض التقنيات ميزات عاطفية من مصادر متنوعة، فإنها غالبًا ما تفشل في إدارة اتجاه الوجه ووضعه بشكل فعال.
يستفيد إطار عمل ESGaussianFace المقترح من 3DGS لإنشاء مولد غاوسي ثلاثي الأبعاد قائم على ثلاثي الطائرات، ووحدة استخراج الميزات السمعية والبصرية، ووحدة توقع التشوه. يسمح هذا الهيكل بالتلاعب بالسمات العاطفية والأسلوبية في الرسوم المتحركة الوجهية. يستخدم الإطار استراتيجية تدريب متعددة المراحل لتعلم حركات الشفاه، والتعبيرات العاطفية، وميزات الأسلوب بشكل تدريجي، مما يضمن دقة عالية في توليد الفيديو. تظهر النتائج التجريبية أن ESGaussianFace يتفوق على الطرق الرائدة من حيث تزامن الشفاه، والدقة العاطفية، والتمثيل الأسلوبي، محققًا مقاييس أداء متفوقة مثل PSNR وSSIM. تختتم الدراسة بأن دمج 3DGS ونهج التدريب المنظم يعزز بشكل كبير جودة ومرونة أنظمة ADFA.
القيود
في قسم القيود من الورقة البحثية، يعترف المؤلفون بعدة قيود تؤثر على عملهم. أولاً، يؤدي تقييد مجموعة بيانات MEAD إلى ثلاثة مستويات فقط من الشدة لكل عاطفة إلى ميل الطريقة لإنتاج نتائج مشابهة عند معالجة مصادر العواطف التي تظهر اختلافات طفيفة. ثانيًا، يتم الإشارة إلى الاعتماد على مقاطع الفيديو المصممة التي تم إنشاؤها بواسطة VToonify كحقيقة أساسية، خاصة في ضوء ظهور تقنيات التشكيل الأكثر تقدمًا التي تستخدم نماذج الانتشار. أخيرًا، تقتصر قدرة الطريقة على تدريب حقل غاوسي ثلاثي الأبعاد لشخصية واحدة، مما يتطلب تدريب نماذج منفصلة لشخصيات مختلفة. يتماشى هذا التحدي مع الأساليب الحالية في الرسوم المتحركة العميقة المعززة (ADFA) التي تستخدم مجالات الإشعاع العصبي (NeRF) وتمثيلات غاوسية ثلاثية الأبعاد. يشير المؤلفون إلى أن الأبحاث المستقبلية ستسعى لمعالجة هذه القيود.
DOI: https://doi.org/10.1109/tvcg.2026.3651640
PMID: https://pubmed.ncbi.nlm.nih.gov/41525576
Publication Date: 2026-01-12
Author(s): Chuhang Ma et al.
Primary Topic: Face recognition and analysis
Overview
In this paper, the authors present ESGaussianFace, a novel framework designed for generating high-quality talking head videos that effectively integrate emotional expressions and stylistic features. The framework utilizes 3D Gaussian Splatting to achieve high efficiency and 3D consistency, alongside multi-view rendering capabilities. A key innovation is the emotion-audio-guided spatial attention module, which captures the interplay between audio and emotion to accurately position Gaussian points, thereby enhancing the precision of the generated facial structures.
To facilitate the complex task of video generation, the authors propose a multi-stage training strategy that sequentially teaches the model to learn lip movements, emotional variations, and style features. Extensive experimental results indicate that ESGaussianFace significantly outperforms existing state-of-the-art techniques in terms of lip movement accuracy, expression variation, and the expressiveness of style features, as evidenced by both qualitative and quantitative evaluations across multiple datasets.
Introduction
The introduction of the paper discusses the development of Audio-Driven Facial Animation (ADFA), which generates facial animations based on audio inputs, with applications in digital humans and virtual reality. While existing methods primarily focus on neutral emotions, they often lack 3D consistency and struggle with multi-emotion scenarios. Recent advancements in Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) have improved 3D reconstruction but face challenges in rendering speed and emotional variability. The authors propose a novel framework, ESGaussianFace, designed to efficiently generate emotional and stylized talking head videos by integrating audio, emotional video, and style images.
ESGaussianFace comprises three main modules: a triplane-based 3D Gaussian generator, an audio-visual feature extraction and fusion module, and an ESGaussian deformation prediction module. This framework allows for the precise control of lip movements and emotional expressions through a multi-stage training strategy that includes neutral, emotion, and stylization stages. The introduction of an emotion-audio-guided spatial attention mechanism enhances the model’s ability to dynamically influence facial regions, leading to improved accuracy and efficiency in generating realistic talking head videos. The authors claim that ESGaussianFace outperforms existing methods, marking a significant advancement in the field of ADFA.
Methods
In this section, the authors outline their experimental methods, focusing on datasets, comparison settings, and results. They utilize the MEAD and RAVDESS datasets, which contain audio-visual data representing eight emotions from multiple actors, to train their model. To assess the model’s generalizability, they also incorporate various art datasets. The experimental approach follows the Style 2 Talker methodology, employing VToonify to generate stylized facial images from source and style images. The authors compare their method against several state-of-the-art Audio-Driven Facial Animation (ADFA) techniques, including traditional methods like MakeItTalk and Wav2Lip, as well as NeRF-based methods like AD-NeRF and emotional ADFA methods such as MEAD and DreamTalk. Evaluation metrics include PSNR, SSIM, FID, LPIPS, and landmark distance (LMD) for assessing image quality and lip movement accuracy.
The results indicate that the proposed method excels in generating emotional expressions, art styles, and multi-view rendering, outperforming most competitors across various metrics. Notably, it ranks second to Wav2Lip in lip-sync accuracy, attributed to Wav2Lip’s training methodology. Qualitative comparisons reveal that while GaussianTalker effectively restores facial details, it struggles with emotional differentiation. The authors’ method demonstrates superior accuracy in lip movements and supports real-time rendering with an impressive frame rate of 69 FPS, making it efficient compared to other state-of-the-art methods. Further details and analyses are available in the supplementary materials.
Results
In the results section, the authors showcase the effectiveness of their method for multi-view rendering using 3D Gaussian Splatting. They present rendering outcomes from various viewpoints, illustrating the capability to manipulate emotions—specifically anger, surprise, happiness, and sadness—while ensuring robust 3D consistency across different angles, as depicted in Figure 7.
Additionally, the authors address the challenge of generalizing their method to other datasets, particularly given that many videos outside emotional datasets predominantly display neutral emotions. To overcome this, they employ EmoStyle to modify the emotions in each frame of any in-the-wild talking head video, subsequently using these edited videos for training. The inference results presented in Figure 8 demonstrate the method’s strong generalization ability, effectively extending its application beyond the MEAD and RAVDESS datasets.
Discussion
The research paper discusses advancements in Audio-Driven Facial Animation (ADFA), particularly focusing on the integration of 3D Gaussian Splatting (3DGS) for generating realistic talking head videos with emotional expressions and artistic styles. Traditional methods often relied on CNNs or adversarial networks, which struggled with facial structural accuracy, especially when depicting emotions. Recent approaches have incorporated facial landmarks and 3D models to enhance realism, yet they primarily addressed neutral expressions. The paper highlights the limitations of existing datasets and methods in generating emotional talking heads, noting that while some techniques utilize emotional features from various sources, they often fail to manage facial orientation and pose effectively.
The proposed ESGaussianFace framework leverages 3DGS to create a triplane-based 3D Gaussian generator, an audio-visual feature extraction module, and a deformation prediction module. This architecture allows for the manipulation of emotional and stylistic attributes in facial animations. The framework employs a multi-stage training strategy to incrementally learn lip movements, emotional expressions, and style features, ensuring high fidelity in video generation. Experimental results demonstrate that ESGaussianFace outperforms state-of-the-art methods in terms of lip synchronization, emotional accuracy, and stylistic representation, achieving superior performance metrics such as PSNR and SSIM. The study concludes that the integration of 3DGS and a structured training approach significantly enhances the quality and versatility of ADFA systems.
Limitations
In the limitations section of the research paper, the authors acknowledge several constraints that affect their work. Firstly, the MEAD dataset’s restriction to only three intensity levels for each emotion results in a tendency for the method to yield similar outcomes when processing emotion sources that exhibit subtle differences. Secondly, the reliance on stylized videos generated by VToonify as ground truth is noted, particularly in light of the emergence of more advanced stylization techniques utilizing diffusion models. Lastly, the method’s capability is limited to training a 3D Gaussian field for a single character, necessitating the training of separate models for different characters. This challenge is consistent with current approaches in Augmented Deep Fake Animation (ADFA) that utilize Neural Radiance Fields (NeRF) and 3D Gaussian representations. The authors indicate that future research will aim to address these limitations.