تقدم هذه البحث إطار عمل موحد متعدد الوسائط يسمى “توليد متعدد الوسائط العالمي الذي يمكّن التحويل من أي إلى أي”، مصمم لتسهيل التحويلات السلسة بين النصوص والصوت والصور. يتضمن هذا النظام ثلاث وظائف رئيسية: فهم الكلام عبر Whisper، والفهم البصري من خلال LLaVA، وتوليد الكلام باستخدام نماذج تحويل النص إلى كلام المعتمدة على PyTorch. يتم…