الأبحاث ضمن الموضوع : نمذجة الموضوعات
-
Adaptive-RAG: تعلم التكيف مع نماذج اللغة الكبيرة المعززة بالاسترجاع من خلال تعقيد الأسئلة
2024 | المؤلف: Soyeong Jeong وآخرون | المجلة: Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers) | المجال: الذكاء الاصطناعي (Artificial Intelligence)تقدم البحث إطار عمل استرجاع معزز بالتكيف (Adaptive-RAG)، المصمم لتحسين التعامل مع الاستفسارات ذات التعقيدات المتفاوتة في مهام السؤال والجواب (QA). تكافح نماذج اللغة الكبيرة المعززة بالاسترجاع (LLMs) التقليدية لتحقيق التوازن بين الكفاءة والدقة، وغالبًا ما تعقد الاستفسارات البسيطة أو تعالج بشكل غير كاف الاستفسارات المعقدة متعددة الخطوات. يعالج إطار العمل Adaptive-RAG هذه التحديات من…
-
DeepSeekMoE: نحو التخصص النهائي للخبراء في نماذج اللغة المختلطة من الخبراء
2024 | المؤلف: Damai Dai وآخرون | المجلة: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) | المجال: الذكاء الاصطناعي (Artificial Intelligence)في هذا القسم، يقدم المؤلفون بنية DeepSeek-MoE، المصممة لتعزيز تخصص الخبراء ضمن نماذج مزيج الخبراء (MoE)، خاصة في سياق نماذج اللغة الكبيرة. تكافح الهياكل التقليدية لمزيج الخبراء، مثل GShard، لضمان أن يطور الخبراء معرفة متميزة ومركزة. لمعالجة ذلك، تستخدم DeepSeek-MoE استراتيجيتين رئيسيتين: أولاً، تقسم الخبراء بدقة إلى \(mN\) وحدة وتفعيل \(mK\) منها، مما يسمح باختيار…