في هذا القسم، يقدم المؤلفون بنية DeepSeek-MoE، المصممة لتعزيز تخصص الخبراء ضمن نماذج مزيج الخبراء (MoE)، خاصة في سياق نماذج اللغة الكبيرة. تكافح الهياكل التقليدية لمزيج الخبراء، مثل GShard، لضمان أن يطور الخبراء معرفة متميزة ومركزة. لمعالجة ذلك، تستخدم DeepSeek-MoE استراتيجيتين رئيسيتين: أولاً، تقسم الخبراء بدقة إلى \(mN\) وحدة وتفعيل \(mK\) منها، مما يسمح باختيار…