يقدم هذا القسم نظرة عامة على Brownout-Serve، وهو إطار عمل جديد مصمم لتعزيز كفاءة الاستدلال في نماذج اللغة الكبيرة (LLMs) المعتمدة على مزيج من الخبراء (MoE). يعالج الإطار عدم الكفاءة المرتبطة بوضع النموذج الثابت وعدم القدرة على التكيف مع أحمال العمل الديناميكية، مما يمكن أن يؤدي إلى استخدام غير مثالي للموارد وزيادة زمن الاستجابة خلال…