في هذا القسم، يتناول المؤلفون التحديات التي تواجه نماذج اللغة الكبيرة (LLMs) مع توسيع نوافذ السياق الخاصة بها، وخاصة القيود في سرعة الاستدلال بسبب زيادة متطلبات ذاكرة GPU وعرض النطاق الترددي. ينمو ذاكرة المفتاح والقيمة (KV) التي تخزن تمثيلات الرموز بشكل خطي مع طول السياق وتتطلب مسحًا خطيًا تكراريًا لحساب الانتباه. لتعزيز استدلال السياق الطويل،…

تقدم ورقة البحث Abacus، وهو مُحسّن مبتكر يعتمد على التكلفة مصمم لأنظمة المشغلين الدلاليين المستخدمة في معالجة مجموعات كبيرة من الوثائق غير المنظمة. يتناول Abacus التحديات المرتبطة بتحسين تنفيذ المشغلين الدلاليين—مثل الخرائط، والفلاتر، والانضمامات—من خلال التركيز على تعزيز الجودة، والتكلفة، والكمون مع الالتزام بالقيود المحتملة. يستخدم المُحسّن مزيجًا من أمثلة التحقق الدنيا، والمعتقدات السابقة حول…