الأبحاث المرتبطة بالكلمة المفتاحية: الإجابة على الأسئلة ذات السياق الطويل
-
SeqPE: محول مع ترميز موضع تسلسلي SeqPE: Transformer With Sequential Position Encoding
2026 | المؤلف: Huayang Li وآخرون | المجلة: IEEE Transactions on Pattern Analysis and Machine Intelligence | المجال: الذكاء الاصطناعي (Artificial Intelligence)تقدم البحث SEQPE، وهو إطار ترميز موحد وقابل للتعلم بالكامل لمواقع Transformers، يعالج قيود الترميز التقليدي للمواقع (PEs) في التكيف وقابلية التوسع. يستخدم SEQPE مشفر مواقع تسلسلي خفيف الوزن ويقدم هدفين للتنظيم: هدف تبايني لمواءمة مسافات الترميز مع دالة المسافة المحددة مسبقًا، وخسارة تقطير المعرفة لتعزيز أداء الاستقراء. تظهر النتائج التجريبية أن SEQPE يتفوق على…
