الأبحاث ضمن الموضوع : تحليل الفيديو والتلخيص
-
أذكى، أفضل، أسرع، أطول: مشفر ثنائي الاتجاه حديث للتدريب الدقيق والاستدلال السريع والفعال من حيث الذاكرة والسياق الطويل
Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference2025 | المؤلف: Benjamin C. Warner وآخرون | المجلة: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) | المجال: الرؤية الحاسوبية والتعرف على الأنماط (Computer Vision and Pattern Recognition)يقدم هذا القسم ModernBERT، وهو نموذج متقدم من نوع المحولات يعتمد فقط على الترميز، والذي يعزز الأداء بشكل كبير في مهام الاسترجاع والتصنيف مقارنة بسابقيه، وخاصة BERT. تم تدريبه على 2 تريليون رمز مع أقصى طول تسلسل يبلغ 8192، يحقق ModernBERT نتائج رائدة في مختلف المعايير، بما في ذلك مجموعة بيانات GLUE، حيث يتفوق على…