DOI: https://doi.org/10.1016/j.aej.2025.12.066
تاريخ النشر: 2026-01-19
المؤلف: Renad Al-Monef وآخرون
الموضوع الرئيسي: تقنيات معالجة اللغة الطبيعية
نظرة عامة
تقدم هذه البحث “أبشر”، وهو معيار رائد يهدف إلى تقييم نماذج اللغة الكبيرة (LLMs) في سياق اللهجات السعودية والفروق الثقافية، مما يعالج فجوة كبيرة في معالجة اللغة الطبيعية العربية (NLP). غالبًا ما تركز أطر التقييم التقليدية على اللغات ذات الموارد العالية أو العربية الفصحى الحديثة (MSA)، متجاهلة التنوع اللهجي الغني الموجود في مناطق مثل السعودية. يتكون “أبشر” من أكثر من 18,000 سؤال اختيار من متعدد مستمد من مجموعة بيانات مختارة من الكلمات والعبارات والأمثال اللهجية من خمس مناطق رئيسية في السعودية، منظمة في ست فئات مهام: المعنى، صحيح/خطأ، املأ الفراغ، الاستخدام السياقي، التفسير الثقافي، والتعرف على المواقع. تسهل هذه المقاربة الشاملة تقييمًا دقيقًا لنماذج اللغة الكبيرة عبر الأبعاد اللغوية والثقافية.
يكشف تقييم ستة من أحدث نماذج اللغة الكبيرة – ALLaM، LLaMA، Jais، Mistral، Qwen، وAceGPT – عن تباين كبير في الأداء، حيث تتفوق بعض النماذج في مهام مثل التعرف على المواقع بينما تواجه صعوبات في الاستدلال الثقافي والتفكير الثنائي. ومن الجدير بالذكر أن النماذج متعددة اللغات مثل Qwen وMistral تفوقت على النماذج الناطقة بالعربية في المهام العامة، على الرغم من أن الأخيرة أظهرت قدرات متفوقة في تفسير التعبيرات الثقافية المدمجة. تؤكد النتائج على ضرورة وجود أنظمة معالجة لغة طبيعية شاملة وحساسة ثقافيًا تعكس الحقائق اللغوية للمستخدمين. ستعمل الأعمال المستقبلية على توسيع “أبشر” لتشمل لهجات إضافية وصيغ أسئلة، بينما تستكشف أيضًا تحليلات سببية أعمق لتعزيز فهم أداء النماذج عبر الاختلافات اللهجية والسياقات الثقافية.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التقدم الكبير في تقنيات معالجة اللغة، مع التأكيد على فائدتها عبر مختلف القطاعات. ومع ذلك، تحدد قيدًا حرجًا: تركز النماذج الحسابية الحالية بشكل أساسي على اللغات ذات الموارد العالية، مثل الإنجليزية والعربية الفصحى الحديثة، متجاهلة التنوع الغني للهجات الإقليمية، وخاصة في السعودية. تعيق هذه السلبية قدرة النماذج على فهم الهويات المحلية والفروق الثقافية، مما يؤدي إلى فجوات في الأداء وتحامل ضد اللغات الممثلة تمثيلاً ناقصًا.
لمعالجة هذه المشكلة، يقدم المؤلفون “أبشر”، وهو معيار رائد مصمم خصيصًا لتقييم نماذج اللغة الكبيرة (LLMs) على اللهجات السعودية. يتكون “أبشر” من 18,564 سؤال اختيار من متعدد عبر ست فئات، بما في ذلك المعنى، صحيح/خطأ، والتفسير الثقافي، مستمدة من محتوى لهجي أصيل عبر خمس مناطق رئيسية في السعودية. يهدف المعيار إلى تسهيل تقييم شامل لكفاءة النماذج الثقافية وقدراتها اللغوية، مما يعزز التمثيل العادل للهجات المتنوعة في أنظمة الذكاء الاصطناعي. توضح الورقة مساهماتها، بما في ذلك تطوير “أبشر”، وإطار منهجي لبنائه، وتقييم مفصل لأحدث نماذج اللغة الكبيرة، مما يكشف عن تباين الأداء ورؤى حول التحديات التي تواجهها هذه النماذج في السياقات الحساسة للهجات.
النتائج
تقيم النتائج المقدمة في الجدول 5 أداء ستة نماذج لغوية – ALLaM، LLaMA، Jais، Mistral، Qwen، وACEGPT – عبر أنواع محتوى متنوعة: الكلمات، العبارات، والأمثال. تشير النتائج إلى تباين كبير في الأداء تأثر بنوع المحتوى اللغوي وتعقيد المهام. بالنسبة لمهام مستوى الكلمات، تفوق نموذج Qwen على الآخرين بدقة 63.00% ودرجة F1 تبلغ 41.18%، مما يظهر قوته في معالجة العناصر المعجمية المعزولة. هذا الأداء يتجاوز بشكل ملحوظ مستوى الاحتمال الأساسي البالغ 25% لأسئلة الاختيار من متعدد، مما يبرز قدرات النماذج في التعامل مع الأسئلة الصعبة الحساسة للهجة والثقافة المقدمة في معيار “أبشر”.
في المقابل، كشفت مهام مستوى العبارات عن بيئة أكثر تنافسية، حيث حقق Mistral أعلى درجة F1 تبلغ 26.02%، تلاه عن كثب Qwen وACEGPT. يشير هذا إلى أن النماذج تواجه صعوبة أكبر مع العبارات بسبب غموضها الفطري واعتمادها على السياق. كانت المهام المستندة إلى الأمثال هي الأكثر تحديًا، حيث تصدر ALLaM هذه الفئة بدقة 48.74% ودرجة F1 تبلغ 31.43%. يبرز الأداء المنخفض لنماذج مثل Jais عبر جميع أنواع المحتوى، وخاصة مع الأمثال، قيودها في معالجة اللغة الغنية ثقافيًا أو المجازية. بشكل عام، تؤكد هذه النتائج على الحاجة إلى مزيد من البحث لتحسين قدرات نماذج اللغة في التنقل عبر تعقيدات التعبيرات الثقافية الدقيقة والعبارات الاصطلاحية.
المناقشة
تسلط قسم المناقشة من الورقة البحثية الضوء على التركيز المتزايد على اللهجات العربية في تقييم نماذج اللغة الكبيرة (LLMs) وتطوير المعايير لتقييم أدائها في الفهم اللهجي والثقافي. لقد حددت معايير مختلفة، مثل AraDiCE وSaudiCulture، قيودًا في قدرة LLMs على توليد والتفكير في السياقات اللهجية، خاصة في العربية السعودية. يتم تقديم معيار “أبشر” كإطار تقييم جديد مصمم خصيصًا لمعالجة هذه الفجوات من خلال توفير تقييم دقيق لفهم LLMs للهجات السعودية من خلال مجموعة شاملة من المحتويات اللهجية، بما في ذلك الكلمات، العبارات، والأمثال. لا يعزز هذا المعيار فقط تقييم LLMs ولكنه يهدف أيضًا إلى التقاط الخصوصية الاجتماعية والثقافية التي غالبًا ما يتم تجاهلها في الدراسات الحالية.
شملت عملية بناء معيار “أبشر” جمع بيانات دقيق وخط أنابيب للمعالجة المسبقة، مما أسفر عن مجموعة بيانات مختارة من 3,094 عنصر لهجي فريد. يتضمن المعيار أكثر من 18,000 سؤال اختيار من متعدد مصممة لتقييم LLMs بدقة عبر أبعاد مختلفة من فهم اللغة، مثل تفسير المعنى والسياق الثقافي. تؤكد البحث على أهمية التقييم البشري لضمان موثوقية وملاءمة الأسئلة ثقافيًا، مع وجود اتفاق قوي بين المراجعين يشير إلى قوة المعيار. تكشف التجارب التي أجريت مع عدة نماذج LLM مفتوحة المصدر أن أداء النموذج لا يتوافق بالضرورة مع الحجم أو التخصص في العربية، مما يبرز الحاجة إلى تدريب متعدد اللغات متنوع وتصميم معماري فعال لتعزيز فهم المهام الغنية ثقافيًا والمعقدة لهجيًا. بشكل عام، تؤكد النتائج على ضرورة وجود مجموعات بيانات أكثر شمولاً تعكس التنوع اللغوي للهجات العربية، خاصة في السياقات ذات الموارد المنخفضة.
القيود
تسلط قسم القيود في معيار “أبشر” الضوء على عدة قيود تؤثر على تقييم نماذج اللغة الكبيرة (LLMs) على اللهجات والثقافة السعودية. أولاً، تم إجراء الدراسة بموارد حسابية محدودة، مما يقيّد استكشاف تكوينات نماذج متنوعة والقدرة على إجراء تجارب متكررة. بالإضافة إلى ذلك، قد يكون لاستخدام هيكل مطالبة ثابت، مثل “أجب كما لو كنت سعوديًا…” تأثير على استجابات النماذج، مما يشير إلى أن الأبحاث المستقبلية يجب أن تحقق في تأثيرات تنويع المطالبات وضبط التعليمات.
علاوة على ذلك، بينما تم استخدام عينة مصنفة للتقييم البشري لضمان جودة مجموعة البيانات، كان من غير العملي إجراء مراجعة يدوية شاملة لجميع 18,564 سؤالًا بسبب حجم وتنوع مجموعة البيانات. كما أن تمثيل اللهجات الإقليمية داخل مجموعة البيانات غير متوازن، حيث تكون اللهجات الوسطى والغربية أكثر انتشارًا، مما يشير إلى الحاجة إلى موارد أكثر توازنًا لتعكس بدقة جميع التنوعات اللهجية السعودية. يجب أن تهدف الدراسات المستقبلية إلى استخدام بنية تحتية حسابية محسّنة، وتجربة هندسة المطالبات، ودمج مراجعات خبراء أوسع لتحسين دقة وموثوقية وصلاحية ثقافية لتقييمات المعايير.
DOI: https://doi.org/10.1016/j.aej.2025.12.066
Publication Date: 2026-01-19
Author(s): Renad Al-Monef et al.
Primary Topic: Natural Language Processing Techniques
Overview
The research introduces Absher, a pioneering benchmark aimed at evaluating large language models (LLMs) in the context of Saudi dialects and cultural nuances, addressing a significant gap in Arabic natural language processing (NLP). Traditional evaluation frameworks often focus on high-resource languages or Modern Standard Arabic (MSA), neglecting the rich dialectal diversity present in regions like Saudi Arabia. Absher comprises over 18,000 multiple-choice questions derived from a curated dataset of dialectal words, phrases, and proverbs from five major Saudi regions, organized into six task categories: Meaning, True/False, Fill-in-the-Blank, Contextual Usage, Cultural Interpretation, and Location Recognition. This comprehensive approach facilitates a nuanced assessment of LLMs across both linguistic and cultural dimensions.
The evaluation of six state-of-the-art LLMs—ALLaM, LLaMA, Jais, Mistral, Qwen, and AceGPT—reveals significant performance variability, with some models excelling in tasks like location recognition while struggling with cultural inference and binary reasoning. Notably, multilingual models such as Qwen and Mistral outperformed Arabic-native models in general tasks, although the latter demonstrated superior capabilities in interpreting culturally embedded expressions. The findings underscore the necessity for inclusive and culturally sensitive NLP systems that reflect the linguistic realities of users. Future work will expand Absher to encompass additional dialects and question formats, while also exploring deeper causal analyses to enhance understanding of model performance across dialectal variations and cultural contexts.
Introduction
The introduction of this research paper highlights significant advancements in language processing technologies, emphasizing their utility across various sectors. However, it identifies a critical limitation: existing computational models predominantly focus on high-resource languages, such as English and Modern Standard Arabic, neglecting the rich diversity of regional dialects, particularly in Saudi Arabia. This oversight hampers the models’ ability to understand local identities and cultural nuances, leading to performance gaps and biases against underrepresented languages.
To address this issue, the authors introduce Absher, a pioneering benchmark designed specifically for evaluating large language models (LLMs) on Saudi dialects. Absher comprises 18,564 multiple-choice questions across six categories, including Meaning, True/False, and Cultural Interpretation, sourced from authentic dialectal content across five major regions of Saudi Arabia. The benchmark aims to facilitate a comprehensive assessment of LLMs’ cultural competence and linguistic capabilities, thereby promoting equitable representation of diverse dialects in AI systems. The paper outlines its contributions, including the development of Absher, a methodological framework for its construction, and a detailed evaluation of state-of-the-art LLMs, revealing performance variability and insights into the challenges faced by these models in dialect-sensitive contexts.
Results
The results presented in Table 5 evaluate the performance of six language models—ALLaM, LLaMA, Jais, Mistral, Qwen, and ACEGPT—across various content types: words, phrases, and proverbs. The findings indicate significant performance variability influenced by both the type of linguistic content and task complexity. For word-level tasks, the Qwen model outperformed others with an accuracy of 63.00% and an F1-score of 41.18%, demonstrating its strength in processing isolated lexical items. This performance is notably above the chance-level baseline of 25% for multiple-choice questions, underscoring the models’ capabilities in tackling the challenging dialect- and culture-sensitive questions presented in the Absher benchmark.
In contrast, phrase-level tasks revealed a more competitive environment, with Mistral achieving the highest F1-score of 26.02%, followed closely by Qwen and ACEGPT. This suggests that models face greater difficulty with phrases due to their inherent ambiguity and context dependence. Proverb-based tasks proved to be the most challenging, with ALLaM leading in this category at an accuracy of 48.74% and an F1-score of 31.43%. The lower performance of models like Jais across all content types, particularly with proverbs, highlights their limitations in processing culturally rich or metaphorical language. Overall, these results emphasize the need for further research to improve language models’ abilities to navigate the complexities of culturally nuanced and idiomatic expressions.
Discussion
The discussion section of the research paper highlights the growing emphasis on Arabic dialects in the evaluation of large language models (LLMs) and the development of benchmarks to assess their performance in dialectal and cultural understanding. Various benchmarks, such as AraDiCE and SaudiCulture, have identified limitations in LLMs’ ability to generate and reason in dialectal contexts, particularly in Saudi Arabic. The Absher Benchmark is introduced as a novel evaluation framework specifically designed to address these gaps by providing a fine-grained assessment of LLMs’ understanding of Saudi dialects through a comprehensive set of dialectal contents, including words, phrases, and proverbs. This benchmark not only enhances the evaluation of LLMs but also aims to capture the sociocultural specificity often overlooked in existing studies.
The construction of the Absher Benchmark involved a meticulous data collection and pre-processing pipeline, resulting in a curated dataset of 3,094 unique dialectal items. The benchmark includes over 18,000 multiple-choice questions designed to rigorously evaluate LLMs across various dimensions of language understanding, such as meaning interpretation and cultural context. The research emphasizes the importance of human evaluation to ensure the reliability and cultural appropriateness of the questions, with strong inter-annotator agreement indicating the robustness of the benchmark. The experiments conducted with several open-source LLMs reveal that model performance does not necessarily correlate with size or specialization in Arabic, highlighting the need for diverse multilingual training and effective architectural design to enhance understanding of culturally rich and dialectally complex tasks. Overall, the findings underscore the necessity for more inclusive datasets that reflect the linguistic diversity of Arabic dialects, particularly in low-resource contexts.
Limitations
The section on limitations of the Absher benchmark highlights several constraints that affect the evaluation of large language models (LLMs) on Saudi dialects and culture. Firstly, the study was conducted with limited computational resources, restricting the exploration of diverse model configurations and the ability to perform repeated trials. Additionally, the use of a fixed prompt structure, such as “Answer as if you are a Saudi…,” may have influenced the models’ responses, suggesting that future research should investigate the effects of prompt variation and instruction tuning.
Moreover, while a stratified sample was utilized for human evaluation to ensure dataset quality, a comprehensive manual review of all 18,564 questions was impractical due to the dataset’s scale and diversity. The representation of regional dialects within the dataset is also uneven, with Central and Western dialects being more prevalent, indicating a need for more balanced resources to accurately reflect all Saudi dialectal variations. Future studies should aim to utilize enhanced computational infrastructure, experiment with prompt engineering, and incorporate broader expert reviews to improve the accuracy, reliability, and cultural validity of benchmark evaluations.