DOI: https://doi.org/10.70478/psicothema.2025.37.19
PMID: https://pubmed.ncbi.nlm.nih.gov/40549858
تاريخ النشر: 2025-01-01
المؤلف: Louise Badham وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
يوفر هذا القسم نظرة عامة على التعقيدات المتعلقة بتطوير التقييمات بعدة لغات، مع تسليط الضوء على التحديات التي تنشأ في كل مرحلة، من إنشاء الاختبارات إلى التسجيل والتقييم. ويؤكد على الحاجة إلى أساليب متنوعة لضمان القابلية للمقارنة وتعزيز صلاحية التقييمات عبر اللغات.
تشمل المنهجية مراجعة للأدبيات والممارسات الحالية المتعلقة بالطرق المختلفة المستخدمة في التقييمات عبر اللغات. ومن الجدير بالذكر أنه كان هناك انتقال من الترجمة التقليدية من اللغة المصدر إلى اللغة المستهدفة إلى التطوير المتزامن لعناصر التقييم بعدة لغات. يتم استخدام كل من الطرق الكمية والنوعية لربط وتقييم هذه التقييمات، مما يوفر أدلة على صلاحيتها.
في الختام، يقدم المقال للممارسين نظرة شاملة بالإضافة إلى توصيات مستندة إلى الأبحاث لتطوير وربط والتحقق من صحة التقييمات التي تم إنشاؤها بعدة لغات، بهدف تحسين الجودة العامة وموثوقية مثل هذه التقييمات.
مقدمة
تناقش مقدمة ورقة البحث التعقيدات المتعلقة بتطوير التقييمات بعدة لغات، مع التأكيد على الحاجة إلى العدالة والصلاحية عبر السياقات اللغوية والثقافية المتنوعة. وتسلط الضوء على التحديات التي تطرحها الهياكل اللغوية، والعوامل الاجتماعية اللغوية، والسياسات التعليمية التي تؤثر على نتائج التقييم. على سبيل المثال، يجب أن تأخذ التعديلات على النسخ الإسبانية من التقييمات واسعة النطاق في الولايات المتحدة في الاعتبار الفروق اللغوية عن الإنجليزية واللهجات الإقليمية بين المتحدثين بالإسبانية لتجنب التحيز الثقافي. وبالمثل، في كندا، يجب أن تحافظ التقييمات على الصلاحية عبر الإنجليزية والفرنسية، بينما في أفريقيا جنوب الصحراء، تعقد التعايش بين اللغات الأصلية واللغات الاستعمارية السياسات التعليمية وممارسات التقييم.
تهدف الورقة إلى مراجعة طرق وممارسات التقييمات عبر اللغات، مع التركيز على تحديد وتخفيف التحيزات التي قد تضر مجموعات لغوية أو ثقافية معينة. وتؤكد على أهمية تطوير تقييمات قوية لتقليل التحيز وضمان استنتاجات صحيحة قائمة على الدرجات، حيث يمكن أن يكون للتحيزات آثار اجتماعية كبيرة، مثل تقييد الفرص التعليمية والمهنية. تشمل المراجعة تطوير اختبارات متعددة اللغات، وربط نسخ لغات مختلفة، وتقييم نتائج التقييمات عبر اللغات، مما يوسع العمل السابق من خلال دمج طرق الربط والتقييم مع أساليب تطوير الاختبارات واستكشاف تقنيات جديدة من التقنيات الناشئة. بينما تتناول الدراسة بشكل أساسي المهارات المعرفية في التقييمات التعليمية متعددة اللغات، فإن القضايا التي تم مناقشتها ذات صلة عبر سياقات مختلفة، بما في ذلك اختيار الموظفين في الشركات متعددة الجنسيات.
النتائج
تصنف قسم النتائج المنشورات المختارة إلى ثلاثة مجالات تركيز متميزة: (أ) “تطوير الاختبارات”، الذي يتناول المنهجيات لإنشاء أو تعديل التقييمات بعدة لغات؛ (ب) “ربط درجات الاختبارات”، الذي يتضمن تقنيات لربط الدرجات عبر لغات مختلفة؛ و(ج) “تقييم القابلية للمقارنة”، الذي يشمل دراسات حول ثبات القياس على مستوى الاختبار والعناصر، بالإضافة إلى تطبيق طرق اللغة الحاسوبية. يبرز هذا التصنيف الأساليب المتنوعة داخل هذا المجال، مع التأكيد على أهمية كل من الابتكار المنهجي وتقييم معادلة القياس عبر اللغات.
المناقشة
تؤكد قسم المناقشة في ورقة البحث على التمييز الحاسم بين “الترجمة” و”التكيف” في سياق تطوير الاختبارات متعددة اللغات. وتؤكد أن الترجمة البسيطة لا تضمن المعادلة في المحتوى والصعوبة؛ وبالتالي، يُفضل التكيف لأنه يدمج الصلة الثقافية لتعزيز الصلاحية في التقييمات (AERA et al., 2014; Hambleton, 2005). يتم توضيح طرق مختلفة لتطوير الاختبارات متعددة اللغات، بما في ذلك التكيف المتتابع، والتطوير المتزامن، والتطوير المتوازي. لكل طريقة مزاياها وتحدياتها، حيث يسمح التطوير المتزامن بمزيد من إزالة المركزية الثقافية واللغوية، بينما يمكن أن يعزز التطوير المتوازي القابلية للمقارنة من خلال إنشاء تقييمات بشكل مستقل في كل لغة (Tanzer, 2005; Ercikan & Lyons-Thomas, 2013).
تناقش القسم أيضًا تعقيدات ربط ومقارنة درجات الاختبارات عبر اللغات، مع تسليط الضوء على أشكال مختلفة من المعادلة مثل المعادلة الهيكلية، والمعادلة المترية، والمعادلة القياسية (Sireci et al., 2016). وتشير إلى أن المعادلة الصارمة للاختبارات المترجمة غالبًا ما تكون غير عملية بسبب الفروق الجوهرية في بنى اللغة، مما يؤدي إلى تفضيل طرق “الربط” التي تتطلب افتراضات أقل (Sireci, 1997). تشير الورقة إلى إرشادات اللجنة الدولية للاختبارات (ITC)، التي توفر إطارًا لضمان تقييمات عادلة وصحيحة عبر اللغات (ITC, 2017). علاوة على ذلك، تستكشف إمكانيات الذكاء الاصطناعي التوليدي (GenAI) في إحداث ثورة في تطوير الاختبارات متعددة اللغات من خلال تحسين الكفاءة وتقليل التكاليف، مع الاعتراف أيضًا بالتحديات المتعلقة بالتحيز والصلاحية في المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي (Hao et al., 2024). بشكل عام، تبرز المناقشة أهمية المنهجيات الصارمة والاعتبارات الثقافية في التكيف والتقييم للتقييمات متعددة اللغات.
DOI: https://doi.org/10.70478/psicothema.2025.37.19
PMID: https://pubmed.ncbi.nlm.nih.gov/40549858
Publication Date: 2025-01-01
Author(s): Louise Badham et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
The section provides an overview of the complexities involved in developing assessments in multiple languages, highlighting the challenges that arise at every stage, from test creation to scoring and evaluation. It emphasizes the need for diverse approaches to ensure comparability and enhance the validity of cross-lingual assessments.
The methodology includes a review of existing literature and practices concerning various methods employed in cross-lingual assessment. Notably, there has been a transition from traditional source-to-target language translation to the simultaneous development of assessment items in multiple languages. Both quantitative and qualitative methods are utilized to link and evaluate these assessments, thereby providing evidence of their validity.
In conclusion, the article offers practitioners a comprehensive overview along with research-based recommendations for the development, linking, and validation of assessments created in multiple languages, aiming to improve the overall quality and reliability of such evaluations.
Introduction
The introduction of the research paper discusses the complexities involved in developing assessments in multiple languages, emphasizing the need for fairness and validity across diverse linguistic and cultural contexts. It highlights the challenges posed by linguistic structures, sociolinguistic factors, and educational policies that influence assessment outcomes. For example, the adaptation of Spanish versions of large-scale assessments in the United States must account for linguistic differences from English and regional dialects among Spanish speakers to avoid cultural bias. Similarly, in Canada, assessments must maintain validity across English and French, while in sub-Saharan Africa, the coexistence of indigenous and colonial languages complicates educational policies and assessment practices.
The paper aims to review cross-lingual assessment methods and practices, focusing on identifying and mitigating biases that may disadvantage certain linguistic or cultural groups. It underscores the importance of robust assessment development to minimize bias and ensure valid score-based inferences, as biases can have significant social implications, such as limiting educational and career opportunities. The review encompasses multi-language test development, linking different language versions, and evaluating cross-lingual assessment results, extending previous work by integrating linking and evaluation methods with test development approaches and exploring new techniques from emerging technologies. While the study primarily addresses cognitive skills in multi-language educational assessments, the issues discussed are relevant across various contexts, including personnel selection in multinational corporations.
Results
The results section categorizes selected publications into three distinct areas of focus: (a) “Test Development,” which addresses methodologies for creating or adapting assessments in multiple languages; (b) “Test Score Linking,” which involves techniques for linking scores across different languages; and (c) “Evaluating Comparability,” which encompasses studies on measurement invariance at both the test and item levels, as well as the application of computational linguistic methods. This stratification highlights the diverse approaches within the field, emphasizing the importance of both methodological innovation and the evaluation of measurement equivalence across languages.
Discussion
The discussion section of the research paper emphasizes the critical distinction between “translation” and “adaptation” in the context of multilingual test development. It underscores that mere translation does not guarantee equivalence in content and difficulty; thus, adaptation is preferred as it incorporates cultural relevance to enhance validity in assessments (AERA et al., 2014; Hambleton, 2005). Various approaches to developing multilingual tests are outlined, including successive adaptation, simultaneous development, and parallel development. Each method has its advantages and challenges, with simultaneous development allowing for greater cultural and linguistic decentering, while parallel development can enhance comparability by independently creating assessments in each language (Tanzer, 2005; Ercikan & Lyons-Thomas, 2013).
The section also discusses the complexities of linking and comparing test scores across languages, highlighting different forms of equivalence such as structural, metric, and scalar equivalence (Sireci et al., 2016). It notes that strict equating of translated tests is often impractical due to the inherent differences in language constructs, leading to a preference for “linking” methods that require fewer assumptions (Sireci, 1997). The paper references the International Test Commission (ITC) guidelines, which provide a framework for ensuring fair and valid assessments across languages (ITC, 2017). Furthermore, it explores the potential of generative AI (GenAI) in revolutionizing multilingual test development by improving efficiency and reducing costs, while also acknowledging the challenges related to bias and validity in AI-generated content (Hao et al., 2024). Overall, the discussion highlights the importance of rigorous methodologies and cultural considerations in the adaptation and evaluation of multilingual assessments.