استخدام تكنولوجيا اللغة متعددة اللغات لتصنيف ردود الاستطلاع المفتوحة: مفاهيم الديمقراطية في إعداد استطلاع عبر الثقافات Using Multilingual Language Technology to Classify Open-Ended Survey Responses: Conceptions of Democracy in a Cross-Cultural Survey Setting

شارك:
المجلة: Political Analysis
DOI: https://doi.org/10.1017/pan.2026.10043
تاريخ النشر: 2026-05-04
المؤلف: Stefan Dahlberg وآخرون
الموضوع الرئيسي: طرق التحليل الحاسوبي والنصي

نظرة عامة

تستكشف هذه الورقة البحثية تطبيق نماذج اللغة المدربة مسبقًا (PMLMs) في تحليل ردود الاستطلاع المفتوحة حول الديمقراطية من عشرة دول مختلفة. من خلال استخدام مخطط ترميز منظم يعرف بشجرة الديمقراطية، تقيم الدراسة فعالية ضبط نماذج PMLMs لتصنيف مقاطع النص في سياق متعدد اللغات. تشير النتائج إلى أن نماذج PMLMs يمكن أن تحقق مستويات دقة مقارنة بالمراجعين البشريين في تحديد المفاهيم الديمقراطية العامة، مما يظهر إمكاناتها لتعزيز منهجيات الاستطلاع التقليدية.

تؤكد الدراسة على مزايا استخدام نماذج PMLMs لتبسيط العملية الشاقة للترميز اليدوي في الاستطلاعات متعددة اللغات، والتي تتطلب عادةً موارد كبيرة. من خلال دمج تصنيفات PMLM مع البيانات المشفرة يدويًا، تسلط الأبحاث الضوء على نهج هجين يحسن الكفاءة والاتساق وقابلية تفسير أبحاث الاستطلاع عبر الدول. لا يسهل هذا الأسلوب فقط فهمًا أعمق لكيفية تصور المستجيبين للديمقراطية، بل يقترح أيضًا أن الإطار يمكن تكييفه مع مخططات ترميز مختلفة لردود الاستطلاع المفتوحة، مما يوسع من قابليته للتطبيق في أبحاث العلوم السياسية.

مقدمة

تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي لنماذج اللغة متعددة اللغات المدربة مسبقًا (PMLMs) على تحليل النصوص ضمن العلوم السياسية، لا سيما في سياق ردود الاستطلاع المفتوحة في الأبحاث عبر الثقافات. تعتبر هذه الردود، على الرغم من قيمتها في التقاط وجهات نظر متنوعة، تحديات كبيرة مثل تكاليف الترميز العالية، وعدم اتساق الترجمة، والتماسك الموضوعي عبر لغات وثقافات مختلفة. لمعالجة هذه القضايا، يقترح المؤلفون منهجية جديدة تجمع بين نماذج PMLMs ومخططات الترميز المنظمة، مع التركيز بشكل خاص على المفاهيم الديمقراطية – وهي موضوع رئيسي في العلوم السياسية المقارنة.

تستخدم الدراسة مجموعة بيانات عبر الدول تشمل تسع لغات وعشر دول لتقييم نهج هجين يدمج التوصيف البشري مع مخطط ترميز محدد مسبقًا، يتم تنفيذه من خلال إطار شجرة الديمقراطية. من خلال ضبط نماذج PMLMs على مجموعة محدودة من الردود المشفرة يدويًا، يظهر المؤلفون قدرة النموذج على تصنيف الردود غير المشفرة بدقة، بما في ذلك تلك الموجودة في لغات لم تُرَ من قبل. لا تقلل هذه المنهجية من الطبيعة الشاقة للترميز اليدوي فحسب، بل تعزز أيضًا قابلية المقارنة عبر اللغات في أبحاث الاستطلاع، مما يوفر بديلاً قابلاً للتوسع وفعالاً من حيث التكلفة لطرق التصنيف التقليدية. توضح الورقة هيكلها، بدءًا بمناقشة حول أنواع أسئلة الاستطلاع ونقاش قياس الديمقراطية، تليها عرض تفصيلي للإطار المنهجي، وتقييم أداء النموذج، وتطبيق البيانات المشفرة لاستكشاف العلاقة بين مفاهيم الديمقراطية والمواقف الوطنية.

الطرق

توضح قسم المنهجية النهج المنظم المستخدم في البحث. يبدأ بوصف التصميم التجريبي، موضحًا معايير اختيار المشاركين والإجراءات المحددة المتبعة لضمان الاتساق والموثوقية في جمع البيانات. استخدمت الدراسة كل من الطرق النوعية والكمية، متضمنة الاستطلاعات والتجارب المنضبطة لجمع بيانات شاملة حول الموضوع.

تم إجراء تحليلات إحصائية باستخدام برامج مناسبة لتقييم النتائج، مع تحديد مستويات الدلالة عند p < 0.05. استخدم الباحثون نماذج مختلفة لتفسير البيانات، مما يضمن أن النتائج كانت قوية ويمكن تعميمها على مجموعة سكانية أوسع. تختتم القسم بمناقشة الاعتبارات الأخلاقية التي تم أخذها في الاعتبار خلال الدراسة، مع التأكيد على أهمية الموافقة المستنيرة وسرية المشاركين.

النتائج

في قسم النتائج، تقيم الدراسة دقة طرق التوصيف التلقائي من خلال مقارنة النماذج أحادية اللغة ومتعددة اللغات وعبر اللغات مقابل بيانات الاختبار المشفرة يدويًا، مما يضع أساسًا لمزيد من التحليل. بالإضافة إلى ذلك، يسلط القسم الضوء على تطبيق التوصيفات التلقائية للنموذج متعدد اللغات النهائي لمقارنة ردود الاستطلاع عبر أسئلة ودول مختلفة.

يكشف تحليل الانحدار اللوجستي عن نتائج مهمة تتعلق بالعلاقة بين المواقف الوطنية ومفاهيم الديمقراطية. على وجه التحديد، هناك ارتباط سلبي ذو دلالة إحصائية (β = -0.058، SE = 0.014، p < 0.001) يشير إلى أن المستجيبين الذين لديهم آراء وطنية أقوى أقل احتمالًا لربط الديمقراطية بالقيم الليبرالية مثل المساواة والتعددية. على العكس، لوحظت علاقة إيجابية وذات دلالة إحصائية (β = 0.097، SE = 0.035، p < 0.01) بين الوطنية والديمقراطية كنتيجة، مما يشير إلى أن الأفراد الذين لديهم درجات عالية من الوطنية يميلون إلى رؤية الديمقراطية من منظور وظيفي، مع تقديرها لقدرتها على تحقيق نتائج تفيد المجموعة الأصلية. تشير هذه النتائج إلى أنه بينما قد يرفض الوطنيون المبادئ المعيارية للديمقراطية الليبرالية، إلا أنهم لا يزالون يقدرون فائدتها في تحقيق أهداف اجتماعية محددة.

المناقشة

تسلط المناقشة الضوء على مزايا وتحديات استخدام ردود الاستطلاع المفتوحة في أبحاث العلوم السياسية، مع التأكيد على قدرتها على التقاط وجهات نظر دقيقة حول مفاهيم معقدة مثل الديمقراطية. تتيح الأسئلة المفتوحة للمستجيبين التعبير عن آرائهم دون قيود الفئات المحددة مسبقًا، مما يكشف عن تفسيرات متنوعة تتشكل من السياقات الثقافية والسياسية. ومع ذلك، فإن تحليل مثل هذه البيانات النوعية يطرح تحديات كبيرة، لا سيما في الدراسات عبر الدول، بسبب الحاجة إلى ترميز موسع وإمكانية التفسير الذاتي. ظهرت تقنيات معالجة اللغة الطبيعية (NLP)، بما في ذلك نمذجة الموضوعات ونماذج اللغة الكبيرة (LLMs)، كأدوات واعدة لتكميم هذه الردود، على الرغم من أنها تأتي أيضًا مع قيود تتعلق بالبيانات متعددة اللغات والحاجة إلى التحقق الدقيق.

تقدم الورقة إطار شجرة الديمقراطية كمخطط ترميز منظم لتصنيف مفاهيم الديمقراطية عبر سياقات لغوية وثقافية متنوعة. يصنف هذا الإطار الردود إلى فهم إجرائي، جوهري، وقائم على النتائج، مما يضمن الاتساق وقابلية المقارنة في الأبحاث عبر الدول. تستخدم الدراسة نهجًا هجينًا يجمع بين الخبرة البشرية والطرق الحسابية، مستفيدة من نموذج لغة مدرب مسبقًا متعدد اللغات (PMLM) لتعزيز دقة التوصيف. تشير النتائج إلى أنه بينما يمكن لنماذج PMLMs تصنيف الردود المفتوحة بفعالية، فإن أدائها يعتمد على جودة مخطط الترميز وبيانات التدريب. تؤكد النتائج على أهمية أطر الترميز القوية في تسهيل المقارنات ذات المعنى عبر المناظر السياسية المتنوعة، مما يساهم في فهم أعمق لمفاهيم الديمقراطية على مستوى العالم.

Journal: Political Analysis
DOI: https://doi.org/10.1017/pan.2026.10043
Publication Date: 2026-05-04
Author(s): Stefan Dahlberg et al.
Primary Topic: Computational and Text Analysis Methods

Overview

This research paper explores the application of pre-trained language models (PMLMs) in analyzing open-ended survey responses regarding democracy from ten different countries. By employing a structured coding scheme known as the Democracy Tree, the study assesses the effectiveness of fine-tuning PMLMs to classify text spans in a multilingual context. The findings indicate that PMLMs can achieve accuracy levels comparable to human annotators in identifying broad democratic concepts, thereby demonstrating their potential to enhance traditional survey methodologies.

The study emphasizes the advantages of using PMLMs to streamline the labor-intensive process of manual coding in multilingual surveys, which typically requires significant resources. By integrating PMLM classifications with human-coded data, the research highlights a hybrid approach that improves the efficiency, consistency, and interpretability of cross-national survey research. This method not only facilitates a deeper understanding of how respondents conceptualize democracy but also suggests that the framework can be adapted to various coding schemes for open-ended survey responses, thereby broadening its applicability in political science research.

Introduction

The introduction of this research paper highlights the transformative impact of pre-trained multilingual language models (PMLMs) on text analysis within political science, particularly in the context of open-ended survey responses in cross-cultural research. These responses, while valuable for capturing diverse perspectives, pose significant challenges such as high coding costs, translation inconsistencies, and thematic coherence across different languages and cultures. To address these issues, the authors propose a novel methodology that combines PMLMs with structured coding schemes, specifically focusing on democratic conceptions—a key theme in comparative political science.

The study utilizes a cross-national dataset encompassing nine languages and ten countries to evaluate a hybrid approach that integrates human annotation with a predefined coding scheme, operationalized through the Democracy Tree framework. By fine-tuning PMLMs on a limited set of manually coded responses, the authors demonstrate the model’s capability to accurately classify unannotated responses, including those in previously unseen languages. This methodology not only reduces the labor-intensive nature of manual coding but also enhances cross-linguistic comparability in survey research, offering a scalable and cost-effective alternative to traditional classification methods. The paper outlines its structure, beginning with a discussion on survey question types and the democracy measurement debate, followed by a detailed presentation of the methodological framework, model performance evaluation, and an application of the annotated data to explore the relationship between conceptions of democracy and nativist attitudes.

Methods

The methodology section outlines the systematic approach employed in the research. It begins with a description of the experimental design, detailing the selection criteria for participants and the specific procedures followed to ensure consistency and reliability in data collection. The study utilized both qualitative and quantitative methods, incorporating surveys and controlled experiments to gather comprehensive data on the subject matter.

Statistical analyses were performed using appropriate software to evaluate the results, with significance levels set at p < 0.05. The researchers employed various models to interpret the data, ensuring that the findings were robust and could be generalized to a broader population. The section concludes with a discussion of the ethical considerations taken into account during the study, emphasizing the importance of informed consent and participant confidentiality.

Results

In the Results section, the study evaluates the accuracy of automatic annotation methods through a comparison of monolingual, multilingual, and cross-lingual models against manually annotated test data, establishing a foundation for further analysis. Additionally, the section highlights the application of the final multilingual model’s automatic annotations to compare survey responses across various questions and countries.

The logistic regression analysis reveals significant findings regarding the relationship between nativist attitudes and conceptions of democracy. Specifically, there is a statistically significant negative association (β = -0.058, SE = 0.014, p < 0.001) indicating that respondents with stronger nativist views are less likely to associate democracy with liberal values such as equality and pluralism. Conversely, a positive and statistically significant relationship (β = 0.097, SE = 0.035, p < 0.01) is observed between nativism and democracy as an outcome, suggesting that individuals with high nativism scores tend to view democracy in instrumental terms, valuing it for its ability to deliver outcomes that favor the native in-group. These results indicate that while nativists may reject the normative principles of liberal democracy, they still appreciate its utility in achieving specific societal goals.

Discussion

The discussion highlights the advantages and challenges of using open-ended survey responses in political science research, emphasizing their ability to capture nuanced perspectives on complex concepts like democracy. Open-ended questions allow respondents to express their views without the constraints of predefined categories, revealing diverse interpretations shaped by cultural and political contexts. However, the analysis of such qualitative data poses significant challenges, particularly in cross-national studies, due to the need for extensive coding and the potential for subjective interpretation. Natural language processing (NLP) techniques, including topic modeling and large language models (LLMs), have emerged as promising tools for quantifying these responses, although they also come with limitations regarding multilingual data and the need for careful validation.

The paper introduces the Democracy Tree framework as a structured coding scheme for classifying conceptions of democracy across various linguistic and cultural contexts. This framework categorizes responses into procedural, substantive, and outcome-based understandings, ensuring consistency and comparability in cross-national research. The study employs a hybrid approach that combines human expertise with computational methods, utilizing a multilingual pre-trained language model (PMLM) to enhance annotation accuracy. The results indicate that while PMLMs can effectively classify open-ended responses, their performance is contingent on the quality of the coding scheme and the training data. The findings underscore the importance of robust coding frameworks in facilitating meaningful comparisons across diverse political landscapes, ultimately contributing to a deeper understanding of democratic conceptions globally.