DOI: https://doi.org/10.1017/psrm.2025.10086
تاريخ النشر: 2026-02-13
المؤلف: Dahyun Choi وآخرون
الموضوع الرئيسي: طرق التحليل الحاسوبي والنصي
نظرة عامة
تتناول هذه الفقرة ضرورة استخدام أدوات متقدمة لالتقاط المعلومات السياسية المعقدة بشكل فعال في النصوص. تؤكد الدراسة على دور مجموعات المصالح كمزودين استراتيجيين للمعلومات، مع الإشارة إلى أن التحليلات التجريبية السابقة كانت محدودة بسبب الاعتماد على التعليقات من الخبراء. من خلال استخدام وثائق السياسات من هذه المجموعات، تظهر الأبحاث أن نماذج اللغة الكبيرة (LLMs) المعدلة بدقة تتفوق بشكل كبير على المعلقين البشريين المدربين بشكل خفيف، وعمال الحشود، وLLMs بدون تدريب في تصنيف فئتين صعبتين: الإشارات المعلوماتية التي تعزز اتخاذ القرار السياسي والإشارات الارتباطية التي تؤثر على التفضيلات دون صلة جوهرية.
علاوة على ذلك، تسلط الدراسة الضوء على قدرة المصنف على التعميم عبر تطبيقات مختلفة، مما يشير إلى قوته خارج السياق التجريبي المحدد. على الرغم من أن النتائج تقع ضمن مجال معين، فإن المنهجية تقدم نهجًا قابلًا للتوسع لتشفير النصوص المدفوعة بالخبراء يمكن تطبيقه على مجالات متنوعة ضمن البحث السياسي.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التحديات المتعلقة بقياس المفاهيم الكامنة في العلوم السياسية، وخاصة تلك التي لا يمكن ملاحظتها بشكل مباشر، مثل المناقشة وأيديولوجيات الوكالة. غالبًا ما تعتمد الطرق التقليدية على تعليقات الخبراء، والتي تكون مكلفة وغير قابلة للتوسع، مما يؤدي إلى الاعتماد على بيانات مستمدة من الحشود أقل دقة. تشير التطورات الأخيرة في نماذج اللغة الكبيرة (LLMs) إلى أن هذه النماذج يمكن أن تتطابق أو تتجاوز أداء المعلقين البشريين في المهام الأبسط. تبني هذه الدراسة على هذه الفرضية، موضحة أن LLMs المعدلة بدقة يمكن أن تعيد إنتاج تشفير الخبراء بفعالية للمهام الأكثر تعقيدًا، تحديدًا في سياق الإشارات المعلوماتية من مجموعات المصالح في الولايات المتحدة.
يقترح المؤلفون نهجًا جديدًا يستخدم LLMs المعدلة بدقة للتمييز بين الإشارات المعلوماتية والارتباطية في التواصل السياسي. توفر الإشارات المعلوماتية أدلة ذات صلة بالسياسة، بينما تجذب الإشارات الارتباطية الهوية دون حجج جوهرية. من خلال بناء مجموعة بيانات تدريب عالية الجودة وتعديل عدة LLMs، تظهر الدراسة أن هذه النماذج تتفوق بشكل كبير على الطرق التقليدية، بما في ذلك المبرمجين المدربين بشكل خفيف وLLMs بدون تدريب، في إعادة إنتاج أحكام الخبراء. تشير النتائج إلى أن تعديل LLMs يمكن أن يوسع بشكل فعال التعليقات المدفوعة بالخبراء، مما يجعلها أداة قيمة لعلماء السياسة الذين يسعون لتحليل بيانات نصية معقدة عبر مجالات متنوعة. تهدف هذه التطورات المنهجية إلى تسهيل بناء والتحقق من القياسات الدقيقة التي تتطلب تفسيرًا من الخبراء، مما يعزز القدرة على البحث التجريبي في العلوم السياسية.
نقاش
في قسم النقاش من الورقة البحثية، يقوم المؤلفون بفحص فعالية تشفير البيانات المستمدة من الحشود مقارنة بتشفير الخبراء في قياس المفاهيم السياسية المعقدة، وخاصة تقدير الرئيس. يبرزون أنه بينما يُنظر إلى جمع البيانات من الحشود غالبًا كبديل قابل للتطبيق لتشفير الخبراء، تشير الدراسات إلى أن المبرمجين غير الخبراء غالبًا ما يفتقرون إلى المعرفة السياقية اللازمة، مما يؤدي إلى تفاوتات كبيرة في نتائج التشفير. على سبيل المثال، تظهر أبحاث لوواندي (2024) ولوواندي وشيبان (2022) أن المبرمجين الخبراء، الذين يتكونون من 173 عالم سياسة، أنتجوا تقييمات أكثر اتساقًا لتقدير الرئيس مقارنةً بغير الخبراء، الذين أظهروا تناقضات في أحكامهم. يبرز هذا التباين أهمية الخبرة في المهام التي تتطلب فهمًا دقيقًا، مما يشير إلى أن الاعتماد على طرق جمع البيانات من الحشود قد يهدد جودة البيانات في المجالات السياسية المعقدة.
يستكشف المؤلفون أيضًا دور مجموعات المصالح في تشكيل الخطاب السياسي من خلال نشر المعلومات الاستراتيجية. يقترحون تصنيفًا لتصنيف الإشارات—المعلوماتية والارتباطية—التي تستخدمها مجموعات المصالح للتأثير على صانعي السياسات والرأي العام. تهدف خطة التشفير التي تم تطويرها لهذه الدراسة إلى التقاط هذه الإشارات في سياق سياسة التجارة، مما يبرز الحاجة إلى خبرة محددة في المجال لتفسير النصوص السياسية بدقة. تشير النتائج إلى أن نماذج اللغة المعدلة بدقة (LLMs) يمكن أن تتفوق على المبرمجين البشريين غير الخبراء، مما يوفر بديلاً واعدًا للباحثين الذين يسعون لتحقيق أداء على مستوى الخبراء في تحليل المحتوى مع الاعتراف بحدود LLMs من حيث القابلية للتفسير وإمكانية التكرار.
DOI: https://doi.org/10.1017/psrm.2025.10086
Publication Date: 2026-02-13
Author(s): Dahyun Choi et al.
Primary Topic: Computational and Text Analysis Methods
Overview
This section discusses the necessity of advanced tools for effectively capturing complex political information in text. The study emphasizes the role of interest groups as strategic providers of information, while noting that previous empirical analyses have been limited due to dependence on expert annotation. By utilizing policy documents from these interest groups, the research demonstrates that fine-tuned large language models (LLMs) significantly outperform lightly trained human annotators, crowdworkers, and zero-shot LLMs in classifying two challenging categories: informative signals that enhance political decision-making and associative signals that influence preferences without substantive relevance.
Moreover, the study highlights the classifier’s ability to generalize across different applications, indicating its robustness beyond the specific empirical context. Although the findings are situated within a particular domain, the methodology presents a scalable approach for expert-driven text coding that could be applied to various areas within political research.
Introduction
The introduction of this research paper highlights the challenges of measuring latent concepts in political science, particularly those that are not directly observable, such as deliberation and agency ideologies. Traditional methods often rely on expert annotations, which are costly and not scalable, leading to a reliance on less precise crowd-sourced data. Recent advancements in large language models (LLMs) suggest that these models can match or exceed the performance of human annotators for simpler tasks. This study builds on that premise, demonstrating that fine-tuned LLMs can effectively replicate expert coding for more complex tasks, specifically in the context of informational signals from interest groups in the U.S.
The authors propose a novel approach that utilizes fine-tuned LLMs to distinguish between informative and associative signals in political communication. Informative signals provide policy-relevant evidence, while associative signals appeal to identity without substantive arguments. By constructing a high-quality training dataset and fine-tuning several LLMs, the study shows that these models significantly outperform traditional methods, including lightly trained coders and zero-shot LLMs, in replicating expert judgments. The findings suggest that fine-tuning LLMs can effectively scale expert-driven annotations, making it a valuable tool for political scientists seeking to analyze complex textual data across various domains. This methodological advancement aims to facilitate the construction and validation of nuanced measurements that require expert interpretation, thereby enhancing the capacity for empirical research in political science.
Discussion
In the discussion section of the research paper, the authors critically examine the efficacy of crowdsourced coding compared to expert coding in measuring complex political concepts, particularly presidential discretion. They highlight that while crowdsourcing is often viewed as a viable alternative to expert coding, studies indicate that nonexpert coders frequently lack the necessary contextual knowledge, leading to significant discrepancies in coding outcomes. For instance, research by Lowande (2024) and Lowande and Shipan (2022) demonstrates that expert coders, comprising 173 political scientists, produced more coherent assessments of presidential discretion than nonexperts, who exhibited inconsistencies in their judgments. This divergence underscores the importance of expertise in tasks requiring nuanced understanding, suggesting that reliance on crowdsourced methods may compromise data quality in politically complex domains.
The authors further explore the role of interest groups in shaping political discourse through strategic information dissemination. They propose a typology to categorize the signals—informative and associative—that interest groups use to influence policymakers and public opinion. The coding scheme developed for this study aims to capture these signals in the context of trade policy, emphasizing the need for domain-specific expertise in accurately annotating political texts. The findings indicate that fine-tuned language models (LLMs) can outperform nonexpert human coders, thereby offering a promising alternative for researchers seeking to achieve expert-level performance in content analysis while acknowledging the limitations of LLMs in terms of interpretability and replicability.