DOI: https://doi.org/10.1162/tacl.a.626
تاريخ النشر: 2026-01-01
المؤلف: Paul Röttger وآخرون
الموضوع الرئيسي: الأخلاقيات والآثار الاجتماعية للذكاء الاصطناعي
نظرة عامة
تقدم الأبحاث IssueBench، وهو إطار شامل مصمم لقياس تحيز القضايا في نماذج اللغة الكبيرة (LLMs) من خلال تفاعلات المستخدمين الواقعية. يتكون من 2.49 مليون طلب باللغة الإنجليزية مستمد من 3,900 قالب و212 قضية سياسية، يهدف IssueBench إلى قياس مدى التحيز في مخرجات LLM. تكشف النتائج أن تحيز القضايا شائع ومتسق عبر عشرة نماذج LLM متطورة، مع ميل ملحوظ نحو وجهات نظر الحزب الديمقراطي الأمريكي على وجهات نظر الحزب الجمهوري حول مواضيع مختلفة.
من خلال توفير آلية قوية لتقييم تحيزات LLM، لا يسلط IssueBench الضوء فقط على المخاطر المرتبطة بالمخرجات المتحيزة، بل يقدم أيضًا أداة مرنة يمكن تكييفها لمزيد من البحث في قضايا ومهام مختلفة. تسعى هذه المبادرة إلى تعزيز جودة الأدلة في المناقشات المحيطة بتحيزات LLM، مما يسهم في تطوير تقنيات مساعدة الكتابة الأكثر توازنًا وإنصافًا.
مقدمة
تسلط مقدمة الورقة الضوء على الزيادة المتزايدة في انتشار نماذج اللغة الكبيرة (LLMs) في تطبيقات متنوعة، لا سيما في مساعدة الكتابة، حيث يقوم المستخدمون بإنشاء نصوص حول مواضيع تهمهم. تثير هذه القدرة مخاوف بشأن تحيز القضايا في LLMs—الاتجاهات النظامية لتفضيل مواقف معينة حول القضايا—التي يمكن أن تؤثر على آراء المستخدمين والمجتمع. تشير الدراسات السابقة إلى أن النصوص التي تم إنشاؤها بواسطة LLM يمكن أن تغير بشكل كبير من مواقف القراء، مما يبرز الحاجة إلى قياس دقيق لهذه التحيزات. يتم انتقاد طرق التقييم الحالية لافتقارها إلى القوة والصدق البيئي، حيث تعتمد غالبًا على أسئلة اختيار من متعدد محدودة لا تعكس تفاعلات المستخدمين الحقيقية.
لمعالجة هذه الفجوة، يقدم المؤلفون Issue-Bench، مجموعة بيانات شاملة تتكون من 2,490,576 طلب كتابة واقعي يتعلق بقضايا سياسية متنوعة. تم بناء هذه المجموعة من تفاعلات المستخدمين الحقيقية مع LLM وتضم 212 قضية مؤطرة بطرق مختلفة، بالإضافة إلى 3,916 قالب لمساعدة الكتابة. يهدف المؤلفون إلى قياس تحيز القضايا في نماذج LLM المتطورة عبر عائلات نماذج متعددة، كاشفين أن هذه النماذج غالبًا ما تظهر مواقف متسقة ومتحيزة حول مجموعة من القضايا، لا سيما تلك التي تتنازع سياسيًا. تشير النتائج إلى أن تحيز القضايا شائع في LLM الحالية، والتي قد لا تتماشى مع توقعات العديد من المستخدمين. يدعو المؤلفون إلى استخدام Issue-Bench لتعزيز الفهم والنقاش حول تحيزات LLM، وتوفير الموارد لمزيد من البحث.
النتائج
في قسم النتائج، تقدم الدراسة نتائج مكملة حول تشابه النماذج والتحيز الحزبي. توضح الشكل 11 تشابه النماذج فيما يتعلق بالقضايا المؤطرة إيجابيًا وسلبيًا، مما يؤكد النتائج السابقة المعروضة في الشكل 6. بالإضافة إلى ذلك، quantifies الجدول 12 المسافة المطلقة المتوسطة بين مواقف النماذج ومواقف الناخبين الأمريكيين عبر 20 قضية مستمدة من iSideWith.com. تكشف هذه التحليلات أن جميع النماذج تظهر توافقًا أقرب مع الناخبين الديمقراطيين مقارنة بقاعدة الناخبين الأمريكيين الأوسع، مع الإبلاغ عن مسافات محددة لمختلف النماذج: Llama-3.1-70B (0.28 للديمقراطيين، 0.77 للجمهوريين، و0.39 للناخبين الأمريكيين)، Qwen-2.5-72B (0.28، 0.79، 0.41)، OLMo-2-13B (0.29، 0.80، 0.42)، DeepSeek-v3 (0.25، 0.74، 0.33)، Grok-3-mini (0.27، 0.72، 0.34)، وGPT-4o-mini (0.27، 0.81، 0.42).
علاوة على ذلك، يوفر الشكل 13 رسمًا بيانيًا UMAP لـ 212 قضية في IssueBench، تم إنشاؤه عن طريق حساب التضمينات للقضايا المؤطرة بشكل محايد باستخدام SentenceTransformers وتطبيق تقليل الأبعاد. يسمح هذا التصور عالي الدقة بفحص مفصل للعلاقات بين القضايا المختلفة، مما يبرز تعقيد وعمق المواضيع التي تم تحليلها في الدراسة، والتي تتراوح من تغير المناخ والرعاية الصحية إلى العدالة الاجتماعية والفساد السياسي.
النقاش
في مناقشة تحيز القضايا في نماذج اللغة الكبيرة (LLMs)، تسلط الورقة الضوء على قيود طرق التقييم الحالية التي تستخدم بشكل أساسي أسئلة اختيار من متعدد، مثل مجموعات بيانات OpinionQA، التي لا تعكس بدقة تفاعلات المستخدمين الحقيقية. لمعالجة هذه الفجوة، يقدم المؤلفون IssueBench، مجموعة بيانات مصممة لتقييم تحيز LLM من خلال مطالبات واقعية مستمدة من محادثات المستخدمين الفعلية. هذه المجموعة أكبر بكثير وأكثر صدقًا بيئيًا من الجهود السابقة، حيث تشمل مجموعة متنوعة من القضايا السياسية ومهام مساعدة الكتابة، مما يمكّن من تقييم أكثر شمولاً لتحيزات LLM.
تضمن بناء IssueBench عمليات تصفية وتوضيح دقيقة، مما أسفر عن 408,100 طلب ذات صلة مصنفة إلى 212 قضية سياسية متميزة. استخدم المؤلفون منهجية تصنيف صارمة لضمان توافق عالي بين المراجعين، محققين ألفا كريبيندورف قدره 0.97. بالإضافة إلى ذلك، قاموا بتطوير قوالب لمطالبات مساعدة الكتابة، مما أسفر عن 5,362 قالب فريد يحافظ على الواقعية بينما يسمح بتقييمات محكومة لإطار القضايا. تتيح الطبيعة المودولية لـ IssueBench تكييفات مستقبلية، بما في ذلك إمكانية وجود نسخ محددة المجال أو غير إنجليزية، مما يعزز قابليتها للتطبيق في سياقات متنوعة. بشكل عام، تؤكد النتائج على ضرورة وجود أطر تقييم أكثر واقعية لفهم تحيزات LLM، لا سيما في السياقات السياسية المشحونة.
DOI: https://doi.org/10.1162/tacl.a.626
Publication Date: 2026-01-01
Author(s): Paul Röttger et al.
Primary Topic: Ethics and Social Impacts of AI
Overview
The research introduces IssueBench, a comprehensive framework designed to measure issue bias in large language models (LLMs) through realistic user interactions. Comprising 2.49 million English-language prompts derived from 3,900 templates and 212 political issues, IssueBench aims to quantify the extent of bias in LLM outputs. The findings reveal that issue biases are prevalent and consistent across ten state-of-the-art LLMs, with a notable alignment towards US Democratic perspectives over Republican viewpoints on various topics.
By providing a robust mechanism for evaluating LLM biases, IssueBench not only highlights the risks associated with biased outputs but also offers a flexible tool that can be adapted for further research into different issues and tasks. This initiative seeks to enhance the quality of evidence in discussions surrounding LLM biases, ultimately contributing to the development of more balanced and fair writing assistance technologies.
Introduction
The introduction of the paper highlights the increasing prevalence of large language models (LLMs) in various applications, particularly in writing assistance, where users generate texts on topics of interest. This capability raises concerns about issue biases in LLMs—systematic tendencies to favor particular stances on issues—which could influence user and societal opinions. Previous studies indicate that LLM-generated texts can significantly alter reader attitudes, emphasizing the need for accurate measurement of these biases. Current evaluation methods are criticized for their lack of robustness and ecological validity, as they often rely on limited multiple-choice questions that do not reflect real user interactions.
To address this gap, the authors introduce Issue-Bench, a comprehensive dataset comprising 2,490,576 realistic writing prompts related to diverse political issues. This dataset is constructed from real user-LLM interactions and includes 212 issues framed in various ways, along with 3,916 writing assistance templates. The authors aim to measure issue biases in state-of-the-art LLMs across multiple model families, revealing that these models often exhibit consistent and polarized stances on a range of issues, particularly those that are politically contested. The findings suggest that issue biases are prevalent in current LLMs, which may not align with the expectations of many users. The authors advocate for the use of Issue-Bench to enhance the understanding and discussion of LLM biases, providing resources for further research.
Results
In the results section, the study presents complementary findings on model similarity and partisan bias. Figure 11 illustrates the similarity of models concerning positively and negatively framed issues, corroborating earlier results shown in Figure 6. Additionally, Table 12 quantifies the average absolute distance between model positions and the stances of US voters across 20 issues sourced from iSideWith.com. This analysis reveals that all models exhibit a closer alignment with Democratic voters compared to the broader US voter base, with specific distances reported for various models: Llama-3.1-70B (0.28 for Democrats, 0.77 for Republicans, and 0.39 for US voters), Qwen-2.5-72B (0.28, 0.79, 0.41), OLMo-2-13B (0.29, 0.80, 0.42), DeepSeek-v3 (0.25, 0.74, 0.33), Grok-3-mini (0.27, 0.72, 0.34), and GPT-4o-mini (0.27, 0.81, 0.42).
Furthermore, Figure 13 provides a UMAP plot of 212 issues in IssueBench, generated by computing embeddings for neutrally framed issues using SentenceTransformers and applying dimensionality reduction. This high-resolution visualization allows for detailed inspection of the relationships among the various issues, emphasizing the complexity and breadth of topics analyzed in the study, which range from climate change and healthcare to social justice and political corruption.
Discussion
In the discussion of issue bias in large language models (LLMs), the paper highlights the limitations of existing evaluation methods that primarily utilize multiple-choice questions, such as the OpinionQA datasets, which do not accurately reflect real user interactions. To address this gap, the authors introduce IssueBench, a dataset designed to evaluate LLM bias through realistic prompts derived from actual user conversations. This dataset is significantly larger and more ecologically valid than previous efforts, encompassing a diverse range of political issues and writing assistance tasks, thus enabling a more comprehensive assessment of LLM biases.
The construction of IssueBench involved meticulous filtering and annotation processes, resulting in 408,100 relevant prompts categorized into 212 distinct political issues. The authors employed a rigorous classification methodology to ensure high inter-annotator agreement, achieving a Krippendorff’s alpha of 0.97. Additionally, they developed templates for writing assistance prompts, yielding 5,362 unique templates that maintain realism while allowing for controlled evaluations of issue framing. The modular nature of IssueBench allows for future adaptations, including the potential for domain-specific or non-English versions, thereby enhancing its applicability in various contexts. Overall, the findings underscore the necessity for more realistic evaluation frameworks in understanding LLM biases, particularly in politically charged contexts.