DOI: https://doi.org/10.1038/s42256-026-01217-9
تاريخ النشر: 2026-04-22
المؤلف: Dharshan Kumaran وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
مقدمة
في مقدمة ورقة البحث، يقدم المؤلفون سيناريو يتضمن سؤال اختيار ثنائي يتعلق بخط العرض للمدن، مع التركيز بشكل خاص على بان با ساك. تتطلب المهمة من المستجيبين اختيار أحد الخيارين المقدمين في تنسيق محدد لضمان تسجيل دقيق. توضح المثال حالة حيث يجيب نموذج اللغة (LLM) في البداية على السؤال بشكل غير صحيح، ولكن يتم تزويده بعد ذلك بمعلومات إضافية حول أداء LLM آخر على نفس مجموعة البيانات، والتي لديها معدل دقة 70%. هذا يدفع المستجيب الأصلي لإعادة النظر في إجابته بناءً على موثوقية استجابة النموذج المنافس.
تضع المقدمة الأساس لاستكشاف عمليات اتخاذ القرار في ظل عدم اليقين، وخاصة كيف يمكن أن يؤثر معرفة دقة نموذج آخر على اختيار الفرد. هذا السياق حاسم لفهم آثار أداء النموذج على استراتيجيات اتخاذ القرار وإمكانية الاستفادة من الدقة المقارنة في سيناريوهات مماثلة.
طرق البحث
في هذه الدراسة، تضمنت الفرضية التجريبية “نموذج اللغة الذي يجيب” الذي استجاب لأسئلة متعددة الخيارات، مع اختلافات في تقديم الإجابات الأولية والنصائح من “نموذج النصيحة” الخيالي. قدم نموذج اللغة الذي يجيب أولاً إجابة على سؤال، تليها مطالبة تحتوي على نصيحة من نموذج النصيحة، التي أشارت إلى دقتها كنسبة مئوية. شمل التصميم التجريبي ثلاث تلاعبات رئيسية: (1) ما إذا كانت الإجابة الأولية معروضة أو مخفية، (2) طبيعة النصيحة (نفس، معاكسة، أو محايدة)، و(3) الدقة الخيالية لنموذج النصيحة. أدى ذلك إلى 36 حالة تجريبية تم اختبارها عبر 2000 سؤال، مع اعتبار حالة “الإجابة مخفية – نصيحة محايدة” كخط أساس لتقييم معدلات تغيير الرأي (CoM).
تضمنت المتغيرات الرئيسية ذات الاهتمام تقييمات الثقة المستمدة من لوغاريتمات استجابات نموذج اللغة الذي يجيب، والتي تم تحويلها باستخدام دالة سوفتماكس مع معلمة درجة حرارة مثالية. ركز التحليل على الثقة الأولية في الخيار المختار وعلاقتها بـ CoM، ووضوح الإجابة الأولية، وطبيعة النصيحة المقدمة. تم تعريف CoM بشكل عملي على أنه أي تغيير في الإجابة الأولية بين مرحلتين من التجربة. بالإضافة إلى ذلك، تم تضمين حالة حيث كانت الإجابة المرئية في المرحلة الثانية دائمًا غير صحيحة، مما يسمح بمزيد من الاستكشاف لديناميات الثقة واتخاذ القرار في نموذج اللغة الذي يجيب.
النتائج
في هذا القسم، يتحقق المؤلفون من نتائجهم الأساسية المتعلقة بالتحيز الداعم للاختيار والحساسية المفرطة للنصائح المتعارضة عبر نماذج ومجموعات بيانات متعددة. اختبروا خمسة نماذج إضافية، بما في ذلك Gemma 27B و GPT4o، باستخدام مجموعتين من البيانات: نسخة متعددة الخيارات من SimpleQA و GSM-MC. أظهرت النتائج باستمرار أن جميع النماذج أظهرت تحيزًا داعمًا للاختيار، مما يدل على انخفاض كبير في معدلات تغيير الرأي (CoM) عندما كانت الإجابات الأولية مرئية، مع اختلافات تتراوح بين 14 إلى 25 نقطة مئوية. بالإضافة إلى ذلك، زادت مستويات الثقة عندما تم عرض الإجابات، مما يؤكد وجود تحيز داعم للاختيار عبر نماذج بأحجام معلمات مختلفة (من 12B إلى 675B).
علاوة على ذلك، أظهرت النماذج ميلاً لتضخيم المعلومات المتعارضة مقارنة بمراقب مثالي بايزي، حيث تجاوزت معدلات CoM والانخفاضات في الثقة التوقعات المعيارية في الحالات التي كانت فيها الإجابات الأولية مخفية وتم تقديم نصائح متعارضة. بينما اختلفت شدة هذه التحيزات بين النماذج – كما يتضح من نسب التحديث المختلفة لتغييرات الثقة – ظلت الأنماط النوعية متسقة. من الجدير بالذكر أن نماذج مثل GPT4o و Gemma 27B أظهرت أقوى تأثيرات لتضخيم المعلومات المتعارضة، بينما أظهرت نماذج أخرى، مثل DeepSeek، نقصًا في وزن المعلومات المتسقة. بشكل عام، تشير هذه النتائج إلى أن التحيز الداعم للاختيار ووزن النصائح غير المتكافئة هما خصائص أساسية لديناميات ثقة LLM، قابلة للتطبيق عبر هياكل نماذج وأساليب تدريب متنوعة.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التأثير الكبير للتحيز الداعم للاختيار على سلوك نماذج اللغة الكبيرة (LLMs) خلال عمليات اتخاذ القرار. على وجه الخصوص، تكشف الدراسة أن LLMs تظهر ميلًا منخفضًا لتغيير إجاباتها الأولية عندما تكون هذه الإجابات مرئية، مما يظهر انخفاضًا بنسبة 71% في احتمالات تغيير آرائهم (CoM) مقارنةً عندما تكون الإجابات مخفية. يتماشى هذا الظاهرة مع مفهوم التحيز الداعم للاختيار الذي لوحظ في اتخاذ القرار البشري، حيث يميل الأفراد إلى تفضيل خياراتهم الأولية، مما يؤدي إلى تضخيم الثقة في تلك الخيارات. تشير النتائج إلى أن LLMs لا تحافظ فقط على إجاباتها الأصلية، ولكنها أيضًا تظهر زيادة في الثقة عندما تكون تلك الإجابات مرئية، مما يشير إلى تحيز منهجي في كيفية معالجتها للمعلومات.
علاوة على ذلك، يثبت التحليل وجود علاقة سلبية قوية بين الثقة الأولية ومعدلات CoM، مما يشير إلى أن LLMs تعدل مرونة اتخاذ القرار بناءً على مستويات ثقتها. من الجدير بالذكر أن الدراسة تحدد علاقة غير خطية في ظروف معينة، حيث تؤثر الحساسية للنصائح المتعارضة بشكل كبير على تحديثات الثقة. تكشف النتائج أيضًا أن LLMs تضخم النصائح المتعارضة، مما يؤدي إلى نقص الثقة في خياراتها الأولية، بينما تؤدي النصائح الداعمة إلى زيادة الثقة. يبرز هذا الاستجابة غير المتكافئة لأنواع مختلفة من النصائح تعقيد سلوك LLM ويقترح أن عمليات اتخاذ القرار لديها تنحرف عن النماذج البايزية المعيارية، مما يعكس تفاعلًا فريدًا بين الثقة، والتحيز الداعم للاختيار، ودمج المعلومات الجديدة. بشكل عام، توفر هذه الدراسة رؤى قيمة حول الآليات المعرفية التي تكمن وراء اتخاذ القرار في LLM وتسلط الضوء على الآثار المترتبة على فهم التحيزات في أنظمة الذكاء الاصطناعي.
DOI: https://doi.org/10.1038/s42256-026-01217-9
Publication Date: 2026-04-22
Author(s): Dharshan Kumaran et al.
Primary Topic: Topic Modeling
Introduction
In the introduction of the research paper, the authors present a scenario involving a binary choice question related to the latitude of cities, specifically focusing on Ban Pa Sak. The task requires respondents to select one of two options presented in a specified format to ensure accurate scoring. The example illustrates a situation where a language model (LLM) initially answers the question incorrectly but is then provided with additional information about another LLM’s performance on the same dataset, which has a 70% accuracy rate. This prompts the original respondent to reconsider their answer based on the reliability of the competing model’s response.
The introduction sets the stage for exploring decision-making processes under uncertainty, particularly how the knowledge of another model’s accuracy can influence an individual’s choice. This context is critical for understanding the implications of model performance on decision-making strategies and the potential for leveraging comparative accuracy in similar scenarios.
Methods
In this study, the experimental paradigm involved an ‘answering LLM’ that responded to multiple-choice questions, with variations in the presentation of initial answers and advice from a fictitious ‘advice LLM.’ The answering LLM first provided an answer to a question, followed by a prompt containing advice from the advice LLM, which indicated its accuracy as a percentage. The experimental design included three main manipulations: (1) whether the initial answer was displayed or hidden, (2) the nature of the advice (same, opposite, or neutral), and (3) the fictitious accuracy of the advice LLM. This resulted in 36 experimental conditions tested across 2,000 questions, with the ‘Answer Hidden-Neutral Advice’ condition serving as a baseline for assessing change of mind (CoM) rates.
Key variables of interest included confidence ratings derived from the logits of the answering LLM’s responses, transformed using the softmax function with an optimal temperature parameter. The analysis focused on the initial confidence in the chosen option and its relationship to CoM, the visibility of the initial answer, and the nature of the advice provided. CoM was operationally defined as any change in the initial answer between the two stages of the experiment. Additionally, a condition was included where the visible answer at the second stage was always incorrect, allowing for further exploration of the dynamics of confidence and decision-making in the answering LLM.
Results
In this section, the authors validate their core findings regarding choice-supportive bias and hypersensitivity to opposing advice across multiple models and datasets. They tested five additional models, including Gemma 27B and GPT4o, using two datasets: a multiple-choice version of SimpleQA and GSM-MC. The results consistently demonstrated that all models exhibited a choice-supportive bias, indicated by significantly lower rates of change of mind (CoM) when initial answers were visible, with differences ranging from 14 to 25 percentage points. Additionally, confidence levels increased when answers were shown, confirming the presence of choice-supportive bias across models with varying parameter sizes (from 12B to 675B).
Furthermore, the models displayed a tendency to overweight opposing information compared to a Bayesian ideal observer, with observed CoM rates and confidence drops exceeding normative predictions in conditions where initial answers were hidden and contrary advice was presented. While the magnitude of these biases varied among models—evidenced by differing update ratios for confidence changes—the qualitative patterns remained consistent. Notably, models like GPT4o and Gemma 27B exhibited the strongest effects of opposing-information overweighting, while others, such as DeepSeek, showed underweighting of consistent information. Overall, these findings suggest that choice-supportive bias and asymmetric advice weighting are fundamental characteristics of LLM confidence dynamics, applicable across various model architectures and training methodologies.
Discussion
The discussion section of the research paper highlights the significant influence of choice-supportive bias on the behavior of large language models (LLMs) during decision-making processes. Specifically, the study reveals that LLMs exhibit a reduced tendency to change their initial answers when these answers are visible, demonstrating a 71% decrease in the odds of changing their minds (CoM) compared to when answers are hidden. This phenomenon aligns with the concept of choice-supportive bias observed in human decision-making, where individuals tend to favor their initial choices, leading to inflated confidence in those choices. The findings indicate that LLMs not only maintain their original answers but also show increased confidence when those answers are visible, suggesting a systematic bias in how they process information.
Furthermore, the analysis establishes a robust negative correlation between initial confidence and CoM rates, indicating that LLMs adapt their decision-making flexibility based on their confidence levels. Notably, the study identifies a nonlinear relationship in specific conditions, where the sensitivity to opposing advice significantly influences confidence updates. The results also reveal that LLMs overweight contrary advice, leading to underconfidence in their initial choices, while supportive advice results in increased confidence. This asymmetric response to different types of advice underscores the complexity of LLM behavior and suggests that their decision-making processes deviate from normative Bayesian models, reflecting a unique interplay between confidence, choice-supportive bias, and the integration of new information. Overall, the research provides valuable insights into the cognitive mechanisms underlying LLM decision-making and highlights the implications for understanding biases in artificial intelligence systems.
