تقييم اتخاذ القرار في نماذج اللغة الكبيرة تحت المخاطر وعدم اليقين: انتهاكات المنفعة المتوقعة في ChatGPT وClaude وDeepSeek Evaluating Decision-Making in Large Language Models Under Risk and Uncertainty: Expected Utility Violations in ChatGPT, Claude and DeepSeek

شارك:
المجلة: Group Decision and Negotiation، المجلد: 35، العدد: 3
DOI: https://doi.org/10.1007/s10726-026-10006-z
تاريخ النشر: 2026-06-20
المؤلف: Teemu Alexander Puutio وآخرون
الموضوع الرئيسي: اتخاذ القرار والاقتصاد السلوكي

نظرة عامة

يتناول هذا القسم من ورقة البحث تطبيق نظرية المنفعة المتوقعة (EUT) لتقييم قدرات اتخاذ القرار لنماذج اللغة الكبيرة (LLMs). يوسع المؤلفون إطار تدقيق EUT لتقييم ما إذا كانت LLMs، وبشكل خاص GPT-4o وGPT-3.5 وGPT-Mini وDeepSeek، تعمل كعوامل دعم قرار عقلانية. باستخدام مجموعة تدقيق مكونة من أربعة أجزاء مستوحاة من الاقتصاد السلوكي، تفحص الدراسة 1,600 إكمال عبر أبعاد مختلفة: الاستقلالية (اليانصيب من نوع ألي)، اتساق الوقت (الخصم الزائد)، ثبات الإطار (عرض المكاسب/الخسائر)، والعقلانية التسلسلية (معضلة السجين).

تكشف النتائج عن انحرافات كبيرة عن العقلانية في LLMs، مع معدلات انتهاك متوسطة تبلغ 36% للاستقلالية، 34% لعدم اتساق الوقت، 33% لتأثيرات الإطار، و32% للعقلانية التسلسلية، مما يتماشى عن كثب مع بيانات السلوك البشري. تشير هذه النتائج إلى أن العقلانية المحدودة ليست مجرد حادثة ولكنها خاصية جوهرية لعمليات اتخاذ القرار في LLMs. يدعو المؤلفون إلى تنفيذ تدابير وقائية، مثل سلاسل التفكير المقيدة بـ EUT وأنظمة الهجين بين الإنسان والذكاء الاصطناعي، لتعزيز موثوقية القرار مع تكامل LLMs في سير العمل الحيوية في مجالات التفاوض والائتمان والسياسات. وبالتالي، يُعتبر فهم ومعالجة عقلانية LLMs جانبًا حاسمًا من حوكمة الذكاء الاصطناعي.

مقدمة

تناقش مقدمة هذه الورقة البحثية الدور التحويلي لأنظمة التعلم الآلي، وخاصة نماذج اللغة الكبيرة (LLMs) والذكاء الاصطناعي التوليدي، في عمليات اتخاذ القرار البشرية. تبرز ظهور تكوينات اتخاذ القرار الهجينة حيث يتعاون وكلاء الإنسان والذكاء الاصطناعي، مما يغير الديناميات الجماعية بشكل جذري. لقد أظهر دمج الذكاء الاصطناعي في أنظمة التفاوض ودعم القرار إمكانية تعزيز العقلانية المحدودة من خلال تحسين الوظائف الإدراكية مثل الذاكرة العاملة والاستنتاج. ومع ذلك، فإنه يقدم أيضًا تحديات جديدة، لا سيما فيما يتعلق بتكرار التحيزات البشرية داخل مخرجات الذكاء الاصطناعي، والتي يمكن أن تؤثر على نزاهة التفاوض وجودة القرار.

يؤكد المؤلفون أن LLMs، على عكس الأنظمة الحتمية التقليدية، تعمل كمقربات عشوائية يمكنها استيعاب وإعادة إنتاج التحيزات البشرية، مثل تأثيرات الإطار وتفضيلات المحتوى التي يتم إنشاؤها ذاتيًا. تكشف نتائجهم أن LLMs لا تقلد التحيزات البشرية فحسب، بل تفعل ذلك بدقة تثير القلق بشأن موثوقيتها في سياقات اتخاذ القرار. تجادل الورقة بضرورة التحول من مجرد تقييم مساعدة الذكاء الاصطناعي في اتخاذ القرار إلى فهم وتحديد الخصائص السلوكية لهذه الوكلاء من الذكاء الاصطناعي. تدعو إلى دمج التشخيصات المعيارية لضمان التزام المخرجات التي ينتجها الذكاء الاصطناعي بمعايير اتخاذ القرار العقلاني، داعية إلى استراتيجيات للتخفيف من التحيز وتعزيز الشفافية في عمليات اتخاذ القرار المدعومة بالذكاء الاصطناعي. يقترح المؤلفون إطارًا لتقييم التماسك العقلاني لأنظمة الذكاء الاصطناعي، بهدف تعزيز الثقة والنزاهة في بيئات اتخاذ القرار الجماعي.

الطرق

تضمنت المنهجية المستخدمة في هذا البحث تصميم أربعة وحدات ضمن مجموعة تدقيق، كل منها يعكس نماذج تجريبية راسخة في علم اتخاذ القرار السلوكي، مصممة لواجهات نماذج اللغة. لضمان الصلاحية الخارجية، تم صياغة التشخيصات بلغة سهلة الفهم وعرضها من خلال مطالبات ذات جولة واحدة تحاكي السيناريوهات الواقعية في اتخاذ القرار الجماعي، والتفاوض، والسياقات الاستشارية. تم إجراء كل استنتاج بشكل مستقل عبر طلبات API بدون حالة، مما يلغي التحيزات المحتملة من تاريخ الدردشة أو الذاكرة أو آثار الضبط الدقيق.

تم تصنيف ردود النماذج إلى خيارات منفصلة، وتم قياس انتهاكات المسلمات الراسخة باستخدام إحصائيات قائمة على النسب. لتقييم موثوقية الترددات الملحوظة وسط تباين العينة العشوائية، تم حساب فترات الثقة باستخدام طريقة bootstrap بنسبة 95%. لا يسهل هذا الإطار المنهجي فقط المقارنة عبر نماذج واختبارات مختلفة، بل يسمح أيضًا بالتوسع في التكرارات أو التمديدات المستقبلية للتدقيق.

النتائج

في مجموعة التدقيق التي تم إجراؤها، تم تحليل ما مجموعه 1,600 محادثة بدون حالة باستخدام أربعة نماذج متميزة، كل منها خضع لأربعة اختبارات منفصلة مع 100 تكرار لكل اختبار. تقدم النتائج، الملخصة في الجدول 1، معدلات الانتهاك المرتبطة بكل نموذج واختبار، بينما توضح الأشكال المصاحبة الأنماط عبر النماذج الملاحظة. بالإضافة إلى ذلك، يتم تقديم فترات الثقة باستخدام bootstrap بنسبة 95% (BCI) بين قوسين في الجدول 7، مما يوفر مقياسًا إحصائيًا لموثوقية معدلات الانتهاك المبلغ عنها.

المناقشة

تسلط قسم المناقشة في الورقة الضوء على الانحرافات الكبيرة عن نظرية المنفعة المتوقعة (EUT) التي لوحظت في نماذج اللغة الكبيرة (LLMs) خلال مهام اتخاذ القرار. تقليديًا، كانت EUT بمثابة إطار معياري لاتخاذ القرار العقلاني تحت عدم اليقين، ومع ذلك تشير النتائج إلى أن LLMs، مثل GPT-4o وGPT-3.5 وGPT-Mini وDeepSeek، تظهر انتهاكات منهجية لمبادئ EUT، مما يعكس التحيزات المعرفية البشرية. عبر 1,600 تجربة، أظهرت هذه النماذج عكس تفضيلات في استقلالية المخاطر، اتساق الوقت، تأثيرات الإطار، والعقلانية التسلسلية، مع معدلات انتهاك تتراوح من 27% إلى 42%. يشير هذا إلى أن LLMs، المدربة على نصوص تم إنشاؤها بواسطة البشر، تعيد إنتاج اللامعقولات المتأصلة في اتخاذ القرار البشري بدلاً من الالتزام بالمعايير العقلانية.

تعتبر تداعيات هذه النتائج عميقة، لا سيما فيما يتعلق بدمج LLMs في عمليات اتخاذ القرار. على عكس الأنظمة الحتمية التي تقدم نتائج شفافة وقابلة للتكرار، تعمل LLMs على أساس التفكير الاحتمالي دون وجود مسار تدقيق واضح، مما يثير القلق بشأن دورها في القرارات ذات المخاطر العالية. يجادل المؤلفون بضرورة إعادة تقييم كيفية استخدام LLMs، داعين إلى هياكل منظمة تتضمن التحقق من المنفعة وقابلية التدقيق بعد الحدث. يقترحون نهجًا ثلاثي الجوانب للتخفيف من انتهاكات EUT: الاختبار الروتيني لتماسك EUT، عزل LLMs عن حلقات التفكير الحرجة، ومعاملة LLMs كعوامل شبه مستقلة تخضع للاختبار من حيث الشفافية والتحيز. في النهاية، تؤكد الدراسة على الحاجة إلى اعتبار دقيق لأدوار LLMs في اتخاذ القرار لتجنب استيراد التحيزات التي تم تصميم هذه الأنظمة للتخفيف منها.

Journal: Group Decision and Negotiation, Volume: 35, Issue: 3
DOI: https://doi.org/10.1007/s10726-026-10006-z
Publication Date: 2026-06-20
Author(s): Teemu Alexander Puutio et al.
Primary Topic: Decision-Making and Behavioral Economics

Overview

This section of the research paper discusses the application of Expected Utility Theory (EUT) to evaluate the decision-making capabilities of large language models (LLMs). The authors extend the EUT audit framework to assess whether LLMs, specifically GPT-4o, GPT-3.5, GPT-Mini, and DeepSeek, function as rational decision-support agents. Utilizing a four-part audit battery inspired by behavioral economics, the study examines 1,600 completions across various dimensions: independence (Allais-type lotteries), time consistency (hyperbolic discounting), framing invariance (gain/loss presentations), and sequential rationality (Prisoner’s Dilemma).

The results reveal significant deviations from rationality in LLMs, with average violation rates of 36% for independence, 34% for time inconsistency, 33% for framing effects, and 32% for sequential rationality, closely aligning with human behavioral data. These findings indicate that bounded rationality is not merely incidental but an inherent characteristic of LLMs’ decision-making processes. The authors advocate for implementing safeguards, such as EUT-constrained reasoning chains and hybrid human-AI systems, to enhance decision reliability as LLMs become integrated into critical workflows in negotiation, credit, and policy contexts. Understanding and addressing the rationality of LLMs is thus positioned as a crucial aspect of AI governance.

Introduction

The introduction of this research paper discusses the transformative role of machine learning systems, particularly Large Language Models (LLMs) and Generative-AI, in human decision-making processes. It highlights the emergence of hybrid decision-making configurations where human and AI agents collaborate, fundamentally altering group dynamics. The integration of AI into negotiation and decision support systems has shown potential to enhance bounded rationality by improving cognitive functions such as working memory and inference. However, it also introduces new challenges, particularly concerning the replication of human biases within AI outputs, which can affect negotiation integrity and decision quality.

The authors emphasize that LLMs, unlike traditional deterministic systems, operate as stochastic approximators that can internalize and reproduce human biases, such as framing effects and self-generated content preferences. Their findings reveal that LLMs not only mimic human biases but do so with a fidelity that raises concerns about their reliability in decision-making contexts. The paper argues for a shift in focus from merely assessing AI’s assistance in decision-making to understanding and bounding the behavioral properties of these AI agents. It calls for the incorporation of normative diagnostics to ensure that AI-generated outputs adhere to rational decision-making standards, advocating for strategies to mitigate bias and enhance transparency in AI-assisted decision processes. The authors propose a framework for evaluating the rational coherence of AI systems, aiming to foster trust and integrity in group decision-making environments.

Methods

The methodology employed in this research involved the design of four modules within an audit battery, each reflecting established experimental paradigms in behavioral decision science, tailored for language model interfaces. To ensure external validity, the diagnostics were framed in accessible language and presented through single-shot prompts that mimic real-world scenarios in group decision-making, negotiation, and advisory contexts. Each inference was conducted independently via stateless API requests, eliminating potential biases from chat history, memory, or fine-tuning artifacts.

Responses from the models were classified into discrete choices, and violations of established axioms were quantified using proportion-based statistics. To evaluate the reliability of the observed frequencies amidst random sampling variability, 95% bootstrap confidence intervals were calculated. This methodological framework not only facilitates comparability across different models and tests but also allows for scalability in future iterations or extensions of the audit.

Results

In the conducted audit battery, a total of 1,600 stateless conversations were analyzed using four distinct models, each subjected to four separate tests with 100 iterations per test. The findings, summarized in Table 1, present the violation rates associated with each model and test, while accompanying figures illustrate the cross-model patterns observed. Additionally, 95% bootstrap confidence intervals (BCI) are provided in parentheses in Table 7, offering a statistical measure of the reliability of the reported violation rates.

Discussion

The discussion section of the paper highlights the significant deviations from Expected Utility Theory (EUT) observed in large language models (LLMs) during decision-making tasks. Traditionally, EUT has served as a normative framework for rational decision-making under uncertainty, yet the findings indicate that LLMs, such as GPT-4o, GPT-3.5, GPT-Mini, and DeepSeek, exhibit systematic violations of EUT principles, mirroring human cognitive biases. Across 1,600 trials, these models demonstrated preference reversals in risk independence, time consistency, framing effects, and sequential rationality, with violation rates ranging from 27% to 42%. This suggests that LLMs, trained on human-generated text, replicate the irrationalities inherent in human decision-making rather than adhering to rational norms.

The implications of these findings are profound, particularly regarding the integration of LLMs into decision-making processes. Unlike deterministic systems that provide transparent and reproducible outcomes, LLMs operate on probabilistic reasoning without a clear audit trail, raising concerns about their role in high-stakes decisions. The authors argue for a reevaluation of how LLMs are utilized, advocating for structured architectures that incorporate utility validation and post-hoc auditability. They propose a three-pronged approach to mitigate EUT violations: routine testing for EUT coherence, isolating LLMs from critical reasoning loops, and treating LLMs as semi-autonomous agents subject to transparency and bias testing. Ultimately, the study underscores the need for careful consideration of LLMs’ roles in decision-making to avoid importing biases that these systems were designed to mitigate.