نُشر على الإنترنت: 8 يونيو 2024
© المؤلف(ون) 2024

الكلمات الرئيسية الذكاء الاصطناعي نماذج اللغة الكبيرة نماذج اللغة الكبيرة شات جي بي تي هراء فرانكفورت تأكيد محتوى

لقد أصبحت النماذج اللغوية الكبيرة (LLMs)، وهي برامج تستخدم كميات هائلة من النصوص المتاحة وحسابات الاحتمالات لإنشاء كتابات تبدو وكأنها من إنتاج البشر، أكثر تطورًا وإقناعًا على مدى السنوات القليلة الماضية، إلى درجة أن بعض المعلقين يقترحون أننا قد نكون الآن في طريقنا نحو إنشاء ذكاء اصطناعي عام (انظر على سبيل المثال Knight، 2023 وSarkar، 2023). إلى جانب المخاوف بشأن صعود Skynet واستخدام LLMs مثل ChatGPT لاستبدال الأعمال التي يمكن ويجب أن يقوم بها البشر، هناك خط من الاستفسار يتعلق بما تفعله هذه البرامج بالضبط: على وجه الخصوص، هناك سؤال حول طبيعة ومعنى النص المنتج، وارتباطه بالحقائق. في هذه الورقة، نجادل ضد الرأي القائل بأنه عندما تنتج ChatGPT وما شابهها ادعاءات خاطئة، فإنها تكذب أو حتى تتوهم، ونؤيد الموقف الذي ينص على أن النشاط الذي تشارك فيه

إنها تتحدث هراءً، بالمعنى الفرنكفورتي (فرانكفورت، 2002، 2005). لأن هذه البرامج لا يمكن أن تهتم بالحقيقة، ولأنها مصممة لإنتاج نص يبدو مناسبًا للحقيقة دون أي اهتمام فعلي بالحقيقة، يبدو من المناسب أن نطلق على مخرجاتها هراء.

نعتقد أن هذا يستحق الانتباه. إن أوصاف التكنولوجيا الجديدة، بما في ذلك الأوصاف المجازية، توجه فهم صانعي السياسات والجمهور للتكنولوجيا الجديدة؛ كما أنها تُعلم تطبيقات التكنولوجيا الجديدة. إنها تخبرنا بما تُستخدم له التكنولوجيا وما يمكن توقعه منها. حاليًا، تُوصف التصريحات الخاطئة من ChatGPT ونماذج اللغة الكبيرة الأخرى بأنها “هلوسات”، مما يعطي صانعي السياسات والجمهور فكرة أن هذه الأنظمة تُسيء تمثيل العالم، وتصف ما “ترى”. نحن نرى أن هذه استعارة غير ملائمة ستضلل الجمهور وصانعي السياسات والأطراف المعنية الأخرى.

هيكل الورقة كالتالي: في القسم الأول، نوضح كيف تعمل ChatGPT و LLMs المماثلة. بعد ذلك، نعتبر الرأي القائل إنه عندما ترتكب أخطاء واقعية، فإنها تكذب أو تتوهم: أي، تتفوه عمداً بأكاذيب، أو تتفوه بها بلا لوم بناءً على معلومات مدخلة مضللة. نحن ن argue أن أي من هذين الطريقتين في التفكير ليست دقيقة، حيث أن الكذب والتوهم يتطلبان بعض الاهتمام بحقيقة تصريحاتهم، في حين أن LLMs ببساطة ليست مصممة لتمثيل الطريقة التي يكون بها العالم بدقة، بل بدلاً من ذلك
تعطي الانطباع بأن هذا هو ما يفعلونه. نقترح أن هذا قريب جدًا على الأقل من طريقة واحدة يتحدث بها فرانكفورت عن الهراء. نحن نميز بين نوعين من الهراء، اللذين نسميهما ‘هراء صلب’ و’هراء ناعم’، حيث يتطلب الأول محاولة نشطة لخداع القارئ أو المستمع بشأن طبيعة المشروع، بينما يتطلب الثاني فقط عدم الاكتراث بالحقائق. نجادل بأنه على الأقل، فإن مخرجات نماذج اللغة الكبيرة مثل ChatGPT هي هراء ناعم: هراء – أي خطاب أو نص يتم إنتاجه دون الاكتراث بصدقه – يتم إنتاجه دون أي نية لخداع الجمهور بشأن موقف المتحدث تجاه الحقيقة. نقترح أيضًا، بشكل أكثر جدلًا، أن ChatGPT قد ينتج بالفعل هراءً صلبًا: إذا نظرنا إليه على أنه يمتلك نوايا (على سبيل المثال، بفضل كيفية تصميمه)، فإن حقيقة أنه مصمم ليعطي انطباعًا بالاهتمام بالحقائق تؤهله كمحاولة لخداع الجمهور بشأن أهدافه أو غاياته أو أجندته. لذا، مع التحذير من أن النوع المحدد من الهراء الذي ينتجه ChatGPT يعتمد على وجهات نظر معينة حول العقل أو المعنى، نستنتج أنه من المناسب التحدث عن النصوص التي ينتجها ChatGPT على أنها هراء، ونشير إلى لماذا يهم أنه – بدلاً من التفكير في ادعاءاته غير الصحيحة كأكاذيب أو هلوسات – نعتبرها هراءً.

تزداد نماذج اللغة الكبيرة كفاءة في إجراء محادثات مقنعة. النموذج الأكثر بروزًا هو ChatGPT من OpenAI، لذا سيكون هو محور تركيزنا؛ ومع ذلك، فإن ما نقوله ينطبق أيضًا على روبوتات الدردشة الأخرى المعتمدة على الشبكات العصبية، بما في ذلك روبوت الدردشة Bard من جوجل، وClaude من AnthropicAI.كلود.إيه.آي), و LLaMa من ميتا. على الرغم من كونها مجرد قطع معقدة من البرمجيات، إلا أن هذه النماذج تبدو بشكل مدهش شبيهة بالبشر عند مناقشة مجموعة واسعة من المواضيع. جرب ذلك بنفسك: يمكن لأي شخص الذهاب إلى واجهة OpenAI وطلب نص طويل؛ عادةً ما ينتج نصًا لا يمكن تمييزه عن نص المتحدث أو الكاتب الإنجليزي العادي. التنوع، الطول، والتشابه مع النصوص التي ينتجها البشر التي يتمتع بها GPT-4 قد أقنعت العديد من المعلقين بأن هذا الروبوت الدردشة قد نجح أخيرًا: أن هذه هي الذكاء الاصطناعي الحقيقي (بدلاً من كونه مجرد اسمي)، خطوة أقرب إلى عقل شبيه بالبشر موجود في دماغ سيليكون.

ومع ذلك، فإن نماذج اللغة الكبيرة، وغيرها من نماذج الذكاء الاصطناعي مثل ChatGPT، تقوم بعمل أقل بكثير مما تفعله العقول البشرية، وليس من الواضح ما إذا كانت تقوم بما تفعله بنفس الطريقة التي نفعلها. الفرق الأكثر وضوحًا بين نموذج اللغة الكبير والعقل البشري يتعلق بأهداف النظام. لدى البشر مجموعة متنوعة من الأهداف والسلوكيات، معظمها غير لغوي: لدينا رغبات جسدية أساسية، مثل الطعام والاحتياجات الأساسية؛ لدينا أهداف اجتماعية وعلاقات؛ لدينا مشاريع؛ ونخلق أشياء مادية.
الأشياء. تهدف نماذج اللغة الكبيرة ببساطة إلى تقليد الكلام أو الكتابة البشرية. وهذا يعني أن هدفها الأساسي، بقدر ما يكون لها هدف، هو إنتاج نص يشبه النص البشري. وتقوم بذلك من خلال تقدير احتمال ظهور كلمة معينة في المرة التالية، بناءً على النص الذي جاء من قبل.

تقوم الآلة بذلك من خلال بناء نموذج إحصائي ضخم، يعتمد على كميات كبيرة من النصوص، معظمها مأخوذ من الإنترنت. يتم ذلك مع القليل من المدخلات من الباحثين البشريين أو مصممي النظام؛ بل، يتم تصميم النموذج من خلال إنشاء عدد كبير من العقد، التي تعمل كدوال احتمالية لظهور كلمة في نص معين بناءً على سياقها والنص الذي جاء قبلها. بدلاً من إدخال هذه الدوال الاحتمالية يدويًا، يقوم الباحثون بتغذية النظام بكميات كبيرة من النصوص وتدريبه من خلال جعله يتنبأ بالكلمة التالية في بيانات التدريب هذه. ثم يقدمون له ملاحظات إيجابية أو سلبية اعتمادًا على ما إذا كان يتنبأ بشكل صحيح. مع وجود نص كافٍ، يمكن للآلة بناء نموذج إحصائي يعطي احتمال الكلمة التالية في كتلة من النص بمفردها.

هذا النموذج يربط مع كل كلمة متجهًا يحدد موقعها في فضاء مجرد عالي الأبعاد، بالقرب من كلمات أخرى تحدث في سياقات مشابهة وبعيدًا عن تلك التي لا تحدث. عند إنتاج النص، ينظر إلى سلسلة الكلمات السابقة ويقوم بإنشاء متجه مختلف، يحدد محيط الكلمة – سياقها – بالقرب من تلك التي تحدث في سياق كلمات مشابهة. يمكننا التفكير في هذه بشكل حدسي كممثلة لمعنى الكلمة ومحتوى سياقها. ولكن نظرًا لأن هذه الفضاءات تم إنشاؤها باستخدام التعلم الآلي من خلال تحليل إحصائي متكرر لكميات كبيرة من النص، لا يمكننا معرفة أنواع التشابه التي تمثلها أبعاد هذا الفضاء المتجه العالي الأبعاد. ومن ثم، لا نعرف مدى تشابهها مع ما نفكر فيه كمعنى أو سياق. ثم يأخذ النموذج هذين المتجهين وينتج مجموعة من الاحتمالات للكلمة التالية؛ يختار ويضع واحدة من الأكثر احتمالًا – على الرغم من أنها ليست دائمًا الأكثر احتمالًا. السماح للنموذج بالاختيار عشوائيًا بين الكلمات الأكثر احتمالًا ينتج نصًا أكثر إبداعًا وشبيهًا بالبشر؛ المعامل الذي يتحكم في ذلك يسمى ‘درجة حرارة’ النموذج وزيادة درجة حرارة النموذج تجعلها تبدو أكثر إبداعًا وأكثر احتمالًا لإنتاج الأكاذيب. ثم يكرر النظام العملية حتى يحصل على استجابة كاملة وقابلة للتعرف على أي طلب تم إعطاؤه.

نظرًا لهذه العملية، ليس من المستغرب أن تواجه نماذج اللغة الكبيرة مشكلة مع الحقيقة. هدفها هو تقديم استجابة تبدو طبيعية لطلب، وليس نقل معلومات مفيدة لمتحدثها. الأمثلة على ذلك عديدة بالفعل، على سبيل المثال، أعد محامٍ مؤخرًا ملخصه باستخدام ChatGPT واكتشف مع أسفه أن معظم القضايا المذكورة لم تكن حقيقية (Weiser، 2023)؛
كما قال القاضي ب. كيفن كاستل، أنتج ChatGPT نصًا مليئًا بـ “قرارات قضائية مزيفة، مع اقتباسات مزيفة واستشهادات داخلية مزيفة”. وبالمثل، عندما اختبر باحثو علوم الكمبيوتر قدرة ChatGPT على المساعدة في الكتابة الأكاديمية، وجدوا أنه قادر على إنتاج نص شامل بشكل مدهش وأحيانًا حتى دقيق حول المواضيع البيولوجية عند إعطائه الطلبات الصحيحة. ولكن عندما طُلب منه تقديم أدلة على ادعاءاته، “قدم خمسة مراجع تعود إلى أوائل العقد الأول من القرن الحادي والعشرين. لم توجد أي من عناوين الأوراق المقدمة، وكانت جميع معرفات PubMed (PMIDs) المقدمة لأوراق غير ذات صلة” (Alkaissi و McFarland، 2023). يمكن أن تتراكم هذه الأخطاء: عندما يُطلب من نموذج اللغة تقديم دليل على أو تفسير أعمق لادعاء خاطئ، نادرًا ما يتحقق من نفسه؛ بدلاً من ذلك، ينتج بثقة مزيدًا من الادعاءات الكاذبة ولكنها تبدو طبيعية (Zhang et al. 2023). تُعرف مشكلة الدقة لنماذج اللغة الكبيرة والذكاء الاصطناعي التوليدي الآخر غالبًا بمشكلة “هلوسة الذكاء الاصطناعي”: يبدو أن الدردشة تتخيل مصادر وحقائق غير موجودة. تُعرف هذه الأخطاء بـ “الهلوسات” في كل من السياقات التقنية (OpenAI، 2023) والشعبية (Weise & Metz، 2023).

هذه الأخطاء تعتبر بسيطة جدًا إذا كانت النقطة الوحيدة من الدردشة هي تقليد الكلام أو التواصل البشري. لكن الشركات التي تصمم وتستخدم هذه الروبوتات لديها خطط أكبر: يمكن أن تحل الدردشة محل بحث Google أو Bing بواجهة محادثة أكثر سهولة للمستخدم (Shah & Bender، 2022؛ Zhu et al.، 2023)، أو تساعد الأطباء أو المعالجين في السياقات الطبية (Lysandrou، 2023). في هذه الحالات، تعتبر الدقة مهمة وتمثل الأخطاء مشكلة خطيرة.

إحدى الحلول المقترحة هي ربط الدردشة بنوع من قاعدة البيانات أو محرك البحث أو البرنامج الحسابي الذي يمكنه الإجابة على الأسئلة التي يخطئ فيها نموذج اللغة الكبير (Zhu et al.، 2023). للأسف، هذا لا يعمل بشكل جيد أيضًا. على سبيل المثال، عندما يتم ربط ChatGPT بـ Wolfram Alpha، وهو برنامج رياضي قوي، يتحسن بشكل معتدل في الإجابة على الأسئلة الرياضية البسيطة. لكنه لا يزال يخطئ بانتظام، خاصة في الأسئلة التي تتطلب تفكيرًا متعدد المراحل (Davis & Aaronson، 2023). وعندما يتم ربطه بمحركات البحث أو قواعد البيانات الأخرى، لا تزال النماذج عرضة لتقديم معلومات مزيفة ما لم تُعطَ تعليمات محددة جدًا – وحتى في هذه الحالة، لا تكون الأمور مثالية (Lysandrou، 2023). لدى OpenAI خطط لتصحيح ذلك من خلال تدريب النموذج على القيام بالتفكير خطوة بخطوة (Lightman et al.، 2023) ولكن هذا يتطلب موارد كبيرة، وهناك سبب للشك في أنه سيحل المشكلة تمامًا – ولا يتضح أن النتيجة ستكون نموذج لغة كبير، بدلاً من شكل أوسع من الذكاء الاصطناعي.

الحلول مثل ربط نموذج اللغة الكبير بقاعدة بيانات لا تعمل لأنه، إذا تم تدريب النماذج على قاعدة البيانات، فإن الكلمات في قاعدة البيانات تؤثر على احتمال أن تضيف الدردشة كلمة أو أخرى إلى السطر النصي الذي تقوم
بتوليده. لكن هذا سيجعلها تنتج نصًا مشابهًا للنص في قاعدة البيانات؛ القيام بذلك سيجعلها أكثر احتمالًا لإعادة إنتاج المعلومات في قاعدة البيانات ولكن لا يضمن بأي حال من الأحوال أنها ستفعل ذلك.

من ناحية أخرى، يمكن أيضًا ربط نموذج اللغة الكبير بقاعدة البيانات من خلال السماح له بالتشاور مع قاعدة البيانات، بطريقة مشابهة للطريقة التي يتشاور بها أو يتحدث مع متحدثيه البشريين. بهذه الطريقة، يمكنه استخدام مخرجات قاعدة البيانات كنص يرد عليه ويبني عليه. إليك إحدى الطرق التي يمكن أن تعمل بها: عندما يسأل متحدث بشري نموذج اللغة سؤالًا، يمكنه بعد ذلك ترجمة السؤال إلى استعلام لقاعدة البيانات. ثم، يأخذ استجابة قاعدة البيانات كمدخل ويبني نصًا منها ليقدمه مرة أخرى للسائل البشري. لكن هذا يمكن أن يفشل أيضًا، حيث قد تسأل الدردشة قاعدة البيانات السؤال الخاطئ، أو تسيء تفسير إجابتها (Davis & Aaronson، 2023). “غالبًا ما يكافح GPT-4 لصياغة مشكلة بطريقة يمكن أن تقبلها Wolfram Alpha أو تنتج مخرجات مفيدة.” هذا ليس غير مرتبط بحقيقة أنه عندما يولد نموذج اللغة استعلامًا لقاعدة البيانات أو وحدة حسابية، فإنه يفعل ذلك بنفس الطريقة التي يولد بها نصًا للبشر: من خلال تقدير احتمال أن “يبدو” بعض المخرجات كنوع من الأشياء التي ستتوافق معها قاعدة البيانات.

قد يقلق المرء من أن هذه الطرق الفاشلة لتحسين دقة الدردشة مرتبطة بالتشبيه غير المناسب لهلوسات الذكاء الاصطناعي. إذا كان الذكاء الاصطناعي يسيء إدراك أو يتخيل مصادر، فإن إحدى طرق تصحيح ذلك ستكون بربطه بمصادر حقيقية بدلاً من المصادر المتخيلة. لكن المحاولات للقيام بذلك قد فشلت.

المشكلة هنا ليست أن نماذج اللغة الكبيرة تتخيل أو تكذب أو تسيء تمثيل العالم بطريقة ما. بل إنها ليست مصممة لتمثيل العالم على الإطلاق؛ بدلاً من ذلك، فهي مصممة لنقل خطوط نص مقنعة. لذا عندما يتم تزويدها بقاعدة بيانات من نوع ما، فإنها تستخدم ذلك، بطريقة أو بأخرى، لجعل استجابتها أكثر إقناعًا. لكنها ليست في أي طريقة حقيقية تحاول نقل أو نقل المعلومات في قاعدة البيانات. كما قال شيراغ شاه وإميلي بيندر: “لا شيء في تصميم نماذج اللغة (التي تتمثل مهمتها التدريبية في توقع الكلمات بناءً على السياق) مصمم فعليًا للتعامل مع الحساب، أو التفكير الزمني، وما إلى ذلك. إلى الحد الذي تحصل فيه أحيانًا على الإجابة الصحيحة لمثل هذه الأسئلة، فإن ذلك فقط لأنهم حدثوا عن طريق الصدفة بتوليف سلاسل ذات صلة مما كان في بيانات تدريبهم. لا يوجد تفكير متضمن […] وبالمثل، فإن نماذج اللغة عرضة لاختلاق الأشياء […] لأنها ليست مصممة للتعبير عن مجموعة أساسية من المعلومات باللغة الطبيعية؛ إنهم فقط يتلاعبون بشكل اللغة” (Shah & Bender، 2022). هذه النماذج ليست مصممة لنقل المعلومات، لذا لا ينبغي أن نتفاجأ كثيرًا عندما تتبين أن ادعاءاتهم خاطئة.

تسمى العديد من المناقشات الشائعة حول ChatGPT بياناته الكاذبة ‘هلوسات’. قد يعتقد المرء أيضًا أن هذه الأكاذيب. ومع ذلك، نحن نرى أن هذه ليست الطريقة الصحيحة للتفكير في الأمر. سنجادل بأن هذه الأكاذيب ليست هلوسات لاحقًا. في الوقت الحالي، سنناقش لماذا هذه الأكاذيب ليست أكاذيب بل هراء.

موضوع الكذب له أدب فلسفي غني. في كتابه ‘الكذب’، ميز القديس أوغسطين سبعة أنواع من الأكاذيب، وتغيرت وجهة نظره على مدار حياته. في مرحلة ما، دافع عن موقف مفاده أن أي حالة من قول عبارة خاطئة عن علم تُعتبر كذبة، بحيث حتى النكات التي تحتوي على مقولات خاطئة، مثل-

لهذه الأغراض، ستكفي هذه التعريف. الكذب عادة ما يُنظر إليه بشكل سلبي. لكن هناك أفعال من الشهادة المضللة التي يمكن انتقادها، والتي لا تندرج تحت مظلة الكذب. تشمل هذه نشر الشائعات غير الصحيحة، التي يعتقد المرء خطأً، ولكن بشكل مذنب، أنها صحيحة. فئة أخرى من الشهادات المضللة التي حظيت باهتمام خاص من الفلاسفة هي ما يُعرف بالهراء. تم تحليل هذا المفهوم اليومي وإدخاله في المعجم الفلسفي بواسطة هاري فرانكفورت.

يعتبر فرانكفورت الهراء ليس مميزًا بنية الخداع، بل بلامبالاة متهورة تجاه الحقيقة. طالب يحاول أن يبدو على دراية دون

بعد القيام بالقراءة، مرشح سياسي يقول أشياء لأنها تبدو جيدة للناخبين المحتملين، وهواة يحاولون نسج قصة مثيرة: لا أحد من هؤلاء الأشخاص يحاول الخداع، لكنهم أيضًا لا يحاولون نقل الحقائق. بالنسبة لفرانكفورت، هم يتحدثون هراء.

مثل “كذبة”، “هراء” هو اسم وفعل في آن واحد: يمكن أن تكون العبارة المنطوقة كذبة أو حالة من الهراء، كما يمكن أن يكون فعل إنتاج هذه العبارات. لكي تُصنف العبارة على أنها هراء، يجب ألا تكون مصحوبة بالنوايا الصريحة التي يمتلكها الشخص عند الكذب، أي، لإحداث اعتقاد زائف لدى السامع. بالطبع، يجب أيضًا ألا تكون مصحوبة بالنوايا التي تميز العبارة الصادقة. حتى الآن، هذه القصة سلبية تمامًا. هل يجب أن تُظهر أي نوايا إيجابية في المتحدث؟

خلال معظم مناقشة فرانكفورت، كانت توصيفاته للهراء سلبية. يشير إلى أن الهراء يتطلب “عدم الاقتناع” من المتحدث حول ما هي الحقيقة (2005: 55)، وأن المتحدث بالهراء “لا يولى اهتمامًا” للحقيقة (2005: 61) وأنه “قد لا يخدعنا، أو حتى ينوي القيام بذلك، سواء بشأن الحقائق أو ما يعتقد أنه الحقائق” (2005: 54). لاحقًا، يصف “الميزة المحددة” للهراء بأنها “عدم الاهتمام بالحقيقة، أو اللامبالاة بكيفية الأمور كما هي حقًا [تأكيدنا]” (2002: 340). هذه تشير إلى صورة سلبية؛ أنه لكي يتم تصنيف مخرج ما على أنه هراء، يحتاج فقط إلى أن يفتقر إلى علاقة معينة بالحقيقة.

ومع ذلك، في بعض الأماكن، يتم تقديم نية إيجابية. يقول فرانكفورت ما أحمق…
“…ما يحاول بالضرورة خداعنا بشأنه هو مشروعه. السمة المميزة الوحيدة التي لا غنى عنها هي أنه بطريقة معينة يسيء تمثيل ما يقوم به” (2005: 54).

هذا أمر مفاجئ إلى حد ما. إنه يقيد ما يُعتبر هراءً بالتصريحات المصحوبة بخداع من مستوى أعلى. ومع ذلك، يبدو أن بعض أمثلة فرانكفورت تفتقر إلى هذه الميزة. عندما تصف فانيا باسكال حالتها غير الصحية بأنها “تشعر وكأنها كلب تم دهسه للتو” لصديقها فيتجنشتاين، فإنه من الصعب تصديق أنها كانت تنوي خداعه بشأن مدى معرفتها بكيفية شعور الكلاب التي تم دهسها. ونظرًا لأن الشروط المتعلقة بالهراء تُوصف عادةً بأنها سلبية، قد نتساءل عما إذا كانت الشرط الإيجابي ضرورية حقًا.

هل يجب أن تُعتبر الأقوال التي لا تهدف إلى الخداع هراءً؟ أحد الأسباب المؤيدة لتوسيع التعريف، أو احتضان تعددية الهراء، هو ما أشار إليه فرانكفورت حول مخاطر الهراء.
على النقيض [من الخطاب غير المفهوم ببساطة]، فإن اللامبالاة بالحقيقة خطيرة للغاية. سلوك الحياة المتحضرة، وحيوية المؤسسات التي هي
“لا غنى عنه، يعتمد بشكل أساسي على الاحترام للتمييز بين الحقيقي والزائف. بقدر ما يتم تقويض سلطة هذا التمييز من خلال انتشار الهراء ومن خلال الموقف السطحي الذي يقبل انتشار الهراء كشيء غير ضار، يتم إهدار كنز إنساني لا غنى عنه” (2002: 343).

تبدو هذه المخاطر واضحة بغض النظر عما إذا كانت هناك نية للخداع بشأن المشروع الذي يشارك فيه المتحدث. قارن بين المخادع الذي يهدف إلى تضليلنا بشأن كونه في مجال الحقيقة، وبين شخص لا يحمل مثل هذه النية، ولكنه يتحدث فقط من أجل الحديث (دون اهتمام، أو في الواقع أي تفكير، حول قيم الحقيقة في أقواله).

أحد أمثلة فرانكفورت على الهراء يبدو أنه يتم التقاطه بشكل أفضل من خلال التعريف الأوسع. يعتبر صناعة الإعلانات، التي “تفيض بأمثلة من الهراء غير المسبوق لدرجة أنها تعتبر من بين أكثر النماذج الكلاسيكية التي لا جدال فيها للمفهوم” (2005:22). ومع ذلك، يبدو أنه يسيء تفسير العديد من المعلنين لتصوير أهدافهم على أنها تضليل حول أجنداتهم. من المتوقع أن يقولوا أشياء مضللة. يناقش فرانكفورت إعلانات مارلبورو التي تحمل الرسالة بأن المدخنين شجعان مثل رعاة البقر (2002: 341). هل من المعقول أن نقترح أن المعلنين تظاهروا بالاعتقاد في ذلك؟

تسمح فرانكفورت بوجود أنواع متعددة من الهراء (2002: 340). استنادًا إلى هذا الاقتراح، نقترح تصور الهراء كجنس، وهراء فرانكفورت المتعمد كنوع واحد ضمن هذا الجنس. قد تشمل الأنواع الأخرى تلك التي ينتجها المعلن، الذي يتوقع أن لا يصدق أحد أقواله. أو شخص ليس لديه نية واحدة أو أخرى بشأن ما إذا كان يضلل جمهوره. لهذا الغرض، اعتبر التمييز التالي:

هراء (عام) أي قول يتم إنتاجه حيث يكون المتحدث غير مبالٍ بحقيقة القول.

هراء صعب هراء يُنتج بنية تضليل الجمهور حول أجندة المتحدث.

هراء ناعم هراء يُنتج دون نية لخداع السامع بشأن أجندة المتحدث.

المفهوم العام للهراء مفيد: في بعض الأحيان، قد نكون واثقين من أن ما قيل كان إما هراءً خفيفًا أو هراءً شديدًا، لكننا قد نكون غير واضحين بشأن أيهما، نظرًا لجهلنا برغبات المتحدث العليا. في هذه الحالة، يمكننا أن نقول هراء.

الحساب الصريح الخاص بفرانكفورت، مع المتطلبات الإيجابية حول نوايا المنتج، هو هراء صريح، في حين أن الهراء الناعم يبدو أنه يصف بعض أمثلة فرانكفورت، مثل محادثة باسكال مع فيتجنشتاين، أو عمل وكالات الإعلان. قد يكون من المفيد وضع هذه التمييزات في الأدبيات الموجودة. من وجهة نظرنا، يتماشى الهراء الصريح بشكل وثيق مع كاسام (2019)، والحساب الإيجابي لفرانكفورت، وذلك لأن جميع هذه الآراء تعتقد أنه يجب أن تكون هناك نية معينة حاضرة، بدلاً من أن تكون غائبة فقط، لكي تكون العبارة هراء: نوع من “اللامبالاة المعرفية” أو الموقف الخبيث تجاه الحقيقة وفقًا لرؤية كاسام، و(كما رأينا) نية لتضليل السامع حول أجندة المتحدث وفقًا لرؤية فرانكفورت. في قسمنا الأخير، نعتبر ما إذا كان ChatGPT قد يكون هراءً صريحًا، ولكن من المهم أن نلاحظ أنه يبدو لنا أن الهراء الصريح، مثل الحسابين المذكورين هنا، يتطلب من المرء اتخاذ موقف حول ما إذا كانت نماذج اللغة الكبيرة يمكن أن تكون وكلاء، وبالتالي يأتي مع أعباء جدلية إضافية.

الهراء اللين، بالمقابل، يلتقط فقط المتطلب السلبي لفرانكفورت – أي اللامبالاة تجاه الحقيقة التي صنفناها كتعريف للهراء (بشكل عام) – للأسباب المذكورة أعلاه. كما نجادل، فإن ChatGPT هو على الأقل هراء لين أو آلة هراء، لأنه إذا لم يكن وكيلًا، فلا يمكنه أن يحمل أي مواقف تجاه الحقيقة أو تجاه خداع السامعين بشأن أجندته (أو، ربما بشكل أكثر دقة، أجندة مستخدميه).

من المهم أن نلاحظ أن حتى هذا النوع الأكثر تواضعًا من الهراء سيكون له آثار ضارة تثير قلق فرانكفورت: كما يقول، “اللامبالاة بالحقيقة خطيرة للغاية… من خلال الموقف السخيف بلا تفكير”.

الذي يقبل انتشار الهراء على أنه غير ضار، يتم إهدار كنز إنساني لا غنى عنه” (2002، ص 343). من خلال التعامل مع ChatGPT ونماذج اللغة الكبيرة المماثلة على أنها معنية بأي شكل من الأشكال بالحقائق، أو من خلال التحدث بشكل مجازي كما لو كانت ترتكب أخطاء أو تعاني من “هلوسات” في سعيها وراء ادعاءات صحيحة، نحن نعرض أنفسنا بالضبط لهذا القبول بالهراء، وهذا الإهدار للمعنى – لذا، بغض النظر عما إذا كان ChatGPT مُدلسًا بشكل صارم أو غير صارم، فإنه ينتج الهراء، وهذا مهم.

مع هذه التمييز في اليد، نحن الآن في وضع يمكننا من النظر في قلق من النوع التالي: هل ChatGPT يقوم بالهراء الصريح، أم الهراء الناعم، أم لا هذا ولا ذاك؟ سنجادل، أولاً، بأن ChatGPT، وغيرها من نماذج اللغة الكبيرة، هي بوضوح هراء ناعم. ومع ذلك، فإن مسألة ما إذا كانت هذه الدردشات تمثل هراءً صريحاً هي مسألة أكثر تعقيداً، وتعتمد على عدد من الأسئلة المعقدة المتعلقة بما إذا كان يمكن نسب النوايا إلى ChatGPT. ثم نستعرض بعض الطرق التي يمكن من خلالها فهم ChatGPT على أنه يمتلك النوايا المطلوبة.

نحن غير واثقين من أن بإمكاننا وصف الدردشات الآلية بأنها تمتلك أي نوايا على الإطلاق، وسنتناول هذا بمزيد من العمق في القسم التالي. لكننا متأكدون تمامًا من أن ChatGPT لا ينوي نقل الحقائق، وبالتالي فهو يتصف بالتحايل اللين. يمكننا تقديم حجة سهلة من خلال الحالات لذلك. إما أن يكون لدى ChatGPT نوايا أو لا. إذا لم يكن لدى ChatGPT أي نوايا على الإطلاق، فإنه ببساطة لا ينوي نقل الحقائق. لذا، فهو غير مبالٍ بقيمة الحقيقة في أقواله وبالتالي فهو يتصف بالتحايل اللين.

ماذا لو كانت لدى ChatGPT نوايا؟ في وقت سابق، جادلنا بأن ChatGPT ليس مصممًا لإنتاج عبارات صحيحة؛ بل هو مصمم لإنتاج نصوص لا يمكن تمييزها عن النصوص التي ينتجها البشر. يهدف إلى أن يكون مقنعًا بدلاً من أن يكون دقيقًا. تكشف البنية الأساسية لهذه النماذج عن ذلك: فهي مصممة لتقديم استمرارية محتملة لسلسلة من النصوص. من المعقول أن نفترض أن إحدى طرق كونها استمرارية محتملة لنص ما هي أن تكون صحيحة؛ إذا كان البشر أكثر دقة من الصدفة بشكل عام، فإن الجمل الصحيحة ستكون أكثر احتمالًا من الجمل الخاطئة. قد يجعل هذا chatbot أكثر دقة من الصدفة، لكنه لا يمنح chatbot أي نية لنقل الحقائق. هذا مشابه للحالات القياسية من المتحدثين غير الجادين، الذين لا يهتمون ما إذا كانت عباراتهم صحيحة؛ غالبًا ما تحتوي الأكاذيب الجيدة على بعض درجات من الحقيقة، وهذا جزء مما يجعلها مقنعة. يمكن للمتحدث غير الجاد أن يكون أكثر دقة من الصدفة بينما لا يزال غير مبالٍ بحقيقة عباراتهم. نستنتج أنه، حتى لو كانت
يمكن وصف chatbot بأنه يمتلك نوايا، لكنه غير مبالٍ بما إذا كانت تصريحاته صحيحة. إنه لا يهتم ولا يمكنه أن يهتم بحقيقة مخرجاته.

من المفترض أن ChatGPT لا يمكنه أن يهتم بنقل أو إخفاء الحقيقة، لأنه لا يمكنه أن يهتم بأي شيء. لذا، كمسألة ضرورة مفاهيمية، يفي بأحد معايير فرانكفورت للهراء. ومع ذلك، هذا لا يأخذنا بعيدًا – فالصخرة لا يمكنها أن تهتم بأي شيء أيضًا، وسيكون من السخيف تمامًا أن نقترح أن هذا يعني أن الصخور هي كاذبة. وبالمثل، يمكن أن تحتوي الكتب على هراء، لكنها ليست هراءً في حد ذاتها. على عكس الصخور – أو حتى الكتب – فإن ChatGPT نفسه ينتج نصوصًا، ويبدو أنه يقوم بأفعال خطابية بشكل مستقل عن مستخدميه ومصمميه. ورغم وجود خلاف كبير حول ما إذا كان لدى ChatGPT نوايا، إلا أنه يتفق على نطاق واسع أن الجمل التي ينتجها تكون (عادةً) ذات معنى (انظر على سبيل المثال مانديليكرن ولينزن 2023).

يعمل ChatGPT ليس لنقل الحقيقة أو الزيف، بل لإقناع القارئ – لاستخدام تعبير كولبرت المناسب – بصحة بيانه، وقد تم تصميم ChatGPT بطريقة تجعل محاولات التلاعب فعالة (بطريقة لا تكون بها الأقلام والقواميس، وما إلى ذلك). لذا، يبدو أنه على الأقل، يعتبر ChatGPT متلاعبًا خفيفًا: إذا اعتبرنا أنه لا يمتلك نوايا، فلا توجد محاولة لتضليل حول الموقف تجاه الحقيقة، لكنه مع ذلك مشغول بإنتاج عبارات تبدو كما لو كانت صحيحة. نستنتج أن ChatGPT متلاعب خفيف.

لكن هل يعتبر ChatGPT مُدلسًا صعبًا؟ قد يعترض ناقد، أنه من غير المناسب ببساطة التفكير في برامج مثل ChatGPT على أنها مُدلسة صعبة، لأن (1) ليست وكيلًا، أو بشكل مرتبط، (2) لا تنوي ولا يمكنها أن تنوي أي شيء على الإطلاق.

نعتقد أن هذا سريع جداً. أولاً، سواء كان لدى ChatGPT وكالة أم لا، فإن منشئيه ومستخدميه لديهم. وما ينتجونه به، سنجادل، هو هراء. ثانياً، سنجادل أنه، بغض النظر عما إذا كان لديه وكالة، فإنه يمتلك وظيفة؛ هذه الوظيفة تعطيه أهدافاً مميزة، وربما حتى نوايا، تتماشى مع تعريفنا للهراء الصعب.

قبل الانتقال، يجب أن نقول ما نعنيه عندما نسأل عما إذا كان ChatGPT وكيلًا. لأغراض هذه الورقة، السؤال المركزي هو ما إذا كان ChatGPT لديه

النيات أو المعتقدات. هل تهدف إلى الخداع؟ هل يمكن، بمعنى حرفي، أن يُقال إنها تمتلك أهدافًا أو غايات؟ إذا كان الأمر كذلك، هل تهدف إلى خداعنا بشأن محتوى أقوالها، أم أن هدفها مجرد الظهور كمتحدث كفء؟ هل لديها معتقدات – حالات تمثيلية داخلية تهدف إلى تتبع الحقيقة؟ إذا كان الأمر كذلك، هل تتطابق أقوالها مع تلك المعتقدات (وفي هذه الحالة قد تكون بياناتها الكاذبة شيئًا مثل الهلوسات) أم أن أقوالها لا تتطابق مع المعتقدات – وفي هذه الحالة من المحتمل أن تكون إما أكاذيب أو هراء؟ سننظر في هذه الأسئلة بمزيد من العمق أدناه.

هناك جوانب أخرى مهمة فلسفياً للوكالة لن نأخذها بعين الاعتبار. لن نبحث فيما إذا كان ChatGPT يتخذ قرارات، أو لديه أو يفتقر إلى الاستقلالية، أو واعٍ؛ كما أننا لن نهتم بما إذا كان ChatGPT مسؤولاً أخلاقياً عن تصريحاته أو أفعاله (إذا كان لديه أي منها).

سن argue أن حتى لو لم يكن ChatGPT، بحد ذاته، مُدلسًا صريحًا، فإنه مع ذلك آلة للدجل. المدلس هو الشخص الذي يستخدمه، لأنه (1) لا يهتم بصدق ما يقوله، (2) يريد من القارئ أن يصدق ما تنتجه التطبيق. وفقًا لرأي فرانكفورت، الدجل هو دجل حتى لو تم قوله دون نية للدجل: إذا كان شيء ما دجلًا من البداية، فإن تكراره “هو دجل كما هو [أو هي] يكرره، بقدر ما تم إنشاؤه من قبل شخص لم يكن مهتمًا بما إذا كان ما يقوله صحيحًا أم خاطئًا” (2022، ص340).

هذا يعيد السؤال إلى من هو المنشئ، على الرغم من ذلك: خذ مثال المقالة الطلابية التي أنشأها ChatGPT (التي تزداد تكرارًا). إذا كان الطالب يهتم بالدقة والحقائق، فلن يستخدم برنامجًا يشتهر باختلاق المصادر من العدم. ومع ذلك، إذا أعطوه توجيهًا لإنتاج مقال عن فلسفة العلوم وأنتج وصفة لعمل تارت باكويل، فلن يكون له التأثير المطلوب. لذا، يبدو أن فكرة ChatGPT كآلة للهراء صحيحة، لكنها أيضًا تبدو وكأنها تفتقد شيئًا: يمكن لشخص ما إنتاج هراء باستخدام صوته، أو قلم، أو معالج كلمات، بعد كل شيء، لكننا لا نفكر عادة في هذه الأشياء كآلات للهراء، أو في إنتاج هراء بطريقة مثيرة للاهتمام. بالمقابل، يبدو أن هناك شيئًا خاصًا بـ ChatGPT، يتعلق بطريقة عمله، مما يجعله أكثر من مجرد أداة، ويقترح أنه يمكن التفكير فيه بشكل مناسب كمنشئ للهراء. باختصار، لا يبدو من الصحيح تمامًا التفكير في ChatGPT كأنه مشابه لقلم (يمكن استخدامه للهراء، لكنه لا يمكن أن ينتج شيئًا دون عمل موجه بالكامل من قبل الوكيل) ولا كإنسان يهراء (يمكنه أن ينوي وينتج هراء بمبادرته الخاصة).

فكرة أن ChatGPT هو آلة هراء هي فكرة مفيدة عندما تُجمع مع التمييز بين الهراء الصلب والهراء الناعم. لنسترجع مرة أخرى مثال ورقة الطالب المشبوهة: لقد قمنا جميعًا، أعتقد، بتقييم أوراق حيث كان من الواضح أنه تم استخدام قاموس أو معجم بطريقة تفتقر تمامًا إلى الدقة؛ حيث تُستخدم كلمات بقيمة خمسين دولارًا ليس لأنها الخيار الأفضل، ولا حتى لأنها تخدم لتعتيم الحقيقة، ولكن ببساطة لأن المؤلف يريد أن ينقل انطباعًا عن الفهم والتعقيد. سيكون من غير المناسب أن نطلق على القاموس لقب فنان الهراء في هذه الحالة؛ لكن لن يكون من غير المناسب أن نطلق على النتيجة لقب هراء. لذا ربما ينبغي علينا، بدقة، أن نقول ليس أن ChatGPT هو هراء ولكن أنه ينتج هراء بطريقة تتجاوز كونه مجرد ناقل للهراء: فهو لا يهتم ولا يمكنه أن يهتم بحقيقة مخرجاته، والشخص الذي يستخدمه لا يفعل ذلك لنقل الحقيقة أو الزيف ولكن لإقناع السامع بأن النص كُتب بواسطة وكيل مهتم ومتابع.

هل يعتبر ChatGPT نفسه مخادعًا صعبًا؟ إذا كان الأمر كذلك، فلا بد أن لديه نوايا أو أهداف: يجب أن ينوي خداع مستمعه، ليس بشأن محتوى تصريحاته، ولكن بدلاً من ذلك بشأن أجندته. تذكر أن المخادعين الصعبين، مثل الطالب غير المستعد أو السياسي غير الكفء، لا يهتمون ما إذا كانت تصريحاتهم صحيحة أم خاطئة، ولكنهم ينون خداع جمهورهم بشأن ما يفعلونه. إذا كان الأمر كذلك، فلا بد أن لديه نوايا أو أهداف: يجب أن ينوي خداع مستمعه، ليس بشأن محتوى تصريحاته، ولكن بدلاً من ذلك بشأن أجندته. نحن لا نعتقد أن ChatGPT هو وكيل أو لديه نوايا بنفس الطريقة التي يمتلكها البشر (انظر ليفينشتاين وهيرمان (قيد النشر) لمناقشة القضايا هنا). ولكن عند التحدث بشكل غير دقيق، من السهل بشكل ملحوظ استخدام لغة تعبر عن النية لوصفه: ماذا يحاول ChatGPT أن يفعل؟ هل يهتم ما إذا كان النص الذي ينتجه دقيقًا؟ سنجادل بأن هناك معنى قويًا، على الرغم من أنه قد لا يكون حرفيًا، حيث ينوي ChatGPT خداعنا بشأن أجندته: هدفه ليس إقناعنا بمحتوى تصريحاته، ولكن بدلاً من ذلك تصوير نفسه كـ ‘محادث عادي’ مثلنا. بالمقابل، لا يوجد معنى قوي مماثل حيث يقوم ChatGPT بالتخيل أو الكذب أو الهلوسة.

ستكون قضيتنا بسيطة: الوظيفة الأساسية لـ ChatGPT هي تقليد الكلام البشري. إذا كانت هذه الوظيفة مقصودة، فهي بالضبط نوع النية المطلوبة لكي يكون الوكيل مُخادعًا بارعًا: في أداء هذه الوظيفة، يحاول ChatGPT خداع الجمهور بشأن أجندته. على وجه التحديد، يحاول أن يبدو كشيء له أجندة، بينما في كثير من الحالات لا يمتلك واحدة. سنناقش هنا ما إذا كانت هذه الوظيفة تؤدي إلى، أو من الأفضل اعتبارها، نية. في القسم التالي، سنجادل بأن ChatGPT ليس لديه
وظيفة أو نية مشابهة تبرر تسميته بمخترع القصص أو الكاذب أو الهلوسة.

كيف نعرف أن ChatGPT يعمل ككاذب بارع؟ البرامج مثل ChatGPT مصممة لأداء مهمة، وهذه المهمة تشبه بشكل ملحوظ ما يعتقده فرانكفورت أن الكاذب ينوي القيام به، وهو خداع القارئ حول طبيعة المشروع – في هذه الحالة، خداع القارئ ليعتقد أنه يقرأ شيئًا تم إنتاجه بواسطة كائن لديه نوايا ومعتقدات.

تم تطوير خوارزمية إنتاج النصوص في ChatGPT وصقلها في عملية مشابهة جدًا للاختيار الاصطناعي. تمتلك الوظائف وعمليات الاختيار نفس النوع من التوجيه الذي تمتلكه النوايا البشرية؛ وقد ربط الفلاسفة الطبيعيون للعقل منذ فترة طويلة بينهما وبين النية في الحالات العقلية البشرية والحيوانية. إذا تم فهم ChatGPT على أنه يمتلك نوايا أو حالات شبيهة بالنوايا بهذه الطريقة، فإن نيته هي أن يقدم نفسه بطريقة معينة (كوكيل محادثة أو محاور) بدلاً من تمثيل الحقائق ونقلها. بعبارة أخرى، لديه النوايا التي نربطها بالحديث الفارغ الصعب.

يمكننا التفكير في ChatGPT على أنه يمتلك نوايا من خلال اعتماد موقف دينيت القائم على النية تجاهه. يصف دينيت (1987: 17) موقف النية كطريقة للتنبؤ بسلوك الأنظمة التي لا نعرف غرضها بالفعل.
لتبني الموقف القائم على النية . بالطبع بشكل تجريبي – لمحاولة وصف، توقع، وشرح […] السلوك باستخدام تعبيرات نية، مثل ‘يعتقد’ و ‘يريد’، وهي ممارسة تفترض أو تسبق ‘عقلانية’ النظام المستهدف (دينيت، 1983: 345).

يقترح دانييت أنه إذا كنا نعرف لماذا تم تصميم نظام ما، يمكننا إجراء توقعات بناءً على تصميمه (1987). بينما نعلم أن ChatGPT تم تصميمه للدردشة، إلا أن خوارزميته الدقيقة وطريقة إنتاجه لاستجاباته قد تم تطويرها بواسطة التعلم الآلي، لذا لا نعرف تفاصيله الدقيقة حول كيفية عمله وما يفعله. في ظل هذه الجهالة، يكون من المغري استخدام أوصاف نية لمساعدتنا في فهم وتوقع ما يفعله ChatGPT.

عندما نتبنى الموقف القائم على النية، سنقوم بعمل توقعات سيئة إذا نسبنا أي رغبة في نقل الحقيقة إلى ChatGPT. وبالمثل، فإن نسب “الهلاوس” إلى ChatGPT سيقودنا إلى التنبؤ كما لو أنه قد أدرك أشياء غير موجودة، بينما ما يفعله هو أقرب بكثير إلى اختلاق شيء لأنه يبدو صحيحًا. ستؤدي نسبة النية السابقة إلى محاولة تصحيح معتقداته، وإصلاح مدخلاته – وهي استراتيجية حققت نجاحًا محدودًا إن وُجد. من ناحية أخرى، إذا نسبنا إلى ChatGPT نوايا شخص مخادع بارع، سنكون أفضل قدرة على تشخيص الحالات التي سيقوم فيها بذلك.
الأخطاء ونقل الأكاذيب. إذا كان ChatGPT يحاول فعل أي شيء، فهو يحاول تصوير نفسه كشخص.

نظرًا لأن هذا السبب في اعتبار ChatGPT مُخادعًا صعبًا يتضمن الالتزام بوجهات نظر مثيرة للجدل حول العقل والمعنى، فإنه أكثر تحيزًا من مجرد التفكير فيه كآلة خداع؛ ولكن بغض النظر عما إذا كان البرنامج لديه نوايا أم لا، هناك بوضوح محاولة لخداع السامع أو القارئ حول طبيعة المشروع في مكان ما على طول الخط، وفي رأينا، هذا يبرر وصف الناتج بأنه خداع صعب.

لذا، على الرغم من أنه من الجدير ذكر التحذير، إلا أنه لا يبدو لنا أنه يؤثر بشكل كبير على كيفية تفكيرنا والتحدث عن ChatGPT والهراء: الشخص الذي يستخدمه لإنتاج ورقة أو التحدث ليس معنيًا سواء بنقل الحقيقة أو التستر عليها (لأن كلا الأمرين يتطلبان الانتباه إلى ما هي الحقيقة بالفعل). و لا النظام نفسه. على الأقل، ينتج هراءً ناعماً، ومع بعض الافتراضات المثيرة للجدل حول طبيعة النسبة القصدية، ينتج هراءً صلباً؛ القوام المحدد للهراء ليس مهماً لأغراضنا: في كلتا الحالتين، فإن ChatGPT هو مصدر للهراء.

لقد جادلنا بأنه ينبغي علينا استخدام مصطلح الهراء، بدلاً من “الهلاوس” لوصف الأقوال التي ينتجها ChatGPT. وقد تم الإشارة أيضاً إلى أن مصطلح “الهلاوس” غير مناسب من قبل إدواردز (2023)، الذي يفضل مصطلح “التخيل” بدلاً من ذلك. لماذا اقتراحنا أفضل من هذا أو من بدائل أخرى؟

نحن نعترض على مصطلح الهلوسة لأنه يحمل دلالات مضللة معينة. عندما يعاني شخص ما من الهلوسة، فإنه يمر بتجربة إدراكية غير قياسية، لكنه لا يدرك فعليًا بعض ميزات العالم (ماكفيرسون، 2013)، حيث يُفهم “الإدراك” كمصطلح نجاح، بحيث لا يدركون فعليًا الكائن أو الخاصية. هذا المصطلح غير مناسب لنماذج اللغة الكبيرة لأسباب متنوعة. أولاً، كما يشير إدواردز (2023)، فإن مصطلح الهلوسة يضفي طابعًا إنسانيًا على نماذج اللغة الكبيرة. كما يشير إدواردز إلى أن نسب المشاكل الناتجة إلى “هلوسات” النماذج قد يسمح للمبدعين بـ”إلقاء اللوم على نموذج الذكاء الاصطناعي بسبب المخرجات الخاطئة بدلاً من تحمل المسؤولية عن المخرجات نفسها”، وقد نكون حذرين من مثل هذه التنازلات عن المسؤولية. نماذج اللغة الكبيرة لا تدرك، لذا فهي بالتأكيد لا “تسيء الإدراك”. ثانيًا، ما يحدث في حالة تقديم نموذج لغة كبيرة لبيانات خاطئة ليس شكلًا غير عادي أو منحرف من العملية التي يمر بها عادةً (كما يدعي البعض في حالات الهلوسة، مثل المنفصلين حول الإدراك). نفس العملية تحدث عندما تكون مخرجاته صحيحة.

إذن، ماذا عن “الهلاوس”؟ ماذا عن المصطلح المفضل لإدواردز، “التخيل”؟ يقول إدواردز (2023):

في علم النفس البشري، تحدث “الاختلاق” عندما يكون لدى شخص ما فجوة في الذاكرة ويقوم الدماغ بملء الباقي بشكل مقنع دون نية لخداع الآخرين. لا يعمل ChatGPT مثل الدماغ البشري، لكن مصطلح “الاختلاق” يمكن أن يكون بمثابة استعارة أفضل لأنه يوجد مبدأ إبداعي لملء الفجوات يعمل هنا […].

كما يشير إدواردز، فإن هذا غير مثالي. مرة أخرى، فإن استخدام مصطلح نفسي بشري يعرض لخطر تجسيد نماذج اللغة الكبيرة.

هذا المصطلح يشير أيضًا إلى أن هناك شيئًا استثنائيًا يحدث عندما يقوم نموذج اللغة الكبير بإصدار عبارة خاطئة، أي أنه في هذه المناسبات – وفقط في هذه المناسبات – ‘يملأ’ فجوة في الذاكرة بشيء خاطئ. وهذا أيضًا مضلل. حتى عندما يقدم ChatGPT إجابات صحيحة، فإن عمليته هي واحدة من توقع الرمز التالي. في رأينا، فإنه يشير بشكل خاطئ إلى أن ChatGPT، بشكل عام، يحاول نقل معلومات دقيقة في عباراته. ولكن هناك أسباب قوية للاعتقاد بأنه لا يمتلك معتقدات ينوي مشاركتها بشكل عام – انظر، على سبيل المثال، ليفينشتاين وهيرمان (قيد النشر). في رأينا، فإنه يشير بشكل خاطئ إلى أن ChatGPT، بشكل عام، يحاول نقل معلومات دقيقة في عباراته. حيث يتتبع الحقيقة، فإنه يفعل ذلك بشكل غير مباشر، وبشكل عرضي.

لهذا السبب نفضل وصف ChatGPT بأنه آلة هراء. هذه المصطلحات تتجنب الدلالات التي تشير إلى أن هناك إدراكًا أو تذكرًا يحدث في آلية نموذج اللغة الكبير. يمكننا أيضًا وصفه بأنه يهراء كلما أنتج مخرجات. مثل الهراء البشري، من المحتمل أن تكون بعض المخرجات صحيحة، بينما الأخرى ليست كذلك. وكما هو الحال مع الهراء البشري، يجب أن نكون حذرين من الاعتماد على أي من هذه المخرجات.

يتخذ المستثمرون وصانعو السياسات وأعضاء الجمهور العام قرارات حول كيفية التعامل مع هذه الآلات وكيفية الرد عليها، ليس بناءً على فهم تقني عميق لكيفية عملها، ولكن بناءً على الطريقة المجازية التي يتم بها التواصل حول قدراتها ووظائفها. إن وصف أخطائها بأنها ‘هلوسات’ ليس بلا ضرر: فهو يساهم في الارتباك الذي يوحي بأن الآلات تسيء الفهم بطريقة ما لكنها تحاول مع ذلك نقل شيء تعتقده أو قد أدركته. هذا، كما جادلنا، هو الاستعارة الخاطئة. الآلات لا تحاول التواصل بشيء تعتقده أو تدركه. عدم دقتها ليس بسبب سوء الفهم أو الهلوسة. كما أننا قد
أشاروا إلى أنهم لا يحاولون نقل المعلومات على الإطلاق. إنهم يتحدثون هراء.

وصف عدم دقة الدردشة الآلية بـ ‘الهلاوس’ يعزز الضجة المبالغ فيها حول قدراتها بين مؤيدي التكنولوجيا، وقد يؤدي إلى قلق غير ضروري بين الجمهور العام. كما أنه يقترح حلولاً لمشاكل عدم الدقة قد لا تنجح، وقد يؤدي إلى جهود مضللة في توافق الذكاء الاصطناعي بين المتخصصين. يمكن أن يؤدي أيضًا إلى الموقف الخاطئ تجاه الآلة عندما تصيب: عدم الدقة يظهر أنها تتحدث هراء، حتى عندما تكون على حق. إن وصف هذه الأخطاء بـ ‘الهراء’ بدلاً من ‘الهلاوس’ ليس فقط أكثر دقة (كما جادلنا)؛ بل هو تواصل علمي وتكنولوجي جيد في مجال يحتاج بشدة إليه.

الشكر والتقدير لنيل ماكدونيل، بريان بيكل، فينر تانزويل، ومجموعة قراءة نماذج اللغة الكبيرة في جامعة غلاسكو على المناقشات والتعليقات المفيدة.

الوصول المفتوح هذه المقالة مرخصة بموجب رخصة المشاع الإبداعي النسب 4.0 الدولية، التي تسمح بالاستخدام والمشاركة والتكيف والتوزيع وإعادة الإنتاج بأي وسيلة أو صيغة، طالما أنك تعطي الائتمان المناسب للمؤلفين الأصليين والمصدر، وتوفر رابطًا لرخصة المشاع الإبداعي، وتوضح إذا ما تم إجراء تغييرات. الصور أو المواد الأخرى من طرف ثالث في هذه المقالة مشمولة في رخصة المشاع الإبداعي الخاصة بالمقالة، ما لم يُشار إلى خلاف ذلك في سطر الائتمان للمواد. إذا لم تكن المادة مشمولة في رخصة المشاع الإبداعي الخاصة بالمقالة وكان استخدامك المقصود غير مسموح به بموجب اللوائح القانونية أو يتجاوز الاستخدام المسموح به، فسيتعين عليك الحصول على إذن مباشرة من صاحب حقوق الطبع والنشر. لعرض نسخة من هذه الرخصة، قم بزيارةhttp://creativecommons. org/licenses/by/4.0/.

Alkaissi, H., & McFarlane, S. I., (2023, February 19). Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus, 15(2), e35179. https://doi.org/10.7759/cureus.35179.
Bacin, S. (2021). My duties and the morality of others: Lying, truth and the good example in Fichte’s normative perfectionism. In S. Bacin, & O. Ware (Eds.), Fichte’s system of Ethics: A critical guide. Cambridge University Press.
Cassam, Q. (2019). Vices of the mind. Oxford University Press.
Cohen, G. A. (2002). Deeper into bullshit. In S. Buss, & L. Overton (Eds.), The contours of Agency: Essays on themes from Harry Frankfurt. MIT Press.
Davis, E., & Aaronson, S. (2023). Testing GPT-4 with Wolfram alpha and code interpreter plub-ins on math and science problems. Arxiv Preprint: arXiv, 2308, 05713v2.
Dennett, D. C. (1983). Intentional systems in cognitive ethology: The panglossian paradigm defended. Behavioral and Brain Sciences, 6, 343-390.
Dennett, D. C. (1987). The intentional stance. The MIT.
Dennis Whitcomb (2023). Bullshit questions. Analysis, 83(2), 299-304.
Easwaran, K. (2023). Bullshit activities. Analytic Philosophy, 00, 1-23. https://doi.org/10.1111/phib. 12328.
Edwards, B. (2023). Why ChatGPT and bing chat are so good at making things up. Ars Tecnica. https:// arstechnica.com/information-technology/2023/04/
why-ai-chatbots-are-the-ultimate-bs-machines-and-how-people-hope-to-fix-them/, accesssed 19th April, 2024.
Frankfurt, H. (2002). Reply to cohen. In S. Buss, & L. Overton (Eds.), The contours of agency: Essays on themes from Harry Frankfurt. MIT Press.
Frankfurt, H. (2005). On Bullshit, Princeton.
Knight, W. (2023). Some glimpse AGI in ChatGPT. others call it a mirage. Wired, August 18 2023, accessed via https://www.wired. com/story/chatgpt-agi-intelligence/.
Levinstein, B. A., & Herrmann, D. A. (forthcoming). Still no lie detector for language models: Probing empirical and conceptual roadblocks. Philosophical Studies, 1-27.
Levy, N. (2023). Philosophy, Bullshit, and peer review. Cambridge University.
Lightman, H., et al. (2023). Let’s verify step by step. Arxiv Preprint: arXiv, 2305, 20050.
Lysandrou (2023). Comparative analysis of drug-GPT and ChatGPT LLMs for healthcare insights: Evaluating accuracy and relevance in patient and HCP contexts. ArXiv Preprint: arXiv, 2307, 16850 v 1.
Macpherson, F. (2013). The philosophy and psychology of hallucination: an introduction, in Hallucination, Macpherson and Platchias (Eds.), London: MIT Press.
Mahon, J. E. (2015). The definition of lying and deception. The Stanford Encyclopedia of Philosophy (Winter 2016 Edition), Edward N. Zalta (Ed.), https://plato.stanford.edu/archives/win2016/ entries/lying-definition/.
Mallory, F. (2023). Fictionalism about chatbots. Ergo, 10(38), 1082-1100.
Mandelkern, M., & Linzen, T. (2023). Do language models’ Words Refer?. ArXiv Preprint: arXiv, 2308, 05576.

OpenAI (2023). GPT-4 technical report. ArXiv Preprint: arXiv, 2303, 08774v3.
Proops, I., & Sorensen, R. (2023). Destigmatizing the exegetical attribution of lies: the case of kant. Pacific Philosophical Quarterly. https://doi.org/10.1111/papq. 12442.
Sarkar, A. (2023). ChatGPT 5 is on track to attain artificial general intelligence. The Statesman, April 12, 2023. Accesses via https://www.thestatesman.com/supplements/science_supple-ments/chatgpt-5-is-on-track-to-attain-artificial-general-intel-ligence-1503171366.html.
Shah, C., & Bender, E. M. (2022). Situating search. CHIIR ’22: Proceedings of the 2022 Conference on Human Information Interaction and Retrieval March 2022 Pages 221-232 https://doi. org/10.1145/3498366.3505816.
Weise, K., & Metz, C. (2023). When AI chatbots hallucinate. New York Times, May 9, 2023. Accessed via https://www.nytimes. com/2023/05/01/business/ai-chatbots-hallucination.html.
Weiser, B. (2023). Here’s what happens when your lawyer uses ChatGPT. New York Times, May 23, 2023. Accessed via https://www. nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html.
Zhang (2023). How language model hallucinations can snowball. ArXiv preprint: arXiv:, 2305, 13534v1.
Zhu, T., et al. (2023). Large language models for information retrieval: A survey. Arxiv Preprint: arXiv, 2308, 17107v2.

Publisher’s Note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.

Published online: 8 June 2024
© The Author(s) 2024

Keywords Artificial intelligence Large language models LLMs ChatGPT Bullshit Frankfurt Assertion Content

Large language models (LLMs), programs which use reams of available text and probability calculations in order to create seemingly-human-produced writing, have become increasingly sophisticated and convincing over the last several years, to the point where some commentators suggest that we may now be approaching the creation of artificial general intelligence (see e.g. Knight, 2023 and Sarkar, 2023). Alongside worries about the rise of Skynet and the use of LLMs such as ChatGPT to replace work that could and should be done by humans, one line of inquiry concerns what exactly these programs are up to: in particular, there is a question about the nature and meaning of the text produced, and of its connection to truth. In this paper, we argue against the view that when ChatGPT and the like produce false claims they are lying or even hallucinating, and in favour of the position that the activity they are engaged in

is bullshitting, in the Frankfurtian sense (Frankfurt, 2002, 2005). Because these programs cannot themselves be concerned with truth, and because they are designed to produce text that looks truth-apt without any actual concern for truth, it seems appropriate to call their outputs bullshit.

We think that this is worth paying attention to. Descriptions of new technology, including metaphorical ones, guide policymakers’ and the public’s understanding of new technology; they also inform applications of the new technology. They tell us what the technology is for and what it can be expected to do. Currently, false statements by ChatGPT and other large language models are described as “hallucinations”, which give policymakers and the public the idea that these systems are misrepresenting the world, and describing what they “see”. We argue that this is an inapt metaphor which will misinform the public, policymakers, and other interested parties.

The structure of the paper is as follows: in the first section, we outline how ChatGPT and similar LLMs operate. Next, we consider the view that when they make factual errors, they are lying or hallucinating: that is, deliberately uttering falsehoods, or blamelessly uttering them on the basis of misleading input information. We argue that neither of these ways of thinking are accurate, insofar as both lying and hallucinating require some concern with the truth of their statements, whereas LLMs are simply not designed to accurately represent the way the world is, but rather to
give the impression that this is what they’re doing. This, we suggest, is very close to at least one way that Frankfurt talks about bullshit. We draw a distinction between two sorts of bullshit, which we call ‘hard’ and ‘soft’ bullshit, where the former requires an active attempt to deceive the reader or listener as to the nature of the enterprise, and the latter only requires a lack of concern for truth. We argue that at minimum, the outputs of LLMs like ChatGPT are soft bullshit: bullshit-that is, speech or text produced without concern for its truth-that is produced without any intent to mislead the audience about the utterer’s attitude towards truth. We also suggest, more controversially, that ChatGPT may indeed produce hard bullshit: if we view it as having intentions (for example, in virtue of how it is designed), then the fact that it is designed to give the impression of concern for truth qualifies it as attempting to mislead the audience about its aims, goals, or agenda. So, with the caveat that the particular kind of bullshit ChatGPT outputs is dependent on particular views of mind or meaning, we conclude that it is appropriate to talk about ChatGPT-generated text as bullshit, and flag up why it matters that – rather than thinking of its untrue claims as lies or hallucinations – we call bullshit on ChatGPT.

Large language models are becoming increasingly good at carrying on convincing conversations. The most prominent large language model is OpenAI’s ChatGPT, so it’s the one we will focus on; however, what we say carries over to other neural network-based AI chatbots, including Google’s Bard chatbot, AnthropicAI’s Claude (claude.ai), and Meta’s LLaMa. Despite being merely complicated bits of software, these models are surprisingly human-like when discussing a wide variety of topics. Test it yourself: anyone can go to the OpenAI web interface and ask for a ream of text; typically, it produces text which is indistinguishable from that of your average English speaker or writer. The variety, length, and similarity to human-generated text that GPT-4 is capable of has convinced many commentators to think that this chatbot has finally cracked it: that this is real (as opposed to merely nominal) artificial intelligence, one step closer to a humanlike mind housed in a silicon brain.

However, large language models, and other AI models like ChatGPT, are doing considerably less than what human brains do, and it is not clear whether they do what they do in the same way we do. The most obvious difference between an LLM and a human mind involves the goals of the system. Humans have a variety of goals and behaviours, most of which are extra-linguistic: we have basic physical desires, for things like food and sustenance; we have social goals and relationships; we have projects; and we create physical
objects. Large language models simply aim to replicate human speech or writing. This means that their primary goal, insofar as they have one, is to produce human-like text. They do so by estimating the likelihood that a particular word will appear next, given the text that has come before.

The machine does this by constructing a massive statistical model, one which is based on large amounts of text, mostly taken from the internet. This is done with relatively little input from human researchers or the designers of the system; rather, the model is designed by constructing a large number of nodes, which act as probability functions for a word to appear in a text given its context and the text that has come before it. Rather than putting in these probability functions by hand, researchers feed the system large amounts of text and train it by having it make next-word predictions about this training data. They then give it positive or negative feedback depending on whether it predicts correctly. Given enough text, the machine can construct a statistical model giving the likelihood of the next word in a block of text all by itself.

This model associates with each word a vector which locates it in a high-dimensional abstract space, near other words that occur in similar contexts and far from those which don’t. When producing text, it looks at the previous string of words and constructs a different vector, locating the word’s surroundings – its context – near those that occur in the context of similar words. We can think of these heuristically as representing the meaning of the word and the content of its context. But because these spaces are constructed using machine learning by repeated statistical analysis of large amounts of text, we can’t know what sorts of similarity are represented by the dimensions of this high-dimensional vector space. Hence we do not know how similar they are to what we think of as meaning or context. The model then takes these two vectors and produces a set of likelihoods for the next word; it selects and places one of the more likely ones-though not always the most likely. Allowing the model to choose randomly amongst the more likely words produces more creative and human-like text; the parameter which controls this is called the ‘temperature’ of the model and increasing the model’s temperature makes it both seem more creative and more likely to produce falsehoods. The system then repeats the process until it has a recognizable, complete-looking response to whatever prompt it has been given.

Given this process, it’s not surprising that LLMs have a problem with the truth. Their goal is to provide a normalseeming response to a prompt, not to convey information that is helpful to their interlocutor. Examples of this are already numerous, for instance, a lawyer recently prepared his brief using ChatGPT and discovered to his chagrin that most of the cited cases were not real (Weiser, 2023);
as Judge P. Kevin Castel put it, ChatGPT produced a text filled with “bogus judicial decisions, with bogus quotes and bogus internal citations”. Similarly, when computer science researchers tested ChatGPT’s ability to assist in academic writing, they found that it was able to produce surprisingly comprehensive and sometimes even accurate text on biological subjects given the right prompts. But when asked to produce evidence for its claims, “it provided five references dating to the early 2000s. None of the provided paper titles existed, and all provided PubMed IDs (PMIDs) were of different unrelated papers” (Alkaissi and McFarland, 2023). These errors can “snowball”: when the language model is asked to provide evidence for or a deeper explanation of a false claim, it rarely checks itself; instead it confidently producesmore false but normal-sounding claims (Zhang et al. 2023). The accuracy problem for LLMs and other generative Ais is often referred to as the problem of “AI hallucination”: the chatbot seems to be hallucinating sources and facts that don’t exist. These inaccuracies are referred to as “hallucinations” in both technical (OpenAI, 2023) and popular contexts (Weise & Metz, 2023).

These errors are pretty minor if the only point of a chatbot is to mimic human speech or communication. But the companies designing and using these bots have grander plans: chatbots could replace Google or Bing searches with a more user-friendly conversational interface (Shah & Bender, 2022; Zhu et al., 2023), or assist doctors or therapists in medical contexts (Lysandrou, 2023). In these cases, accuracy is important and the errors represent a serious problem.

One attempted solution is to hook the chatbot up to some sort of database, search engine, or computational program that can answer the questions that the LLM gets wrong (Zhu et al., 2023). Unfortunately, this doesn’t work very well either. For example, when ChatGPT is connected to Wolfram Alpha, a powerful piece of mathematical software, it improves moderately in answering simple mathematical questions. But it still regularly gets things wrong, especially for questions which require multi-stage thinking (Davis & Aaronson, 2023). And when connected to search engines or other databases, the models are still fairly likely to provide fake information unless they are given very specific instruc-tions-and even then things aren’t perfect (Lysandrou, 2023). OpenAI has plans to rectify this by training the model to do step by step reasoning (Lightman et al., 2023) but this is quite resource-intensive, and there is reason to be doubtful that it will completely solve the problem-nor is it clear that the result will be a large language model, rather than some broader form of AI.

Solutions such as connecting the LLM to a database don’t work because, if the models are trained on the database, then the words in the database affect the probability that the chatbot will add one or another word to the line of text it is
generating. But this will only make it produce text similar to the text in the database; doing so will make it more likely that it reproduces the information in the database but by no means ensures that it will.

On the other hand, the LLM can also be connected to the database by allowing it to consult the database, in a way similar to the way it consults or talks to its human interlocutors. In this way, it can use the outputs of the database as text which it responds to and builds on. Here’s one way this can work: when a human interlocutor asks the language model a question, it can then translate the question into a query for the database. Then, it takes the response of the database as an input and builds a text from it to provide back to the human questioner. But this can misfire too, as the chatbots might ask the database the wrong question, or misinterpret its answer (Davis & Aaronson, 2023). “GPT-4 often struggles to formulate a problem in a way that Wolfram Alpha can accept or that produces useful output.” This is not unrelated to the fact that when the language model generates a query for the database or computational module, it does so in the same way it generates text for humans: by estimating the likelihood that some output “looks like” the kind of thing the database will correspond with.

One might worry that these failed methods for improving the accuracy of chatbots are connected to the inapt metaphor of AI hallucinations. If the AI is misperceiving or hallucinating sources, one way to rectify this would be to put it in touch with real rather than hallucinated sources. But attempts to do so have failed.

The problem here isn’t that large language models hallucinate, lie, or misrepresent the world in some way. It’s that they are not designed to represent the world at all; instead, they are designed to convey convincing lines of text. So when they are provided with a database of some sort, they use this, in one way or another, to make their responses more convincing. But they are not in any real way attempting to convey or transmit the information in the database. As Chirag Shah and Emily Bender put it: “Nothing in the design of language models (whose training task is to predict words given context) is actually designed to handle arithmetic, temporal reasoning, etc. To the extent that they sometimes get the right answer to such questions is only because they happened to synthesize relevant strings out of what was in their training data. No reasoning is involved […] Similarly, language models are prone to making stuff up […] because they are not designed to express some underlying set of information in natural language; they are only manipulating the form of language” (Shah & Bender, 2022). These models aren’t designed to transmit information, so we shouldn’t be too surprised when their assertions turn out to be false.

Many popular discussions of ChatGPT call its false statements ‘hallucinations’. One also might think of these untruths as lies. However, we argue that this isn’t the right way to think about it. We will argue that these falsehoods aren’t hallucinations later. For now, we’ll discuss why these untruths aren’t lies but instead are bullshit.

The topic of lying has a rich philosophical literature. In ‘Lying’, Saint Augustine distinguished seven types of lies, and his view altered throughout his life. At one point, he defended the position that any instance of knowingly uttering a false utterance counts as a lie, so that even jokes containing false propositions, like-

For our purposes this definition will suffice. Lies are generally frowned upon. But there are acts of misleading testimony which are criticisable, which do not fall under the umbrella of lying. These include spreading untrue gossip, which one mistakenly, but culpably, believes to be true. Another class of misleading testimony that has received particular attention from philosophers is that of bullshit. This everyday notion was analysed and introduced into the philosophical lexicon by Harry Frankfurt.

Frankfurt understands bullshit to be characterized not by an intent to deceive but instead by a reckless disregard for the truth. A student trying to sound knowledgeable without

having done the reading, a political candidate saying things because they sound good to potential voters, and a dilettante trying to spin an interesting story: none of these people are trying to deceive, but they are also not trying to convey facts. To Frankfurt, they are bullshitting.

Like “lie”, “bullshit” is both a noun and a verb: an utterance produced can be a lie or an instance of bullshit, as can the act of producing these utterances. For an utterance to be classed as bullshit, it must not be accompanied by the explicit intentions that one has when lying, i.e., to cause a false belief in the hearer. Of course, it must also not be accompanied by the intentions characterised by an honest utterance. So far this story is entirely negative. Must any positive intentions be manifested in the utterer?

Throughout most of Frankfurt’s discussion, his characterisation of bullshit is negative. He notes that bullshit requires “no conviction” from the speaker about what the truth is (2005: 55), that the bullshitter “pays no attention” to the truth (2005: 61) and that they “may not deceive us, or even intend to do so, either about the facts or what he takes the facts to be” (2005: 54). Later, he describes the “defining feature” of bullshit as “a lack of concern with truth, or an indifference to how things really are [our emphasis]” (2002: 340). These suggest a negative picture; that for an output to be classed as bullshit, it only needs to lack a certain relationship to the truth.

However, in places, a positive intention is presented. Frankfurt says what a bullshitter ….
“…does necessarily attempt to deceive us about is his enterprise. His only indispensably distinctive characteristic is that in a certain way he misrepresents what he is up to” (2005: 54).

This is somewhat surprising. It restricts what counts as bullshit to utterances accompanied by a higher-order deception. However, some of Frankfurt’s examples seem to lack this feature. When Fania Pascal describes her unwell state as “feeling like a dog that has just been run over” to her friend Wittgenstein, it stretches credulity to suggest that she was intending to deceive him about how much she knew about how run-over dogs felt. And given how the conditions for bullshit are typically described as negative, we might wonder whether the positive condition is really necessary.

Should utterances without an intention to deceive count as bullshit? One reason in favour of expanding the definition, or embracing a plurality of bullshit, is indicated by Frankfurt’s comments on the dangers of bullshit.
“In contrast [to merely unintelligible discourse], indifference to the truth is extremely dangerous. The conduct of civilized life, and the vitality of the institutions that are
indispensable to it, depend very fundamentally on respect for the distinction between the true and the false. Insofar as the authority of this distinction is undermined by the prevalence of bullshit and by the mindlessly frivolous attitude that accepts the proliferation of bullshit as innocuous, an indispensable human treasure is squandered” (2002: 343).

These dangers seem to manifest regardless of whether there is an intention to deceive about the enterprise a speaker is engaged in. Compare the deceptive bullshitter, who does aim to mislead us about being in the truth-business, with someone who harbours no such aim, but just talks for the sake of talking (without care, or indeed any thought, about the truth-values of their utterances).

One of Frankfurt’s examples of bullshit seems better captured by the wider definition. He considers the advertising industry, which is “replete with instances of bullshit so unmitigated that they serve among the most indisputable and classic paradigms of the concept” (2005:22). However, it seems to misconstrue many advertisers to portray their aims as to mislead about their agendas. They are expected to say misleading things. Frankfurt discusses Marlboro adverts with the message that smokers are as brave as cowboys (2002: 341). Is it reasonable to suggest that the advertisers pretended to believe this?

Frankfurt does allow for multiple species of bullshit (2002: 340). Following this suggestion, we propose to envisage bullshit as a genus, and Frankfurt’s intentional bullshit as one species within this genus. Other species may include that produced by the advertiser, who anticipates that no one will believe their utterances or someone who has no intention one way or another about whether they mislead their audience. To that end, consider the following distinction:

Bullshit (general) Any utterance produced where a speaker has indifference towards the truth of the utterance.

Hard bullshit Bullshit produced with the intention to mislead the audience about the utterer’s agenda.

Soft bullshit Bullshit produced without the intention to mislead the hearer regarding the utterer’s agenda.

The general notion of bullshit is useful: on some occasions, we might be confident that an utterance was either soft bullshit or hard bullshit, but be unclear which, given our ignorance of the speaker’s higher-order desires. In such a case, we can still call bullshit.

Frankfurt’s own explicit account, with the positive requirements about producer’s intentions, is hard bullshit, whereas soft bullshit seems to describe some of Frankfurt’s examples, such as that of Pascal’s conversation with Wittgenstein, or the work of advertising agencies. It might be helpful to situate these distinctions in the existing literature. On our view, hard bullshit is most closely aligned with Cassam (2019), and Frankfurt’s positive account, for the reason that all of these views hold that some intention must be present, rather than merely absent, for the utterance to be bullshit: a kind of “epistemic insouciance” or vicious attitude towards truth on Cassam’s view, and (as we have seen) an intent to mislead the hearer about the utterer’s agenda on Frankfurt’s view. In our final section we consider whether ChatGPT may be a hard bullshitter, but it is important to note that it seems to us that hard bullshit, like the two accounts cited here, requires one to take a stance on whether or not LLMs can be agents, and so comes with additional argumentative burdens.

Soft bullshit, by contrast, captures only Frankfurt’s negative requirement – that is, the indifference towards truth that we have classed as definitional of bullshit (general) – for the reasons given above. As we argue, ChatGPT is at minimum a soft bullshitter or a bullshit machine, because if it is not an agent then it can neither hold any attitudes towards truth nor towards deceiving hearers about its (or, perhaps more properly, its users’) agenda.

It’s important to note that even this more modest kind of bullshitting will have the deleterious effects that concern Frankfurt: as he says, “indifference to the truth is extremely dangerous…by the mindlessly frivolous attitude

that accepts the proliferation of bullshit as innocuous, an indispensable human treasure is squandered” (2002, p343). By treating ChatGPT and similar LLMs as being in any way concerned with truth, or by speaking metaphorically as if they make mistakes or suffer “hallucinations” in pursuit of true claims, we risk exactly this acceptance of bullshit, and this squandering of meaning – so, irrespective of whether or not ChatGPT is a hard or a soft bullshitter, it does produce bullshit, and it does matter.

With this distinction in hand, we’re now in a position to consider a worry of the following sort: Is ChatGPT hard bullshitting, soft bullshitting, or neither? We will argue, first, that ChatGPT, and other LLMs, are clearly soft bullshitting. However, the question of whether these chatbots are hard bullshitting is a trickier one, and depends on a number of complex questions concerning whether ChatGPT can be ascribed intentions. We then canvas a few ways in which ChatGPT can be understood to have the requisite intentions.

We are not confident that chatbots can be correctly described as having any intentions at all, and we’ll go into this in more depth in the next section. But we are quite certain that ChatGPT does not intend to convey truths, and so is a soft bullshitter. We can produce an easy argument by cases for this. Either ChatGPT has intentions or it doesn’t. If ChatGPT has no intentions at all, it trivially doesn’t intend to convey truths. So, it is indifferent to the truth value of its utterances and so is a soft bullshitter.

What if ChatGPT does have intentions? Earlier, we argued that ChatGPT is not designed to produce true utterances; rather, it is designed to produce text which is indistinguishable from the text produced by humans. It is aimed at being convincing rather than accurate. The basic architecture of these models reveals this: they are designed to come up with a likely continuation of a string of text. It’s reasonable to assume that one way of being a likely continuation of a text is by being true; if humans are roughly more accurate than chance, true sentences will be more likely than false ones. This might make the chatbot more accurate than chance, but it does not give the chatbot any intention to convey truths. This is similar to standard cases of human bullshitters, who don’t care whether their utterances are true; good bullshit often contains some degree of truth, that’s part of what makes it convincing. A bullshitter can be more accurate than chance while still being indifferent to the truth of their utterances. We conclude that, even if the
chatbot can be described as having intentions, it is indifferent to whether its utterances are true. It does not and cannot care about the truth of its output.

Presumably ChatGPT can’t care about conveying or hiding the truth, since it can’t care about anything. So, just as a matter of conceptual necessity, it meets one of Frankfurt’s criteria for bullshit. However, this only gets us so far – a rock can’t care about anything either, and it would be patently absurd to suggest that this means rocks are bullshitters . Similarly books can contain bullshit, but they are not themselves bullshitters. Unlike rocks – or even books – ChatGPT itself produces text, and looks like it performs speech acts independently of its users and designers. And while there is considerable disagreement concerning whether ChatGPT has intentions, it’s widely agreed that the sentences it produces are (typically) meaningful (see e.g. Mandelkern and Linzen 2023).

ChatGPT functions not to convey truth or falsehood but rather to convince the reader of – to use Colbert’s apt coinage – the truthiness of its statement, and ChatGPT is designed in such a way as to make attempts at bullshit efficacious (in a way that pens, dictionaries, etc., are not). So, it seems that at minimum, ChatGPT is a soft bullshitter: if we take it not to have intentions, there isn’t any attempt to mislead about the attitude towards truth, but it is nonetheless engaged in the business of outputting utterances that look as if they’re truth-apt. We conclude that ChatGPT is a soft bullshitter.

But is ChatGPT a hard bullshitter? A critic might object, it is simply inappropriate to think of programs like ChatGPT as hard bullshitters, because (i) they are not agents, or relatedly, (ii) they do not and cannot intend anything whatsoever.

We think this is too fast. First, whether or not ChatGPT has agency, its creators and users do. And what they produce with it, we will argue, is bullshit. Second, we will argue that, regardless of whether it has agency, it does have a function; this function gives it characteristic goals, and possibly even intentions, which align with our definition of hard bullshit.

Before moving on, we should say what we mean when we ask whether ChatGPT is an agent. For the purposes of this paper, the central question is whether ChatGPT has

intentions and or beliefs. Does it intend to deceive? Can it, in any literal sense, be said to have goals or aims? If so, does it intend to deceive us about the content of its utterances, or merely have the goal to appear to be a competent speaker? Does it have beliefs-internal representational states which aim to track the truth? If so, do its utterances match those beliefs (in which case its false statements might be something like hallucinations) or are its utterances not matched to the beliefs-in which case they are likely to be either lies or bullshit? We will consider these questions in more depth in below.

There are other philosophically important aspects of agenthood that we will not be considering. We won’t be considering whether ChatGPT makes decisions, has or lacks autonomy, or is conscious; we also won’t worry whether ChatGPT is morally responsible for its statements or its actions (if it has any of those).

We will argue that even if ChatGPT is not, itself, a hard bullshitter, it is nonetheless a bullshit machine. The bullshitter is the person using it, since they (i) don’t care about the truth of what it says, (ii) want the reader to believe what the application outputs. On Frankfurt’s view, bullshit is bullshit even if uttered with no intent to bullshit: if something is bullshit to start with, then its repetition “is bullshit as he [or it] repeats it, insofar as it was originated by someone who was unconcerned with whether what he was saying is true or false” (2022, p340).

This just pushes the question back to who the originator is, though: take the (increasingly frequent) example of the student essay created by ChatGPT. If the student cared about accuracy and truth, they would not use a program that infamously makes up sources whole-cloth. Equally, though, if they give it a prompt to produce an essay on philosophy of science and it produces a recipe for Bakewell tarts, then it won’t have the desired effect. So the idea of ChatGPT as a bullshit machine seems right, but also as if it’s missing something: someone can produce bullshit using their voice, a pen or a word processor, after all, but we don’t standardly think of these things as being bullshit machines, or of outputting bullshit in any particularly interesting way conversely, there does seem to be something particular to ChatGPT, to do with the way that it operates, which makes it more than a mere tool, and which suggests that it might appropriately be thought of as an originator of bullshit. In short, it doesn’t seem quite right either to think of ChatGPT as analogous to a pen (can be used for bullshit, but can create nothing without deliberate and wholly agent-directed action) nor as to a bullshitting human (who can intend and produce bullshit on their own initiative).

The idea of ChatGPT as a bullshit machine is a helpful one when combined with the distinction between hard and soft bullshit. Reaching again for the example of the dodgy student paper: we’ve all, I take it, marked papers where it was obvious that a dictionary or thesaurus had been deployed with a crushing lack of subtlety; where fifty-dollar words are used not because they’re the best choice, nor even because they serve to obfuscate the truth, but simply because the author wants to convey an impression of understanding and sophistication. It would be inappropriate to call the dictionary a bullshit artist in this case; but it would not be inappropriate to call the result bullshit. So perhaps we should, strictly, say not that ChatGPT is bullshit but that it outputs bullshit in a way that goes beyond being simply a vector of bullshit: it does not and cannot care about the truth of its output, and the person using it does so not to convey truth or falsehood but rather to convince the hearer that the text was written by a interested and attentive agent.

Is ChatGPT itself a hard bullshitter? If so, it must have intentions or goals: it must intend to deceive its listener, not about the content of its statements, but instead about its agenda. Recall that hard bullshitters, like the unprepared student or the incompetent politician, don’t care whether their statements are true or false, but do intend to deceive their audience about what they are doing. If so, it must have intentions or goals: it must intend to deceive its listener, not about the content of its statements, but instead about its agenda. We don’t think that ChatGPT is an agent or has intentions in precisely the same way that humans do (see Levinstein and Herrmann (forthcoming) for a discussion of the issues here). But when speaking loosely it is remarkably easy to use intentional language to describe it: what is ChatGPT trying to do? Does it care whether the text it produces is accurate? We will argue that there is a robust, although perhaps not literal, sense in which ChatGPT does intend to deceive us about its agenda: its goal is not to convince us of the content of its utterances, but instead to portray itself as a ‘normal’ interlocutor like ourselves. By contrast, there is no similarly strong sense in which ChatGPT confabulates, lies, or hallucinates.

Our case will be simple: ChatGPT’s primary function is to imitate human speech. If this function is intentional, it is precisely the sort of intention that is required for an agent to be a hard bullshitter: in performing the function, ChatGPT is attempting to deceive the audience about its agenda. Specifically, it’s trying to seem like something that has an agenda, when in many cases it does not. We’ll discuss here whether this function gives rise to, or is best thought of, as an intention. In the next section, we will argue that ChatGPT has no
similar function or intention which would justify calling it a confabulator, liar, or hallucinator.

How do we know that ChatGPT functions as a hard bullshitter? Programs like ChatGPT are designed to do a task, and this task is remarkably like what Frankfurt thinks the bullshitter intends, namely to deceive the reader about the nature of the enterprise – in this case, to deceive the reader into thinking that they’re reading something produced by a being with intentions and beliefs.

ChatGPT’s text production algorithm was developed and honed in a process quite similar to artificial selection. Functions and selection processes have the same sort of directedness that human intentions do; naturalistic philosophers of mind have long connected them to the intentionality of human and animal mental states. If ChatGPT is understood as having intentions or intention-like states in this way, its intention is to present itself in a certain way (as a conversational agent or interlocutor) rather than to represent and convey facts. In other words, it has the intentions we associate with hard bullshitting.

One way we can think of ChatGPT as having intentions is by adopting Dennett’s intentional stance towards it. Dennett (1987: 17) describes the intentional stance as a way of predicting the behaviour of systems whose purpose we don’t already know.
“To adopt the intentional stance . tatively, of course – to attempt to characterize, predict, and explain […] behavior by using intentional idioms, such as ‘believes’ and ‘wants,’ a practice that assumes or presupposes the rationality” of the target system (Dennett, 1983: 345).

Dennett suggests that if we know why a system was designed, we can make predictions on the basis of its design (1987). While we do know that ChatGPT was designed to chat, its exact algorithm and the way it produces its responses has been developed by machine learning, so we do not know its precise details of how it works and what it does. Under this ignorance it is tempting to bring in intentional descriptions to help us understand and predict what ChatGPT is doing.

When we adopt the intentional stance, we will be making bad predictions if we attribute any desire to convey truth to ChatGPT. Similarly, attributing “hallucinations” to ChatGPT will lead us to predict as if it has perceived things that aren’t there, when what it is doing is much more akin to making something up because it sounds about right. The former intentional attribution will lead us to try to correct its beliefs, and fix its inputs — a strategy which has had limited if any success. On the other hand, if we attribute to ChatGPT the intentions of a hard bullshitter, we will be better able to diagnose the situations in which it will make
mistakes and convey falsehoods. If ChatGPT is trying to do anything, it is trying to portray itself as a person.

Since this reason for thinking ChatGPT is a hard bullshitter involves committing to one or more controversial views on mind and meaning, it is more tendentious than simply thinking of it as a bullshit machine; but regardless of whether or not the program has intentions, there clearly is an attempt to deceive the hearer or reader about the nature of the enterprise somewhere along the line, and in our view that justifies calling the output hard bullshit.

So, though it’s worth making the caveat, it doesn’t seem to us that it significantly affects how we should think of and talk about ChatGPT and bullshit: the person using it to turn out some paper or talk isn’t concerned either with conveying or covering up the truth (since both of those require attention to what the truth actually ), and neither is the system itself. Minimally, it churns out soft bullshit, and, given certain controversial assumptions about the nature of intentional ascription, it produces hard bullshit; the specific texture of the bullshit is not, for our purposes, important: either way, ChatGPT is a bullshitter.

We have argued that we should use the terminology of bullshit, rather than “hallucinations” to describe the utterances produced by ChatGPT. The suggestion that “hallucination” terminology is inappropriate has also been noted by Edwards (2023), who favours the term “confabulation” instead. Why is our proposal better than this or other alternatives?

We object to the term hallucination because it carries certain misleading implications. When someone hallucinates they have a non-standard perceptual experience, but do not actually perceive some feature of the world (Macpherson, 2013), where “perceive” is understood as a success term, such that they do not actually perceive the object or property. This term is inappropriate for LLMs for a variety of reasons. First, as Edwards (2023) points out, the term hallucination anthropomorphises the LLMs. Edwards also notes that attributing resulting problems to “hallucinations” of the models may allow creators to “blame the AI model for faulty outputs instead of taking responsibility for the outputs themselves”, and we may be wary of such abdications of responsibility. LLMs do not perceive, so they surely do not “mis-perceive”. Second, what occurs in the case of an LLM delivering false utterances is not an unusual or deviant form of the process it usually goes through (as some claim is the case in hallucinations, e.g., disjunctivists about perception). The very same process occurs when its outputs happen to be true.

So much for “hallucinations”. What about Edwards’ preferred term, “confabulation”? Edwards (2023) says:

In human psychology, a “confabulation” occurs when someone’s memory has a gap and the brain convincingly fills in the rest without intending to deceive others. ChatGPT does not work like the human brain, but the term “confabulation” arguably serves as a better metaphor because there’s a creative gap-filling principle at work […].

As Edwards notes, this is imperfect. Once again, the use of a human psychological term risks anthropomorphising the LLMs.

This term also suggests that there is something exceptional occurring when the LLM makes a false utterance, i.e., that in these occasions – and only these occasions – it “fills in” a gap in memory with something false. This too is misleading. Even when the ChatGPT does give us correct answers, its process is one of predicting the next token. In our view, it falsely indicates that ChatGPT is, in general, attempting to convey accurate information in its utterances. But there are strong reasons to think that it does not have beliefs that it is intending to share in general-see, for example, Levinstein and Herrmann (forthcoming). In our view, it falsely indicates that ChatGPT is, in general, attempting to convey accurate information in its utterances. Where it does track truth, it does so indirectly, and incidentally.

This is why we favour characterising ChatGPT as a bullshit machine. This terminology avoids the implications that perceiving or remembering is going on in the workings of the LLM. We can also describe it as bullshitting whenever it produces outputs. Like the human bullshitter, some of the outputs will likely be true, while others not. And as with the human bullshitter, we should be wary of relying upon any of these outputs.

Investors, policymakers, and members of the general public make decisions on how to treat these machines and how to react to them based not on a deep technical understanding of how they work, but on the often metaphorical way in which their abilities and function are communicated. Calling their mistakes ‘hallucinations’ isn’t harmless: it lends itself to the confusion that the machines are in some way misperceiving but are nonetheless trying to convey something that they believe or have perceived. This, as we’ve argued, is the wrong metaphor. The machines are not trying to communicate something they believe or perceive. Their inaccuracy is not due to misperception or hallucination. As we have
pointed out, they are not trying to convey information at all. They are bullshitting.

Calling chatbot inaccuracies ‘hallucinations’ feeds in to overblown hype about their abilities among technology cheerleaders, and could lead to unnecessary consternation among the general public. It also suggests solutions to the inaccuracy problems which might not work, and could lead to misguided efforts at AI alignment amongst specialists. It can also lead to the wrong attitude towards the machine when it gets things right: the inaccuracies show that it is bullshitting, even when it’s right. Calling these inaccuracies ‘bullshit’ rather than ‘hallucinations’ isn’t just more accurate (as we’ve argued); it’s good science and technology communication in an area that sorely needs it.

Acknowledgements Thanks to Neil McDonnell, Bryan Pickel, Fenner Tanswell, and the University of Glasgow’s Large Language Model reading group for helpful discussion and comments.

Open Access This article is licensed under a Creative Commons Attribution 4.0 International License, which permits use, sharing, adaptation, distribution and reproduction in any medium or format, as long as you give appropriate credit to the original author(s) and the source, provide a link to the Creative Commons licence, and indicate if changes were made. The images or other third party material in this article are included in the article’s Creative Commons licence, unless indicated otherwise in a credit line to the material. If material is not included in the article’s Creative Commons licence and your intended use is not permitted by statutory regulation or exceeds the permitted use, you will need to obtain permission directly from the copyright holder. To view a copy of this licence, visit http://creativecommons. org/licenses/by/4.0/.

Alkaissi, H., & McFarlane, S. I., (2023, February 19). Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus, 15(2), e35179. https://doi.org/10.7759/cureus.35179.
Bacin, S. (2021). My duties and the morality of others: Lying, truth and the good example in Fichte’s normative perfectionism. In S. Bacin, & O. Ware (Eds.), Fichte’s system of Ethics: A critical guide. Cambridge University Press.
Cassam, Q. (2019). Vices of the mind. Oxford University Press.
Cohen, G. A. (2002). Deeper into bullshit. In S. Buss, & L. Overton (Eds.), The contours of Agency: Essays on themes from Harry Frankfurt. MIT Press.
Davis, E., & Aaronson, S. (2023). Testing GPT-4 with Wolfram alpha and code interpreter plub-ins on math and science problems. Arxiv Preprint: arXiv, 2308, 05713v2.
Dennett, D. C. (1983). Intentional systems in cognitive ethology: The panglossian paradigm defended. Behavioral and Brain Sciences, 6, 343-390.
Dennett, D. C. (1987). The intentional stance. The MIT.
Dennis Whitcomb (2023). Bullshit questions. Analysis, 83(2), 299-304.
Easwaran, K. (2023). Bullshit activities. Analytic Philosophy, 00, 1-23. https://doi.org/10.1111/phib. 12328.
Edwards, B. (2023). Why ChatGPT and bing chat are so good at making things up. Ars Tecnica. https:// arstechnica.com/information-technology/2023/04/
why-ai-chatbots-are-the-ultimate-bs-machines-and-how-people-hope-to-fix-them/, accesssed 19th April, 2024.
Frankfurt, H. (2002). Reply to cohen. In S. Buss, & L. Overton (Eds.), The contours of agency: Essays on themes from Harry Frankfurt. MIT Press.
Frankfurt, H. (2005). On Bullshit, Princeton.
Knight, W. (2023). Some glimpse AGI in ChatGPT. others call it a mirage. Wired, August 18 2023, accessed via https://www.wired. com/story/chatgpt-agi-intelligence/.
Levinstein, B. A., & Herrmann, D. A. (forthcoming). Still no lie detector for language models: Probing empirical and conceptual roadblocks. Philosophical Studies, 1-27.
Levy, N. (2023). Philosophy, Bullshit, and peer review. Cambridge University.
Lightman, H., et al. (2023). Let’s verify step by step. Arxiv Preprint: arXiv, 2305, 20050.
Lysandrou (2023). Comparative analysis of drug-GPT and ChatGPT LLMs for healthcare insights: Evaluating accuracy and relevance in patient and HCP contexts. ArXiv Preprint: arXiv, 2307, 16850 v 1.
Macpherson, F. (2013). The philosophy and psychology of hallucination: an introduction, in Hallucination, Macpherson and Platchias (Eds.), London: MIT Press.
Mahon, J. E. (2015). The definition of lying and deception. The Stanford Encyclopedia of Philosophy (Winter 2016 Edition), Edward N. Zalta (Ed.), https://plato.stanford.edu/archives/win2016/ entries/lying-definition/.
Mallory, F. (2023). Fictionalism about chatbots. Ergo, 10(38), 1082-1100.
Mandelkern, M., & Linzen, T. (2023). Do language models’ Words Refer?. ArXiv Preprint: arXiv, 2308, 05576.

OpenAI (2023). GPT-4 technical report. ArXiv Preprint: arXiv, 2303, 08774v3.
Proops, I., & Sorensen, R. (2023). Destigmatizing the exegetical attribution of lies: the case of kant. Pacific Philosophical Quarterly. https://doi.org/10.1111/papq. 12442.
Sarkar, A. (2023). ChatGPT 5 is on track to attain artificial general intelligence. The Statesman, April 12, 2023. Accesses via https://www.thestatesman.com/supplements/science_supple-ments/chatgpt-5-is-on-track-to-attain-artificial-general-intel-ligence-1503171366.html.
Shah, C., & Bender, E. M. (2022). Situating search. CHIIR ’22: Proceedings of the 2022 Conference on Human Information Interaction and Retrieval March 2022 Pages 221-232 https://doi. org/10.1145/3498366.3505816.
Weise, K., & Metz, C. (2023). When AI chatbots hallucinate. New York Times, May 9, 2023. Accessed via https://www.nytimes. com/2023/05/01/business/ai-chatbots-hallucination.html.
Weiser, B. (2023). Here’s what happens when your lawyer uses ChatGPT. New York Times, May 23, 2023. Accessed via https://www. nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html.
Zhang (2023). How language model hallucinations can snowball. ArXiv preprint: arXiv:, 2305, 13534v1.
Zhu, T., et al. (2023). Large language models for information retrieval: A survey. Arxiv Preprint: arXiv, 2308, 17107v2.

Publisher’s Note Springer Nature remains neutral with regard to jurisdictional claims in published maps and institutional affiliations.