JMIR الصحة النفسية 2024;11:e59479; doi: 10.2196/59479
الكلمات المفتاحية: الذكاء الاصطناعي؛ الذكاء الاصطناعي؛ الذكاء الاصطناعي التوليدي؛ نماذج اللغة الكبيرة؛ الصحة النفسية؛ تعليم الصحة النفسية؛ نموذج اللغة؛ رعاية الصحة النفسية؛ العدالة الصحية؛ الأخلاقية؛ التنمية؛ النشر

على مستوى العالم، سيعاني نصف الأفراد من اضطراب نفسي في حياتهم [1]، وفي أي لحظة معينة، يعاني 1 من كل 8 أشخاص من مشكلة نفسية [2]. على الرغم من الاهتمام المتزايد الذي تم تقديمه في السنوات الأخيرة للصحة النفسية، إلا أن معدل القضايا النفسية قد زاد. ، ولم يتوسع الوصول إلى رعاية الصحة النفسية بشكل كافٍ لتلبية الطلب [4]. في الولايات المتحدة وحدها، يبلغ متوسط الوقت بين ظهور أعراض الصحة النفسية والعلاج 11 عامًا [5]، ويعيش ما يقرب من نصف سكان العالم في مناطق تعاني من نقص في المتخصصين في الصحة النفسية [2].

لتجاوز الوصول غير الكافي إلى رعاية الصحة النفسية الفعالة والعادلة، هناك حاجة إلى حلول على نطاق واسع. إن ظهور نماذج اللغة الكبيرة (LLMs) يجلب الأمل.
فيما يتعلق بتطبيقها على الصحة النفسية وإمكاناتها لتقديم مثل هذه الحلول نظرًا لصلتها بتعليم الصحة النفسية، والتقييم، والتدخل. تعتبر نماذج اللغة الكبيرة نماذج ذكاء اصطناعي تم تدريبها باستخدام مجموعات بيانات واسعة للتنبؤ بتسلسلات اللغة. من خلال الاستفادة من هياكل عصبية ضخمة، يمكن لنماذج اللغة الكبيرة تنظيم مفاهيم معقدة وتجريدية. وهذا يمكنها من التعرف على المحتوى وترجمته وتنبؤه وتوليد محتوى جديد. يمكن ضبط نماذج اللغة الكبيرة لتناسب مجالات محددة (مثل الصحة النفسية) وتمكن من التفاعل بلغة طبيعية، كما تفعل العديد من تقييمات وتدخلات الصحة النفسية، مما يبرز الإمكانات الهائلة التي تمتلكها لإحداث ثورة في رعاية الصحة النفسية. في هذه الورقة، نقوم أولاً بتلخيص الأبحاث التي أجريت حتى الآن حول تطبيق نماذج اللغة الكبيرة على الصحة النفسية. ثم نبرز الفرص والمخاطر الرئيسية المرتبطة بنماذج اللغة الكبيرة في الصحة النفسية ونقدم اقتراحات.
استراتيجيات التخفيف من المخاطر. أخيرًا، نقدم توصيات للاستخدام المسؤول لنماذج اللغة الكبيرة في مجال الصحة النفسية.

تظهر الاختبارات الأولية لقدرات نماذج اللغة الكبيرة في مجالات التعليم والتقييم والتدخل في الصحة النفسية نتائج واعدة. عند النظر في هذه الأدبيات، التي سنستعرضها لاحقًا، من المهم أولاً التمييز بين نماذج اللغة العامة (مثل ChatGPT [OpenAI] وGemini [Google]) ونماذج اللغة المتخصصة (مثل Med-LM [Google]). تم تدريب نماذج اللغة العامة على مجموعات كبيرة من النصوص وهي مصممة لأداء مجموعة واسعة من المهام. من ناحية أخرى، تعتمد نماذج اللغة المتخصصة عادةً على نماذج اللغة العامة من خلال استراتيجيات مختلفة للتخصيص باستخدام بيانات مختارة لإكمال المهام ضمن مجال معين. نظرًا لأن نماذج اللغة العامة تُدرب بشكل كبير على نصوص غير مقيدة، فإنها تخاطر بإنتاج معلومات غير دقيقة أو متحيزة أو وصمات أو ضارة حول الصحة النفسية. يمكن لمطوري نماذج اللغة المتخصصة تقليل بعض من هذه المخاطر من خلال دمج استراتيجيات أثناء التخصيص والتقييم مثل استخدام معلومات قائمة على الأدلة عالية الجودة وتقنيات النسبة [7]، ولكن لا يزال من الصعب إزالة جميع المخاطر المحتملة من المحتوى الذي تنتجه نماذج اللغة. نظرًا لهذه التمييزات المهمة، في الورقة التي تلي، نوضح متى تكون النتائج محددة لنماذج اللغة العامة مقابل نماذج اللغة المتخصصة حيثما كان ذلك ممكنًا.

إحدى مجالات الفرص لنماذج اللغة الكبيرة (LLMs) في مجال الصحة النفسية هي تقديم التعليم حول الصحة النفسية (انظر الشكل 1) [8]. على الرغم من تأخرها عن نجاح نماذج اللغة الكبيرة في المجال الطبي [9]، هناك أدلة على أن نماذج اللغة الكبيرة قادرة على توليد معلومات دقيقة ومفيدة وفورية حول الصحة النفسية. على سبيل المثال، الدعم النفسي باستخدام نموذج اللغة الكبيرة (Psy-LLM) هو نموذج لغة كبير مصمم للإجابة على أسئلة الصحة النفسية [10]. تم تدريب Psy-LLM مسبقًا باستخدام مجموعة بيانات من مقالات علم النفس، وأزواج الأسئلة والأجوبة من علماء النفس، ومن خلال تصفح منصات التواصل الاجتماعي. حقق النموذج مستويات معتدلة من الفائدة، والطلاقة، والملاءمة للسؤال المطروح، والمنطق بناءً على تقييمات البشر لإجابات Psy-LLM.

تم تقييم قدرات نماذج اللغة العامة للإجابة على الأسئلة المتعلقة بالصحة النفسية أيضًا. قام سيزجين وآخرون [11] بمقارنة استجابات بحث جوجل وGPT-4 (باستخدام ChatGPT) وLaMDA (باستخدام Bard [Google DeepMind]) للأسئلة المتعلقة بالاكتئاب بعد الولادة بالنسبة لاستجابات وثيقة الأسئلة الشائعة من الكلية الأمريكية لأطباء النساء والتوليد (ACOG). قام أطباء بشر معتمدين من المجلس بتقييم استجابات ChatGPT على أنها أكثر توافقًا مع استجابات ACOG مقارنة باستجابات Bard أو بحث جوجل، وفي المتوسط، تم تقييم استجابات ChatGPT بالقرب من الحد الأقصى للدقة السريرية، حيث حصلت على 3.93 من أصل 4 ممكن. ومع ذلك، من المهم أن نلاحظ أن نماذج اللغة العامة تختلف في سياساتها بشأن توليد النصائح الطبية أو النفسية. تأثرت تقييمات دقة Bard بسياسة Bard التي تنصح باستشارة مقدم الرعاية الصحية عند طرح أسئلة حول الصحة النفسية. تحمي هذه الممارسة الأفراد من الأذى المحتمل، على الرغم من أن مثل هذه الاستجابات حصلت على تقييمات جودة أقل في هذه الدراسة.

قد لا تكون الإجابات التي تم إنشاؤها بواسطة نماذج اللغة الكبيرة (LLM) على أسئلة الصحة النفسية قابلة للمقارنة مع الإجابات التي ينتجها البشر. من الضروري أن تلبي نماذج اللغة الكبيرة أو تتجاوز أداء البشر لكي تُكتسب الثقة فيها ولتخفيف الطلب على مقدمي الرعاية البشرية. في حالة Psy-LLM وChatGPT، هناك أدلة على أن الردود على أسئلة الصحة النفسية واستخدام المواد تتخلف عن الردود التي ينتجها البشر في أبعاد مثل الدقة والجودة والتوافق مع الممارسات المستندة إلى الأدلة (EBP) [10،12].

طريقة أخرى يمكن أن تخدم بها نماذج اللغة الكبيرة (LLMs) في التعليم هي دعم تدريب مقدمي الرعاية. استخدم بارش وآخرون [13] ChatGPT لإنشاء محتوى وأهداف تعلم مرتبطة لمنصة تعليمية عبر الإنترنت لمهنيي الصحة السلوكية. قارن الباحثون الوقت الذي يحتاجه مقدمو الرعاية لكتابة محتواهم الخاص مقابل الوقت اللازم لتحرير المحتوى الذي تم إنشاؤه بواسطة ChatGPT، ووجدوا أن استخدام ChatGPT قد حسن كفاءة مقدمي الرعاية بـ . يمكن أيضًا الاستفادة من نماذج اللغة الكبيرة لتدريب مقدمي الرعاية لتحسين التفاعلات مع مرضاهم. كمثالين، طور تشان ولي [14] روبوت محادثة تم تدريبه لتقليد مريض قادر على وصف أعراض صحته النفسية بمصطلحات عامية، واستخدم شارما وآخرون [15] الذكاء الاصطناعي لتدريب مقدمي الدعم من الأقران لزيادة الاستجابة التعاطفية. توضح هذه الأساليب الطرق التي يمكن أن تدعم بها نماذج اللغة الكبيرة تدريب مقدمي الرعاية وقد تعزز فعالية مقدمي الرعاية دون أن يصبحوا معتمدين على نماذج اللغة الكبيرة في التفكير النقدي أو اتخاذ القرار في اللحظة.

وظيفة ثانية لنماذج اللغة الكبيرة في مجال الصحة النفسية هي تقييم أعراض الصحة النفسية، وتحديد التشخيصات، وتتبع التغيرات في الرفاه النفسي (انظر الشكل 2). يمكن لنماذج اللغة الكبيرة أحيانًا التنبؤ بأعراض الصحة النفسية والتشخيصات بدقة. طور جي وآخرون [16] في البداية نموذجين محددين للمجال، MentalBERT وMentalRoBERTa، تم تدريبهما على معلومات الصحة النفسية. بالمقارنة مع النماذج الحالية المدربة مسبقًا في مجالات مختلفة، وخاصة الملاحظات السريرية والطب الحيوي، كانت MentalBERT وMentalRoBERTa عمومًا أفضل في اكتشاف الاكتئاب والأفكار الانتحارية من منشورات وسائل التواصل الاجتماعي (من الجدير بالذكر أن هذه النتائج تحققت باستخدام نماذج قائمة على تمثيلات المحولات ثنائية الاتجاه [BERT] التي تمثل نماذج اللغة الكبيرة من الجيل المبكر، مع إظهار النماذج والهياكل الأحدث إمكانيات لمزيد من القدرات المتقدمة). كما أظهرت نماذج اللغة الكبيرة مثل Mental-Alpaca، وهي نموذج لغة كبير محدد لمجال الصحة النفسية، وMed-PaLM 2، وهو نموذج لغة كبير محدد للمجال الطبي، وChatGPT، الذي هو نموذج عام، أنها قادرة أيضًا على فحص الأعراض الاكتئابية المحتملة ومخاطر الانتحار، مع درجات متفاوتة من الدقة [17-20].

عندما يتعلق الأمر بالتنبؤ بالتشخيصات النفسية بشكل محدد، هناك أدلة على أن Med-PaLM 2 يمكنه القيام بذلك بدقة. عند تقديم سلسلة من دراسات الحالة من كتاب الجمعية الأمريكية للطب النفسي DSM-5 (الدليل التشخيصي والإحصائي للاضطرابات النفسية، الطبعة الخامسة) [21]، توقع Med-PaLM 2 التشخيص الصحيح من الوقت، وزادت الأداء إلى عندما طُلب منه تحديد الفئة التشخيصية الصحيحة (مثل، اضطراب الاكتئاب مقابل اضطراب الاكتئاب الكبير) [20]. وبالمثل، عندما تم تحسين PaLM 2 باستخدام بيانات المجال الطبي وتم تحسينه للتشخيص التفريقي، كان النموذج قادرًا على توليد قوائم تشخيصات أكثر ملاءمة وشمولية من
الأطباء المتخصصين في الطب استجابةً لدراسات حالة صعبة، بعضها كان يتضمن تشخيصات نفسية [22].

ومع ذلك، فإن التقييمات التي تتنبأ بها نماذج اللغة الكبيرة لا تتطابق دائمًا مع تلك الخاصة بالمعالجين النفسيين البشريين، مما يشير إلى أن المزيد من العمل مطلوب قبل أن تتمكن نماذج اللغة الكبيرة من الانخراط في التقييم دون إشراف بشري. في دراسة واحدة [23]، تم تقديم أربع تكرارات من سيناريو حالة [24] إلى ChatGPT. كان كل سيناريو يختلف في مستويات العبء المدرك والانتماء المحبط – وهما عاملان رئيسيان من عوامل خطر الانتحار [25،26]. حدد ChatGPT بشكل مناسب أن خطر الأفكار الانتحارية ومحاولات الانتحار كان أعلى بالنسبة للسيناريو الذي كان فيه كل من العبء المدرك العالي والانتماء المحبط العالي، لكنه توقع خطر انتحار أقل بشكل عام من المهنيين النفسيين الذين راجعوا نفس السيناريوهات. كما أن Med-PaLM 2 في بعض الأحيان لا يحقق أداءً على مستوى المعالجين البشريين. توقع النموذج أعراض اضطراب ما بعد الصدمة أكثر حدة من المعالجين البشريين من بيانات المقابلات السريرية، صنف حالات محتملة من اضطراب ما بعد الصدمة بدقة عالية (0.98) ولكن بحساسية منخفضة (0.30)، وتوقع النموذج فقط بشكل صحيح ما إذا كان مثال الحالة يحتوي على تشخيص مشترك أو معدل تشخيص من الوقت [20].

في جميع الجهود الموصوفة حتى الآن، تم تزويد نماذج اللغة الكبيرة بمعلومات حول الأعراض وكُلفت بتحديد ما إذا كانت تلك الأعراض تشير إلى قلق نفسي محتمل أو تشخيص. يمكن أيضًا الاستفادة من نماذج اللغة الكبيرة لطرح الأسئلة اللازمة لفحص القلق النفسي أو للتنبؤ بتشخيص نفسي. طور تشان ولي [14] روبوت محادثة تم تدريبه للانخراط في تقييم الصحة النفسية مع المرضى. بالمقارنة مع الأطباء النفسيين البشريين، أظهر روبوت المحادثة مزيدًا من التعاطف وطرح أسئلة أكثر شمولاً حول بعض الأعراض (مثل، النوم)، لكنه كان أقل احتمالًا لاستبعاد الحالات المرتبطة.

فرصة ثالثة لنماذج اللغة الكبيرة في مجال الصحة النفسية هي تنفيذ التدخلات النفسية (انظر الشكل 3). حتى الآن، كانت هذه الجهود تركز بشكل كبير على روبوتات المحادثة. تشمل روبوتات المحادثة البارزة، بعضها يعتمد على نماذج اللغة الكبيرة، Woebot [27]، Wysa [28]، Tess [29]، Replika [30]، Ellie [31]، وSibly [32]. تم تدريب العديد من هذه الروبوتات على علاجات مدعومة تجريبيًا مثل العلاج السلوكي المعرفي، العلاج السلوكي الجدلي، والمقابلات التحفيزية. هناك أدلة أولية على أن مثل هذه الروبوتات قد تكون فعالة في تقليل أعراض الاكتئاب والقلق، بالإضافة إلى التوتر [33-36]. بالإضافة إلى ذلك، تجد الأبحاث أن روبوتات المحادثة يمكن تدريبها على التعبير عن التعاطف [37-39]، وتقديم استجابات غير حكمية [40]، و
الحفاظ على المحادثات العلاجية [14] وأن الأفراد يمكنهم إقامة علاقة علاجية مع روبوتات المحادثة [41].

يجب توخي الحذر عند استخدام روبوتات المحادثة لتقديم التدخلات النفسية. حتى الآن، لا تكون روبوتات المحادثة فعالة في علاج جميع أنواع الضغوط النفسية [36] وفي بعض الأحيان تواجه صعوبة في تخصيص التدخلات [38]، وتنسى المعلومات (مثل، أنها تحدثت مع شخص ما سابقًا) [37]، وتقدم نصائح غير علاجية وإيذائية بما في ذلك تشجيع استخدام المواد، والحمية، وفقدان الوزن . كما أن الأمر مقلق أن روبوتات المحادثة لا تستجيب بشكل متسق أو كافٍ لمخاطر الانتحار، في بعض الأحيان تكون متجاهلة وتفشل في تقديم موارد الأزمات أو الإحالات إلى مقدمي الرعاية البشرية [38،44].

لزيادة التأثير الإيجابي لنماذج اللغة الكبيرة على الصحة النفسية، يجب أن يتم تطوير واختبار ونشر نماذج اللغة الكبيرة بشكل أخلاقي ومسؤول (انظر مربع النص 1). يتطلب ذلك تحديد وتقييم المخاطر، واتخاذ خطوات استباقية
لتخفيف المخاطر، ووضع خطط لمراقبة المخاطر المستمرة أو الجديدة وغير المتوقعة . من المهم أيضًا الاعتراف بأن المخاطر المرتبطة باستخدام نماذج اللغة الكبيرة لدعم الصحة النفسية قد تختلف عبر التعليم، والتقييم، والتدخل (انظر الجدول 1). هنا، نبرز المخاطر الرئيسية التي تتقاطع إلى حد كبير مع استخدام نماذج اللغة الكبيرة للمهام المتعلقة بالصحة النفسية ونحدد الخطوات المحتملة التي يمكن اتخاذها لتخفيف هذه المخاطر.

مربع النص 1. توصيات للاستخدام المسؤول لنماذج اللغة الكبيرة لدعم الصحة النفسية.

LLM: نموذج لغة كبير.
تهدف هذه الجدول إلى تمثيل الإمكانيات للتأثيرات السلبية على الأفراد إذا كانت نماذج اللغة الكبيرة تؤدي بشكل غير صحيح في مجالات التعليم والتقييم والتدخل في الصحة النفسية. كما هو موضح هنا، قد تكون هناك مخاطر إضافية يجب أخذها في الاعتبار عندما تشارك نماذج اللغة الكبيرة في تقديم تقييمات الصحة النفسية بشكل مباشر، وربما بشكل خاص، التدخل في الصحة النفسية، مقارنة بالتعليم في الصحة النفسية. وبالتالي، فإن الحذر الأكبر مطلوب عند النظر في استخدام نماذج اللغة الكبيرة للتدخلات في الصحة النفسية، ويجب إجراء اختبارات صارمة قبل نشر هذه النماذج. التقديرات المخاطر المقدمة هنا ليست مقصودة لتمثيل المخاطر المرتبطة بكل حالة استخدام ممكنة لنماذج اللغة الكبيرة ولا لتقليل التأثيرات السلبية المحتملة (على سبيل المثال، إذا كانت نماذج اللغة الكبيرة ستعزز الوصمة عند المشاركة في التعليم في الصحة النفسية).

يوجد خطر أن تعزز نماذج اللغة الكبيرة عدم المساواة والوصمة، مما يزيد من الفجوات في الصحة النفسية [47]. تعتبر القضايا المتعلقة بالصحة النفسية موصومة بشدة [48]، وهناك فجوات في من هم في خطر من القضايا المتعلقة بالصحة النفسية، وفي من يتم تشخيصهم باضطرابات الصحة النفسية، ومع أي اضطرابات صحة نفسية يتم تشخيص الأشخاص [49-51]. هناك أيضًا عدم مساواة في من يتلقى الرعاية الصحية النفسية [52،53]. تحتوي الكثير من المعلومات المتاحة للجمهور والنقاش حول الصحة النفسية على معلومات غير دقيقة وموصومة حول الصحة النفسية، وتمثل الأدبيات البحثية الحالية حول الصحة النفسية إلى حد كبير وجهات نظر الأشخاص الذين هم من البيض، ومتعلمين، ومن ذوي الوضع الاجتماعي والاقتصادي العالي، ويتحدثون الإنجليزية [54]. تتوفر معلومات أقل بكثير حول أسباب القضايا المتعلقة بالصحة النفسية
والتقييمات والتدخلات الفعالة للسكان الذين تم دفعهم إلى الهوامش. يمكن أن يؤدي تدريب نماذج اللغة الكبيرة على البيانات الموجودة دون وجود ضمانات مناسبة وإشراف وتقييم بشري مدروس إلى توليد محتوى متحيز وأداء نماذج متباين لمجموعات مختلفة [45،55-57] (من الجدير بالذكر، مع ذلك، أن هناك بعض الأدلة على أن الأطباء يشعرون بوجود تحيز أقل في ردود نماذج اللغة الكبيرة مقارنة بردود الأطباء، مما يشير إلى أن نماذج اللغة الكبيرة قد تكون لديها القدرة على تقليل التحيز مقارنة بالأطباء البشر).

يجب على نماذج اللغة الكبيرة نشر معلومات دقيقة وغير موصومة حول الصحة النفسية ويجب تدريبها على تحديد ومكافحة الوصمة والتمييز. للقيام بذلك، تحتاج النماذج إلى أن يتم ضبطها وتقييمها لمجال الصحة النفسية. يعد تدريب النماذج باستخدام بيانات تمثل السكان المتنوعين الذين يتم خدمتهم مفيدًا، ولكن قد تظهر أنواع جديدة
من التحيز، مثل التحيزات الدلالية، في نماذج اللغة الكبيرة [59]. يجب استكشاف الفرص لتدريب النماذج على تحديد واستبعاد اللغة السامة والتمييزية، سواء أثناء تدريب النماذج الأساسية أو أثناء الضبط الدقيق الخاص بالمجال (انظر كيلين [59] لمناقشة التوازنات في تصفية البيانات في هذا السياق) [45]. إذا كانت نماذج اللغة الكبيرة تؤدي بشكل مختلف لمجموعات مختلفة أو تولد لغة إشكالية أو موصومة أثناء الاختبار، فإن ضبط النموذج الإضافي مطلوب قبل النشر. يجب أن يكون الأفراد الذين يقومون بتطوير نماذج اللغة الكبيرة شفافين بشأن قيود بيانات التدريب، والنهج المتبعة في تصفية البيانات والضبط الدقيق، والسكان الذين لم يتم إثبات أداء نماذج اللغة الكبيرة بشكل كافٍ لهم.

هناك أيضًا أمل في أن يتم توسيع نماذج اللغة الكبيرة لزيادة وصول الناس إلى معلومات الصحة النفسية، والتقييم، والعلاج. تمتلك نماذج اللغة الكبيرة القدرة على دعم تقديم التدخلات في الصحة النفسية في المناطق التي يكون فيها الوصول إلى مقدمي الرعاية النفسية محدودًا وحيث توجد حواجز كبيرة (مثل التكلفة). يمكن أن تساعد أيضًا في تخصيص العلاجات لتناسب تفضيلات الناس الفريدة واهتماماتهم وهوياتهم ولغتهم، على أمل تحسين نتائج العلاج. قد تدعم نماذج اللغة الكبيرة زيادة الوصول من خلال تقديم خدمات الصحة النفسية بشكل أكثر مباشرة، أو يمكن أن تساعد نماذج اللغة الكبيرة في توسيع قوة العمل في الصحة النفسية، وتدريب مقدمي الرعاية المبتدئين وأعضاء المجتمع في الممارسات القائمة على الأدلة على نطاق واسع. لا شك أن هناك تحديات في تنفيذ وتوسيع نماذج اللغة الكبيرة على مستوى العالم. قد يؤدي مراجعة واختبار أطر التنفيذ لهذا السياق الجديد والمتطور والمشاركة في شراكات مدروسة في الصحة العامة والصناعة إلى زيادة احتمالية أنه عندما يتم توسيع نماذج اللغة الكبيرة في جميع أنحاء العالم، يتم الحفاظ على التنفيذ ويدعم بشكل أفضل السكان الأكثر حاجة.

الخطر الثاني هو أن نماذج اللغة الكبيرة ستشارك في ممارسات غير أخلاقية. عندما يتصرف مقدمو الرعاية النفسية البشر بشكل غير أخلاقي، يتعرض المرضى للأذى ويتآكل الثقة العامة [60]. ستسبب نماذج اللغة الكبيرة أيضًا الأذى إذا لم يتم تصميمها وتنفيذها مع مراعاة المبادئ والمعايير الأخلاقية ذات الصلة عند العمل في مجال الصحة النفسية. تشمل المبادئ الأخلاقية الأساسية في سياق الرعاية الصحية الإحسان، وعدم الإيذاء، والعدالة، والاستقلالية [61]. بعد ذلك، نبرز معايير إضافية للسلوك المهني الأخلاقي التي يجب أن تنطبق عندما تشارك نماذج اللغة الكبيرة في تقديم خدمات الصحة النفسية (انظر مبادئ الأخلاقيات لجمعية علم النفس الأمريكية ومدونة السلوك لمبادئ ومعايير أخلاقية موازية).

يجب على نماذج اللغة الكبيرة العمل ضمن حدود كفاءتها والانخراط فقط في المهام المتعلقة بالصحة النفسية التي تم إثبات قدرتها على إنجازها بشكل جيد. يجب على مطوري نماذج اللغة الكبيرة التواصل بوضوح حول حدود ونتائج التقييم ذات الصلة لنماذج اللغة الكبيرة، ويجب تقديم التعليم للأفراد حول متى يكون من المناسب وغير المناسب استخدام نماذج اللغة الكبيرة، ويجب على نماذج اللغة الكبيرة الامتناع عن تقديم المخرجات عندما لا تكون كفؤة في مهمة ما. يجب تقييم كفاءة نماذج اللغة الكبيرة والحفاظ عليها مع مرور الوقت. عندما تكون الكفاءة مفقودة في مجال معين،
يجب عدم نشر نموذج اللغة الكبيرة حتى يتم اكتساب الكفاءة المطلوبة (على سبيل المثال، من خلال إعادة التدريب وضبط النماذج مع التحقق البشري).

يجب على الأفراد تقديم موافقة مستنيرة عند التفاعل مع نماذج اللغة الكبيرة في الصحة النفسية. يجب أن يكونوا على دراية كاملة بطبيعة خدمات الصحة النفسية التي سيتلقونها وما هو دور نماذج اللغة الكبيرة في تلك الخدمة. يجب أن تكون المعلومات المقدمة للأفراد لمساعدتهم في اتخاذ قرارات حول الموافقة مفهومة وتشمل المخاطر والفوائد المحتملة للتفاعل مع نماذج اللغة الكبيرة. يجب أن يكون لدى الأفراد القدرة على اختيار عدم الموافقة على استخدام نماذج اللغة الكبيرة في تقديم رعايتهم الصحية النفسية، فضلاً عن القدرة على سحب موافقتهم والانسحاب من استخدام نماذج اللغة الكبيرة حتى لو تم منح الموافقة في البداية. مع تكامل نماذج اللغة الكبيرة بشكل أكبر في سياقات الرعاية الصحية، يجب توخي الحذر لضمان أن قرارات العملاء بالانسحاب من مشاركة نماذج اللغة الكبيرة أو تقييد مشاركة نماذج اللغة الكبيرة في مهام أقل مباشرة (مثل المهام الإدارية) لا تحد من وصولهم إلى الرعاية الصحية النفسية.

يجب حماية السرية عندما يتفاعل الأفراد مع نماذج اللغة الكبيرة لدعم صحتهم النفسية. يجب إبلاغ الأفراد بوضوح عن التوقعات المتعلقة بالسرية. يجب أن تتضمن هذه المعلومات حدود السرية (على سبيل المثال، في حالة وجود خطر وشيك للانتحار)، والاستخدامات المتوقعة للمعلومات الناتجة عن التفاعل مع نماذج اللغة الكبيرة، وأين وكيف يتم تخزين بياناتهم، وما إذا كان من الممكن حذف بياناتهم. يجب أن تكون السياسات المتعلقة بأمان البيانات صارمة ومتوافقة مع اللوائح ذات الصلة بحماية بيانات الصحة النفسية [34]. تساعد الحلول مثل تطوير تخزين على الجهاز لا يتطلب نقل البيانات الشخصية [62] أو أنظمة تشفير سحابية قوية، والسعي وراء نماذج اللغة الكبيرة التي تدعم الامتثال للقوانين ذات الصلة بحماية البيانات (مثل قانون قابلية نقل وتأمين التأمين الصحي [HIPAA])، وتجميع بيانات الصحة النفسية بشكل مسؤول وإزالة الهوية لتحسين النماذج واختبارها في حماية السرية.

يؤسس مقدمو الرعاية الصحية النفسية علاقات قائمة على الثقة مع الأشخاص الذين يعملون معهم، وهم ملزمون بضمان أن طبيعة العلاقة بين المزود والمريض لا تؤدي إلى الاستغلال أو الأذى. يتم بناء الثقة المناسبة من خلال التقييم الفعال للصحة النفسية والعلاج، وربما الأهم من ذلك، الممارسة الأخلاقية. يجب تقييم الثقة من خلال التغذية الراجعة من الأفراد المشاركين مع نماذج اللغة الكبيرة. إذا تم كسر الثقة، يجب الاعتراف بذلك ويجب العمل على إصلاح الثقة. من ناحية أخرى، قد يثق الناس في نماذج اللغة الكبيرة أكثر مما هو warranted بسبب قدرة هذه النماذج على إنتاج لغة طبيعية تشبه الإنسان والتدريب على التعبير عن العواطف والتعاطف (قد يكون هذا صحيحًا بشكل خاص للأفراد الذين يعانون من مشكلات صحية نفسية مثل القلق [63]) [64]. يمكن أن يكون للثقة غير المكتسبة عواقب، مما يؤدي إلى كشف الأشخاص عن معلومات شخصية أو الثقة في المحتوى الذي تنتجه نماذج اللغة الكبيرة حتى عندما لا يكون دقيقًا. يجب تقديم التعليم حول حدود نماذج اللغة الكبيرة ويجب تحذير الأفراد من الثقة المطلقة في هذه النماذج.

الخطر الثالث هو أن نماذج اللغة الكبيرة قد لا تنتج مخرجات موثوقة أو متسقة. عندما يُطلب منها إكمال نفس المهمة أو تقديم إجابة على نفس السؤال عدة مرات، تنتج نماذج اللغة الكبيرة أحيانًا استجابات مختلفة [46،65]. تعتبر المخرجات المتنوعة والإبداعية ميزة من ميزات نماذج اللغة الكبيرة؛ ومع ذلك، يجب أن تكون الاستجابة الأساسية متسقة حتى عند التعبير عنها بطرق مختلفة. خذ على سبيل المثال نموذج لغة كبير تم تقديمه مرارًا وتكرارًا مع وصف العميل لأعراض الاكتئاب. يجب أن يصل نموذج اللغة الكبير بشكل موثوق إلى الاستنتاج بأن العميل يستوفي معايير اضطراب الاكتئاب الشديد حتى لو تم التواصل بهذا الاستنتاج التشخيصي للعميل باستخدام عبارات مختلفة. يمكن أن تؤدي مشكلات انخفاض موثوقية نماذج اللغة الكبيرة إلى تآكل الثقة وزيادة احتمال الأذى، بما في ذلك دفع بعض الأفراد إلى تشخيص خاطئ أو السعي وراء علاجات ليست الأنسب لمشكلتهم الصحية النفسية.

يجب قياس موثوقية نماذج اللغة الكبيرة وتعزيزها. قد تساعد أساليب التحفيز في تحسين موثوقية نماذج اللغة الكبيرة. تعتبر الاستمرارية الذاتية [66] وتنقيح التجميع [9] استراتيجيات تأخذ عينات من إجابات نماذج متعددة للوصول إلى استجابة أكثر اتساقًا، مما يحسن موثوقية النموذج [9]. يعد تأصيل النماذج في بيانات غير أوصاف لغوية للأعراض (مثل الإشارات السلوكية أو الفسيولوجية الموضوعية) طريقة أخرى لتقليل التباين في أداء نماذج اللغة الكبيرة، حيث قد لا تلتقط الكلمات وحدها جميع المعلومات الضرورية لإكمال مهمة صحية نفسية معينة [67]. أخيرًا، يجب عدم نشر نماذج اللغة الكبيرة حتى تتجاوز العتبات المحددة مسبقًا للموثوقية الكافية.

تواجه نماذج اللغة الكبيرة خطر إنتاج معلومات غير دقيقة حول الصحة النفسية [46،68]. إذا تم تدريب نماذج اللغة الكبيرة على بيانات تحتوي على معلومات غير دقيقة أو قديمة، أو خيارات علاجية غير مناسبة، أو تمثيلات متحيزة للصحة النفسية، يمكن أن يتم إعادة إنتاج تلك المعلومات بواسطة نماذج اللغة الكبيرة [45]. اعتبار إضافي هو أن دقة مخرجات نماذج اللغة الكبيرة لها أبعاد متعددة وليست بسيطة التقييم مثل الإجابات على أسئلة الاختيار من متعدد. يمكن أن تكون الدقة وظيفة لمدى واقعية الإجابة، ومدى تحديدها، أو مدى خلوها من المعلومات غير ذات الصلة. قد يكون إنتاج معلومات غير دقيقة عن الصحة النفسية أكثر ضررًا من عدم وجود معلومات، خاصة عندما قد يكون من الصعب على الفرد اكتشاف الأخطاء أو التناقضات (على سبيل المثال، حول تشخيص صحي نفسي معقد).

يجب تحديد معايير الدقة مسبقًا ويجب أن تكون عالية. عندما لا يتم الوفاء بالعتبات لدقة نماذج اللغة الكبيرة، يكون خطر الأذى مرتفعًا جدًا ويجب ألا تنتج نماذج اللغة الكبيرة مخرجات. تعتمد دقة نماذج اللغة الكبيرة على جودة البيانات التي تم تدريب النموذج عليها وتحسينه [47،69،70]. يجب تكييف نماذج اللغة الكبيرة مع مجال الصحة النفسية؛ حيث تؤدي النماذج التي تم تحسينها على بيانات الصحة النفسية بشكل أفضل من النماذج التي تم تدريبها على بيانات غير متعلقة بالمجال [42] أو المجالات الطبية العامة [16]. عندما تكون البيانات محدودة، يُوصى بإعطاء الأولوية لمجموعات بيانات أصغر ولكن أكثر تنوعًا على مجموعة بيانات واحدة أكبر [19]). يجب أن تكون بيانات التدريب مُنقحة بشكل كبير، ومبنية على مصادر موثوقة و
موثوقة، ومحددة للرعاية الصحية القائمة على الأدلة، وتمثل مجموعات سكانية متنوعة [46،58]. في الصحة النفسية، تستمر طبيعة الإجماع في التطور، ويستمر تزايد كمية البيانات المتاحة، والتي يجب أخذها في الاعتبار عند النظر في ما إذا كان يجب تحسين النماذج بشكل أكبر. قد تساعد استراتيجيات مثل تنفيذ نظام توليد معزز بالاسترجاع، حيث يتم منح نماذج اللغة الكبيرة الوصول إلى قاعدة بيانات خارجية تحتوي على معلومات محدثة وموثوقة الجودة لتضمينها في عملية التوليد، في تحسين الدقة وتمكين الروابط بالمصادر مع الحفاظ أيضًا على الوصول إلى المعلومات المحدثة. يجب مراقبة دقة نماذج اللغة الكبيرة بمرور الوقت لضمان تحسين دقة النموذج وعدم تدهورها مع المعلومات الجديدة [45].

قياس دقة نماذج اللغة الكبيرة في الصحة النفسية معقد. ليس كافيًا أن تتفوق النماذج ببساطة على النماذج السابقة. بدلاً من ذلك، يجب مقارنة أداء نماذج اللغة الكبيرة بأداء الأطباء البشر، ويجب مقارنة كلاهما بمعايير الرعاية القائمة على الأدلة. عندما يتم تكليف نماذج اللغة الكبيرة بتقييم الصحة النفسية، يجب اختبار قدرتها على التنبؤ بالدرجات في تقييمات الصحة النفسية الموثوقة والصحيحة، ويجب أن تلتقي نماذج اللغة الكبيرة بأداء الأطباء البشر في دقة التشخيص. عندما يتم تكليف نماذج اللغة الكبيرة بمساعدة تقديم التدخلات الصحية النفسية، فإن قدرتها على الكشف والدعم والمشاركة في الممارسات القائمة على الأدلة أمر حاسم. تشمل المعايير الإضافية التي يجب مراعاتها عند تقييم دقة نماذج اللغة الكبيرة مستوى الاتفاق بين الأطباء البشر ونماذج اللغة الكبيرة، ومقاييس حجم التأثير بدلاً من مجرد الأهمية الإحصائية، وتوازن الحساسية والخصوصية في إجراء التنبؤات التشخيصية.

يجب على نماذج اللغة الكبيرة التواصل بثقة في دقة المخرجات الناتجة وتحديد أو حجب المخرجات عندما تكون الثقة مفقودة [58]. على سبيل المثال، تحسنت دقة Med-PaLM 2 عندما تم وزن النتائج بناءً على درجات الثقة وعندما تم تحديد عتبة للثقة [20]. يساعد التواصل بالثقة في المخرجات الناتجة وحجب المخرجات عندما تكون الثقة منخفضة في تعزيز الشفافية والثقة في قدرة نماذج اللغة الكبيرة على الأداء في المهام الصحية النفسية والحد من الأضرار المحتملة المرتبطة بإنتاج معلومات غير دقيقة.

يمكن أن يعزز تحسين التعليمات دقة نماذج اللغة الكبيرة. عند تطبيقه على الصحة النفسية، أدى تحسين التعليمات إلى تحسين أداء Mental-Alpaca مقارنةً بالتحفيز بدون تدريب والتحفيز القليل، مما سمح لـ Mental-Alpaca بالوصول إلى مستوى أداء عبر مهام الصحة النفسية المتعددة (مثل تحديد الضغط وتصنيف الأفراد على أنهم مكتئبون أو غير مكتئبين بناءً على منشورات Reddit) مشابه لمستوى أداء Mental-RoBERTa، وهو نموذج مخصص لمهمة معينة. كما أظهر التحفيز للتركيز على الأدلة العاطفية في النص تحسين أداء ChatGPT في مجموعة متنوعة من المهام المتعلقة بالصحة النفسية. ومع ذلك، يمكن أن يؤدي تحسين التعليمات أيضًا إلى زيادة المحتوى غير الدقيق أو غير المناسب؛ وبالتالي، يجب أن تستمر نماذج اللغة الكبيرة في التقييم من حيث الدقة في جميع مراحل تحسين التحفيز.

تواجه نماذج اللغة الكبيرة (LLMs) خطر إنتاج مخرجات دون القدرة على شرح كيفية وصولها إلى القرارات التي اتخذتها أو دون القدرة على تحديد مصدر المعلومات المستخدمة في إنتاج المخرجات. لا يزال هناك الكثير مما هو غير معروف حول كيفية توليد نماذج اللغة الكبيرة للتفكير في ردودها ومدى حساسية هذه الأسباب للسياق والتحفيز. يجب أن يكون واضحًا عند توليد المعلومات باستخدام نماذج اللغة الكبيرة، كيف تم تطوير هذه النماذج واختبارها، وما إذا كانت نماذج اللغة الكبيرة عامة الاستخدام أو تم ضبطها بشكل خاص لمجال الصحة النفسية. تشمل الخطوات الإضافية لتعزيز الشفافية إخبار الأفراد بوضوح بضرورة توخي الحذر عند تفسير أو اتخاذ إجراءات بناءً على مخرجات نماذج اللغة الكبيرة، وكونها واضحة بشأن حدود كفاءة هذه النماذج.

تم تحديد القابلية للتفسير، وهي أحد جوانب الشفافية، كأولوية رئيسية من قبل الأفراد المشاركين في نماذج اللغة الكبيرة المتعلقة بالصحة النفسية. إذا طُلب منهم شرح سبب اتخاذهم قرارًا بشأن توقع تشخيص الصحة النفسية أو التدخل، يجب على نماذج اللغة الكبيرة أن تشرح المعلومات التي تم استخدامها للوصول إلى ذلك القرار. لقد أظهر ChatGPT أنه قادر على شرح سبب تصنيف فرد ما على أنه يعاني من أعراض التوتر أو الاكتئاب، وقد أوضح Med-PaLM 2 لماذا توقع درجة معينة من الأعراض والتشخيص. على الرغم من أن نماذج اللغة الكبيرة قادرة على إنتاج تفسيرات معقولة من خلال تقنيات مثل التفكير المتسلسل، إلا أن هناك حاجة إلى مزيد من البحث لضمان أن تكون التفسيرات متسقة داخليًا. قد تكون القابلية للتفسير مفيدة بشكل خاص في مجال الصحة النفسية، حيث أن جزءًا من تقييم الصحة النفسية والتدخل هو التواصل بشأن نتائج التقييم أو تبرير التدخل للمرضى.

هناك مخاطر مرتبطة بتقديم نماذج اللغة الكبيرة خدمات الصحة النفسية بشكل مجهول. على عكس تطبيقات الصحة النفسية، حيث يمكن أن يكون المحتوى مُنَظَّمًا بشكل كبير، فإن المحتوى الذي تنتجه نماذج اللغة الكبيرة غير متوقع. وهذا يجعل التفاعل مع نماذج اللغة الكبيرة أكثر
م engaging، وأكثر جاذبية، وربما أيضًا أكثر شبهًا بالبشر. ومع ذلك، فإنه يزيد أيضًا من خطر أن تنتج نماذج اللغة الكبيرة محتوى ضارًا أو غير علاجي عندما تُكلف بتقديم خدمات الصحة النفسية بشكل مستقل. هناك حاجة إلى أطر قانونية وتنظيمية لحماية سلامة الأفراد وصحتهم النفسية عند التفاعل مع نماذج اللغة الكبيرة، بالإضافة إلى توضيح مسؤولية الأطباء عند استخدام نماذج اللغة الكبيرة لدعم عملهم أو لتوضيح مسؤولية الأفراد والشركات التي تطور هذه النماذج. هناك مناقشات جارية بشأن تنظيم نماذج اللغة الكبيرة في الطب [74-76] يمكن أن تُفيد في كيفية دعم نماذج اللغة الكبيرة للصحة النفسية مع الحد من إمكانية الضرر والمسؤولية.

يجب أن يكون البشر مشاركين بنشاط في جميع مراحل تطوير واختبار ونشر نماذج اللغة الكبيرة للصحة النفسية. لكي تكون نماذج اللغة الكبيرة للصحة النفسية فعالة، هناك حاجة إلى إشراف بشري مدروس ومستمر (انظر الشكل 4) [46]. يمكن أن يحسن التعلم المعزز من خلال ملاحظات البشر دقة النموذج ويكشف عن استجابات نماذج اللغة الكبيرة الإشكالية. يجب الحصول على هذه الملاحظات من الأفراد الذين يعكسون التنوع في السكان الذين تهدف نماذج اللغة الكبيرة إلى مساعدتهم، بما في ذلك أفراد الجمهور، والمرضى، والأطباء البشريين. يجب الاستفادة من مدخلاتهم لتحديد وتصحيح التحيزات، لضمان أن المحتوى الناتج شامل ومناسب ثقافياً ودقيق، ولتقليل احتمالية الضرر. من المهم بشكل خاص إعطاء الأولوية لوجهات نظر الأفراد المعرضين لمخاطر متزايدة لمشاكل الصحة النفسية (مثل الأقليات الجنسية والجندرية) والأفراد الذين لديهم تجارب حية مع مشاكل الصحة النفسية. يجب أن يلعب هؤلاء الأفراد دوراً مركزياً في تحديد الدور الذي ستلعبه نماذج اللغة الكبيرة في رعاية الصحة النفسية وفي تصميم أدوات تستفيد من نماذج اللغة الكبيرة. عملياً، يجب أن تركز حالات الاستخدام على الفرص لدعم وتعزيز رعاية مقدمي الخدمات. كمثال واحد فقط، قد يكون لنماذج اللغة الكبيرة دور في اقتراح اللغة المستخدمة في الملاحظات السريرية، ولكن يجب أن يكون للأطباء الكلمة الأخيرة في ما إذا كانوا سيعتمدون تلك الاقتراحات أم لا.

الحاجة إلى خدمات الصحة النفسية ملحة، وإمكانات نماذج اللغة الكبيرة (LLMs) لتوسيع الوصول إلى المعلومات حول الصحة النفسية والرعاية الصحية النفسية كبيرة. تتقدم نماذج اللغة الكبيرة بسرعة وقد تم تطبيقها في مجالات التعليم والتقييم والتدخل في الصحة النفسية. ما يعد واعدًا بشكل خاص هو إمكانية نماذج اللغة الكبيرة لتوفير التعليم في الصحة النفسية ومهام التقييم التي تتماشى جيدًا مع نقاط قوة نماذج اللغة الكبيرة. لقد حققت نماذج اللغة الكبيرة تقدمًا استثنائيًا في المهام ذات الصلة مثل الإجابة على الأسئلة الطبية وتقييم الحالات الطبية، حيث وصلت وفي بعض الحالات تجاوزت أداء الأطباء البشر. يجب توخي مزيد من الحذر عند تطبيق نماذج اللغة الكبيرة في التدخلات الصحية النفسية، ولكن هناك أيضًا سبب للتفاؤل بأن نماذج اللغة الكبيرة يمكن أن تساعد في النهاية في دعم أو تعزيز تقديم العلاجات النفسية من قبل البشر. هناك حاجة إلى مزيد من البحث لاختبار قدرة نماذج اللغة الكبيرة على تقديم أو تدريب مقدمي الرعاية في العلاجات المدعومة تجريبيًا، لتكييف الأساليب بشكل مسؤول للشباب والفئات المهمشة، لبناء
تقرير مناسب، وكشف المخاطر المتعلقة بالقلق النفسي الحاد لتحقيق التقدم في هذه المجالات.

من الضروري الانخراط بفعالية في مهام رعاية الصحة النفسية من خلال ضبط نماذج اللغة الكبيرة (LLMs) بشكل خاص لمجال الصحة النفسية، مع إعطاء الأولوية للعدالة والسلامة والممارسات القائمة على الأدلة والسرية. لم يتم ضبط أي نموذج لغة كبير مستخدم على نطاق واسع لأغراض عامة لمجال الصحة النفسية، أو تدريبه على محتوى الصحة النفسية القائم على الأدلة، أو اختباره بشكل كافٍ على المهام المتعلقة بالصحة النفسية. عندما يتم تطوير نماذج اللغة الكبيرة خصيصًا للصحة النفسية، واختبارها لضمان الالتزام بالممارسات القائمة على الأدلة، وتوافقها مع أهداف الأشخاص الذين لديهم تجارب حية مع القضايا النفسية وأولئك الذين لديهم خبرة في رعاية الصحة النفسية، هناك أمل كبير في أنها ستوسع الوصول إلى المعلومات والخدمات النفسية القائمة على الأدلة. إن الاستثمار في تطوير واختبار ونشر نماذج اللغة الكبيرة للصحة النفسية بشكل مسؤول لديه القدرة على عكس ارتفاع معدلات الصحة النفسية العالمية وأيضًا تحسين الصحة النفسية لملايين الأشخاص الذين يحتاجون إلى دعم نفسي.

نحن نقر ونشكر مايكل هاول، دكتور في الطب، ماجستير في الصحة العامة؛ باكول باتيل، ماجستير في الهندسة الكهربائية، ماجستير في إدارة الأعمال؛ ماثيو طومسون، دكتور في الفلسفة، ماجستير في الصحة العامة؛ جوزيف دوولي، ماجستير في الإدارة العامة؛ وديفيد شتاينر، دكتور في الطب، دكتور في الفلسفة، على مراجعتهم وتقديم ملاحظات مفيدة حول هذه الورقة.

RAS وMJM وDJM وMJB هم موظفون في جوجل ويتلقون تعويضات مالية من جوجل وحصصًا في الشركة الأم لجوجل، ألفابت. HRL وSBR هم موظفون في Magnit ويتلقون تعويضات منها، وهم متعاقدون للعمل في جوجل. بالإضافة إلى ذلك، MJB هو مساهم في Meeno Technologies, Inc وThe Orange Dot (Headspace Health). RAS هي مساهمة في Lyra Health وTrek Health، وهي تقدم استشارات لـ Understood.

ACOG: الكلية الأمريكية لأطباء النساء والتوليد
بيرت: تمثيلات الترميز ثنائية الاتجاه من المحولات
DSM-5: الدليل التشخيصي والإحصائي للاضطرابات النفسية، الطبعة الخامسة
EBP: الممارسة المستندة إلى الأدلة
HIPAA: قانون قابلية نقل التأمين الصحي والمساءلة
نموذج اللغة الكبير
نموذج اللغة الكبير للدعم النفسي

تم تحريره بواسطة جون تورو؛ تمت مراجعته من قبل برنت م م كيوس، ياسمين شيات لينغ أونغ، توماس ف هيستون؛ تم تقديمه في 13.04.2024؛ النسخة النهائية المعدلة استلمت في 31.05.2024؛ تم قبولها في 01.06.2024؛ نشرت في 29.07.2024

يرجى الاقتباس كالتالي:
لورانس إتش آر، شنايدر آر إيه، روبين إس بي، ماتاريك إم جي، مكدف دي جي، جونز بيل إم
فرص ومخاطر نماذج اللغة الكبيرة في الصحة النفسية
JMIR الصحة النفسية 2024؛11:e59479
رابط: https://mental.jmir.org/2024/1/e59479
doi: 10.2196/59479
© هانا ر لورانس، رينيه أ شنايدر، سوزان ب روبين، مايا ج ماتاريك، دانيال ج مكدف، ميغان جونز بيل. نشرت أصلاً في JMIR الصحة النفسية (https://mental.jmir.org), 29.07.2024. هذه مقالة مفتوحة الوصول موزعة بموجب شروط ترخيص المشاع الإبداعي (https://creativecommons.org/licenses/by/4.0/), والتي تسمح بالاستخدام غير المقيد، والتوزيع، وإعادة الإنتاج في أي وسيلة، بشرط أن يتم الاقتباس بشكل صحيح من العمل الأصلي، الذي نُشر لأول مرة في JMIR الصحة النفسية. يجب تضمين المعلومات الببليوغرافية الكاملة، ورابط إلى النشر الأصلي على https://mental.jmir.org/، بالإضافة إلى معلومات حقوق الطبع والنشر والترخيص هذه.

JMIR Ment Health 2024;11:e59479; doi: 10.2196/59479
Keywords: artificial intelligence; AI; generative AI; large language models; mental health; mental health education; language model; mental health care; health equity; ethical; development; deployment

Globally, half of all individuals will experience a mental health disorder in their lifetimes [1], and at any given point, 1 in 8 people are experiencing a mental health concern [2]. Despite greater attention provided in the recent years to mental health, the rate of mental health concerns has increased , and access to mental health care has not expanded to adequately meet the demand [4]. In the United States alone, the average time between the onset of mental health symptoms and treatment is 11 years [5], and nearly half of the global population lives in regions with a shortage of mental health professionals [2].

To overcome inadequate access to effective and equitable mental health care, large-scale solutions are needed. The emergence of large language models (LLMs) brings hope
regarding their application to mental health and their potential to provide such solutions due to their relevance to mental health education, assessment, and intervention. LLMs are artificial intelligence models trained using extensive data sets to predict language sequences [6]. By leveraging huge neural architectures, LLMs can organize complex and abstract concepts. This enables them to identify, translate, predict, and generate new content. LLMs can be fine-tuned for specific domains (eg, mental health) and enable interactions in natural language, as do many mental health assessments and interventions, highlighting the enormous potential they have to revolutionize mental health care. In this paper, we first summarize the research done to date applying LLMs to mental health. Then, we highlight key opportunities and risks associated with mental health LLMs and put forth suggested
risk mitigation strategies. Finally, we make recommendations for the responsible use of LLMs in the mental health domain.

Initial tests of LLMs’ capabilities across mental health education, assessment, and intervention are promising. When considering this literature base, which we review next, it is important to first distinguish between general-purpose, consumer LLMs (eg, ChatGPT [OpenAI] and Gemini [Google]) and domain-specific LLMs (eg, Med-LM [Google]). General-purpose LLMs are trained on large corpora of text and are designed to perform a wide range of tasks. Domain-specific LLMs, on the other hand, typically build upon general-purpose LLMs through various strategies of fine-tuning with curated data to complete tasks within an area of focus. Given that general-purpose LLMs are largely trained with unrestricted text, they risk generating inaccurate, biased, stigmatizing, and harmful information about mental health. Developers of domain-specific LLMs can mitigate some of this risk by incorporating strategies during fine-tuning and evaluation such as using high-quality evidence-based information and attribution techniques [7], but it remains difficult to remove all possible risk from LLM-generated content. Given these important distinctions, in the paper that follows we clarify when findings are specific to general-purpose versus domain-specific LLMs where possible.

One area of opportunity for LLMs in the mental health domain is to provide education about mental health (see Figure 1) [8]. Although lagging behind the success of LLMs in the medical domain [9], there is evidence that LLMs are capable of generating accurate, helpful, and immediate mental health information. The psychological support with LLM (Psy-LLM), for example, is a domain-specific LLM designed to answer mental health questions [10]. Psy-LLM was pretrained with a data set of psychology articles, question-answer pairs from psychologists, and by crawling social media platforms. The model achieved moderate levels of helpfulness, fluency, relevance to the question asked, and logic based on human ratings of Psy-LLM responses.

The abilities of general-purpose LLMs to answer questions about mental health has also been evaluated. Sezgin et al [11] compared Google Search, GPT-4 (using ChatGPT), and LaMDA (using Bard [Google DeepMind]) responses to questions about postpartum depression relative to responses from an American College of Obstetricians and Gynecologists (ACOG) frequently asked questions document. Boardcertified human physicians rated ChatGPT responses as more in line with ACOG responses than Bard or Google Search responses, and on average, ChatGPT responses were rated at near ceiling for clinical accuracy, scoring a 3.93 out of a possible 4. Importantly, however, general-purpose LLMs differ in their policies regarding the generation of medical or mental health advice. Bard’s accuracy ratings were impacted by Bard’s policy to advise consulting a health care provider when asked questions about mental health. This practice protects individuals from potential harm, though such responses received lower ratings of quality in this study.

LLM-generated answers to mental health questions may not be comparable to human-generated answers, however. It is critical for LLMs to meet or exceed human performance in order for LLMs to be trusted and to ease the demand for human providers. In the case of Psy-LLM and ChatGPT, there is evidence that responses to mental health and substance use questions fall short of human-generated responses in dimensions such as accuracy, quality, and alignment with evidence-based practice (EBP) [10,12].

Another way that LLMs may serve to educate is to support provider training. Barish et al [13] used ChatGPT to generate content and associated learning objectives for an online learning platform for behavioral health professionals. Researchers compared the time providers needed to write their own content versus the time needed to edit ChatGPTgenerated content, finding that using ChatGPT improved provider efficiency by . LLMs can also be leveraged to train providers to optimize interactions with their patients. As two examples, Chan and Li [14] developed a chatbot trained to mimic a patient capable of describing their mental health symptoms in colloquial terms, and Sharma et al [15] used artificial intelligence to coach peer support providers to increase empathetic responding. These approaches illustrate ways that LLMs can support provider training and potentially enhance provider efficacy without providers becoming reliant on LLMs for in the moment critical thinking or decision-making.

A second function of LLMs within the domain of mental health is to assess mental health symptoms, identify diagnoses, and track changes in mental well-being (see Figure 2 ). LLMs can at times predict mental health symptoms and diagnoses accurately. Ji et al [16] initially developed two domain-specific models, MentalBERT and MentalRoBERTa, pretrained on mental health information. Compared with existing models pretrained in different domains, specifically clinical notes and biomedicine, MentalBERT and MentalRoBERTa were generally better able to detect depression and suicidal ideation from social media posts (notably, these results were achieved with Bidirectional Encoder Representations From Transformers [BERT]-based models that represent early-genderation LLMs, with newer models and architectures demonstrating potential for even more advanced capabilities). LLMs such as Mental-Alpaca, a mental health domain-specific LLM, Med-PaLM 2, a medical domainspecific LLM, and ChatGPT, which is general-purpose, have also been shown to screen for possible depressive symptoms and suicide risk, with varying degrees of accuracy [17-20].

When it comes to predicting mental health diagnoses specifically, there is evidence that Med-PaLM 2 can do so accurately. When presented with a series of case studies from the American Psychiatric Association book of DSM-5 (Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition) case examples [21], Med-PaLM 2 predicted the correct diagnosis of the time, and performance increased to when asked to specify the correct diagnostic category (eg, depressive disorder vs major depressive disorder) [20]. Similarly, when PaLM 2 was fine-tuned with medical domain data and optimized for differential diagnosis, the model was able to generate more appropriate and comprehensive lists of diagnoses than
specialist medical doctors in response to challenging case studies, some of which involved psychiatric diagnoses [22].

LLM-predicted assessments do not, however, always match those of human mental health clinicians, suggesting that more work is needed before LLMs can engage in assessment without human oversight. In one study [23], four iterations of a case vignette [24] were presented to ChatGPT. Each vignette varied in levels of perceived burdensomeness and thwarted belongingness-two primary risk factors for suicide [25,26]. ChatGPT appropriately determined that the risk for suicidal ideation and suicide attempts was highest for the vignette with both high perceived burdensomeness and high thwarted belongingness, but it predicted lower suicide risk overall than did mental health professionals who reviewed the same vignettes. Med-PaLM 2 also at times does not achieve human clinician-level performance. The model predicted more severe posttraumatic stress disorder symptoms than human clinicians from clinical interview data, classified possible cases of posttraumatic stress disorder with high specificity ( 0.98 ) but low sensitivity ( 0.30 ), and the model only correctly predicted whether a case example had a comorbid diagnosis or diagnostic modifier of the time [20].

In all the efforts described thus far, LLMs had been provided with information about symptoms and tasked with determining whether those symptoms indicated a possible mental health concern or diagnosis. LLMs also may be leveraged to ask the questions needed to screen for a mental health concern or to predict a mental health diagnosis. Chan and Li [14] developed a chatbot trained to engage in mental health assessment with patients. Compared with human psychiatrists, the chatbot displayed more empathy and asked more thorough questions about some symptoms (eg, sleep), but was less likely to rule out associated conditions.

A third opportunity for LLMs in the mental health domain is to implement mental health interventions (see Figure 3 ). To date, such efforts have largely focused on chatbots. Prominent chatbots, some of which are LLM-based, include Woebot [27], Wysa [28], Tess [29], Replika [30], Ellie [31], and Sibly [32]. Many of these chatbots were trained in empirically supported treatments such as cognitive behavioral therapy, dialectical behavior therapy, and motivational interviewing. There is initial evidence that such chatbots may be effective in reducing depressive and anxiety symptoms, as well as stress [33-36]. Additionally, research finds that chatbots can be trained to express empathy [37-39], provide nonjudgmental responses [40], and
maintain therapeutic conversations [14] and that individuals can establish therapeutic rapport with chatbots [41].

Caution is warranted when using chatbots to deliver mental health interventions. To date, chatbots are not effective in treating all types of mental health distress [36] and at times have difficulty personalizing interventions [38], forget information (eg, that they had talked with someone previously) [37], and provide nontherapeutic and iatrogenic advice including encouraging substance use, dieting, and weight loss . Also concerning is that chatbots do not consistently or adequately respond to suicide risk, at times being dismissive and neglecting to provide crisis resources or referals to human providers [38,44].

To maximize the positive impact of LLMs on mental health, LLM development, testing, and deployment must be done ethically and responsibly (see Textbox 1). This requires identification and evaluation of risks, taking preemptive
steps to mitigate risks, and establishing plans to monitor for ongoing or new and unexpected risks . It is also important to recognize that the risks associated with the use of LLMs for mental health support may differ across education, assessment, and intervention (see Table 1). Here, we highlight primary risks that largely cut across uses of LLMs for mental health-related tasks and identify potential steps that can be taken to mitigate these risks.

Textbox 1. Recommendations for responsible use of LLMs to support mental health.

LLM: large language model.
This table aims to represent the potential for negative impacts on individuals should LLMs perform problematically across mental health education, assessment, and intervention. As depicted here, there may be additional risks to consider when LLMs engage in direct provision of mental health assessment and, perhaps especially, mental health intervention, relative to mental health education. As such, greater caution is warranted when considering use of LLMs for mental health interventions, and rigorous testing is needed before deployment of these LLMs. Risk estimates provided here are not meant to represent the risk associated with every possible LLM use case nor to minimize the negative impacts that are possible (eg, if LLMs were to perpetuate stigma when engaging in mental health education).

There exists the risk that LLMs perpetuate inequities and stigma, further widening mental health disparities [47]. Mental health concerns are highly stigmatized [48], and there are disparities in who is at risk for mental health concerns, in who is diagnosed with mental health disorders, and with which mental health disorders people are diagnosed [49-51]. There are also inequities in who receives mental health care [52,53]. Much of the publicly available information and discourse about mental health contains inaccurate and stigmatizing information about mental health, and the existing research literature on mental health largely represents the perspectives of people who are White, are educated, are of high socioeconomic status, and speak English [54]. Far less information is available about the etiology of mental health
concerns and effective assessments and interventions for populations that have been pushed to the margins. Training LLMs on existing data without appropriate safeguards and thoughtful human supervision and evaluation can, therefore, lead to problematic generation of biased content and disparate model performance for different groups [45,55-57] (of note, however, there is some evidence that clinicians perceive less bias in LLM-generated responses [58] relative to cliniciangenerated responses, suggesting that LLMs may have the potential to reduce bias compared to human clinicians).

LLMs should disseminate accurate, destigmatizing information about mental health and be trained to identify and combat stigma and discrimination. To do so, models need to be fine-tuned and evaluated for the mental health domain. Training models with data representative of the diverse populations being served is helpful, but new types
of bias, such as semantic biases, may arise in LLMs [59]. Opportunities to train models to identify and exclude toxic and discriminatory language should be explored, both during the training of the underlying foundation models and during the domain-specific fine-tuning (see Keeling [59] for a discussion of the trade-offs of data filtration in this context) [45]. If LLMs perform differently for different groups or generate problematic or stigmatizing language during testing, additional model fine-tuning is required prior to deployment. Individuals developing LLMs should be transparent about the limitations of the training data, the approaches to data filtration and fine-tuning, and the populations for whom LLM performance has not been sufficiently demonstrated.

There is also hope that LLMs can be scaled to increase people’s access to mental health information, assessment, and treatment. LLMs have the potential to support delivery of mental health interventions in regions where access to mental health providers is limited and where significant barriers (eg, cost) exist. They can additionally help to personalize treatments to better fit people’s unique preferences, interests, identities, and language, hopefully improving treatment outcomes. LLMs may support increased access through more direct provision of mental health services, or LLMs can aid the expansion of the mental health workforce, training novice providers and community members in EBP at scale. There will undoubtedly be challenges in implementing and scaling LLMs globally. Revising and testing implementation frameworks for this new and evolving context and engagement in thoughtful public health and industry partnerships could all increase the likelihood that when mental health LLMs are scaled globally, implementation is sustained and best supports the populations most in need.

A second risk is that LLMs will engage in unethical practices. When human mental health providers behave unethically, harm is done to patients and public trust is eroded [60]. LLMs will similarly do harm if they are not designed and implemented in consideration of and are not consistent with relevant ethical principles and standards when operating in the domain of mental health. Core ethical principles in the health care context include beneficence, nonmaleficence, justice, and autonomy [61]. Next, we highlight additional standards of ethical professional conduct that should apply when LLMs engage in mental health service provision (see the American Psychological Association Ethical Principles of Psychologists and Code of Conduct for parallel ethical principles and standards).

LLMs should operate within the boundaries of their competence and only engage in mental health tasks they have rigorously been proven to accomplish well. LLM developers should clearly communicate the limits and relevant evaluation results of LLMs, education should be provided to individuals about when it is and is not appropriate to use LLMs, and LLMs should withhold output when they are not competent in a task. LLM competence should be assessed and maintained over time. When competence is lacking in a certain domain,
the LLM should no longer be deployed until the needed competence is gained (eg, via retraining and fine-tuning models with human validation).

Individuals should provide informed consent when interacting with mental health LLMs. They should be fully informed about the nature of mental health services they will receive and what role LLMs will have in that service. Information presented to individuals to help make decisions about consent should be understandable and include the possible risks and benefits of engaging with LLMs. Individuals should have the ability to choose not to consent to the use of LLMs in the direct provision of their mental health care, as well as the ability to withdraw their consent and opt out of the use of LLMs even if consent was initially given. As LLMs become further integrated into health care contexts, care should be taken to ensure that clients’ decisions to opt out of LLM involvement or to confine LLM involvement to less direct (eg, administrative) tasks do not limit their access to mental health care.

Confidentiality should be protected when individuals interact with LLMs to support their mental health. Individuals should be clearly informed about expectations for confidentiality. This should include information about the limits of confidentiality (eg, in the case of imminent risk for suicide), the foreseeable uses of information generated through engagement with LLMs, where and how their data are stored, and whether it is possible to delete their data. Policies related to data security should be strict and in line with relevant mental health data protection regulations [34]. Solutions such as developing on-device storage that does not require transmission of personal data [62] or systems with robust cloud-based encryption, pursuing LLMs that support compliance with relevant data protection laws (eg, Health Insurance Portability and Accountability Act [HIPAA]), and responsibly aggregating and deidentifying mental health data to fine-tune and test models all help to protect confidentiality.

Human mental health providers establish trusting relationships with those with whom they work and are obligated to ensure that the nature of the trusting providerpatient relationship does not lead to exploitation or harm. Appropriate trust is built through effective mental health assessment and treatment and, perhaps even more crucially, ethical practice. Trust should be evaluated through feedback from individuals engaged with LLMs. If and when trust is broken, this should be acknowledged and work should be done to repair trust. On the other hand, people may trust LLMs more than is warranted because of LLMs’ ability to produce humanlike natural language and to be trained to express emotion and empathy (this may especially be the case for individuals experiencing mental health concerns such as anxiety [63]) [64]. Unearned trust can have consequences, leading people to disclose personal information or trust content generated by LLMs even when it is not accurate. Education should be provided about the limits of LLMs and individuals should be cautioned against blanket trust in these models.

A third risk is that LLMs will not generate reliable or consistent output. When prompted to complete the same task or provide an answer to the same question multiple times, LLMs at times produce different responses [46,65]. Varied and creative output is a benefit of LLMs; however, the underlying response should be consistent even when articulated in different ways. Take for example an LLM repeatedly presented with a client’s description of depressive symptoms. The LLM should reliably reach the conclusion that the client meets the criteria for major depressive disorder even if this diagnostic conclusion is communicated to the client using different phrasing. Issues of low reliability of LLMs can erode trust and increase the possibility of harm, including leading some individuals to be misdiagnosed or to pursue treatments that are not best suited to their mental health concern.

LLM reliability should be measured and enhanced. Prompting approaches may help to improve LLM reliability. Self-consistency [66] and ensemble refinement [9] are strategies that sample multiple model answers to arrive at a more consistent response, improving model reliability [9]. Grounding models in data other than linguistic descriptions of symptoms (eg, objective behavioral or physiological signals) is another way of reducing variability in LLM performance, as words alone may not fully capture all of the necessary information to complete a given mental health task [67]. Finally, LLMs should not be deployed until they exceed prespecified thresholds of adequate reliability.

LLMs risk producing inaccurate information about mental health [46,68]. If LLMs are trained on data that contain inaccurate or outdated information, iatrogenic treatment options, or biased representations of mental health, that information can be reproduced by LLMs [45]. An additional consideration is that accuracy of LLM outputs has multiple dimensions and is not as simple to evaluate as answers to multiple-choice questions. Accuracy can be a function of how factual an answer is, how specific it is, or how devoid of irrelevant information it is. Generating inaccurate mental health information may be more damaging than no information, especially when it may be difficult for an individual to detect inaccuracies or inconsistencies (eg, about a complex mental health diagnosis).

Standards for accuracy should be defined a priori and should be high. When thresholds for LLM accuracy are not met, the risk of harm is too high and LLMs should not generate output. The accuracy of LLMs depends on the quality of data the model is trained and fine-tuned on [47,69,70]. LLMs should be adapted to the domain of mental health; models fine-tuned on mental health data perform better than models trained on non-domain-specific data [42] or general medical domains [16]. When data are limited, it is recommended that smaller but more variable data sets be prioritized over a larger single data set [19]). Training data should be highly curated, be grounded in authoritative and
trusted sources, be specific to evidence-based health care, and represent diverse populations [46,58]. In mental health, the nature of consensus is continuing to evolve, and the amount of data available is continuing to increase, which should be taken into account when considering whether to further fine-tune models. Strategies such as implementing a Retrieval Augmented Generation system, in which LLMs are given access to an external database of up-to-date, quality-verified information to incorporate in the generation process, may help to improve accuracy and enable links to sources while also maintaining access to updated information. Accuracy of LLMs should be monitored over time to ensure that model accuracy improves and does not deteriorate with new information [45].

Measuring the accuracy of mental health LLMs is complex. It is not sufficient for models to merely outperform previous models. Rather, performance of LLMs should be compared with the performance of human clinicians, both of which should be compared against gold-standard, evidencebased care. When LLMs are tasked with mental health evaluation, their ability to predict scores on reliable and valid mental health assessments should be tested, and LLMs should meet human clinician performance in diagnostic accuracy. When LLMs are tasked with aiding mental health intervention delivery, their ability to detect, support, and engage in EBP is critical. Additional criteria to consider when evaluating the accuracy of LLMs include the level of agreement between human clinicians and LLMs, metrics of effect size rather than only statistical significance, and the balance of sensitivity and specificity in making diagnostic predictions.

LLMs should communicate confidence in the accuracy of generated output and limit or withhold output when confidence is lacking [58]. As an example, Med-PaLM 2’s accuracy improved when results were weighted based on confidence scores and when a cutoff threshold was set for confidence [20]. Communicating confidence in generated output and withholding output when confidence is low both help to enhance transparency and trust in LLMs’ ability to perform on mental health tasks and to limit potential harms associated with generating inaccurate information.

Prompt fine-tuning can boost LLM accuracy [9,19,58]. When applied to mental health, instruction fine-tuning improved performance of Mental-Alpaca relative to zeroshot and few-shot prompting and allowed Mental-Alpaca to reach a performance level across multiple mental health tasks (eg, identifying stress and classifying individuals as depressed or not based on Reddit posts) similar to that of Mental-RoBERTa, a task-specific model [19]. Prompting to concentrate on the emotional clues in text was also shown to improve ChatGPT performance on a variety of mental health-related tasks [71]. Conversely, however, instruction prompt fine-tuning can also increase inaccurate or inappropriate content [55]; thus, LLMs should continue to be evaluated for accuracy at all stages of prompt tuning.

LLMs risk generating output without being able to explain how they came to the decisions they did or without being able to identify the source of information used to generate the output [72]. There remains much that is not known about how LLMs generate reasoning for their responses and how sensitive these reasons are to context and prompting. It should be apparent when information is generated using LLMs, how LLMs were developed and tested, and whether LLMs are general-purpose or fine-tuned for the domain of mental health [46,58,68]. Additional steps to enhance transparency include explicitly telling individuals to exercise caution when interpreting or acting on LLM output and being clear about the bounds of LLMs’ competence [39].

Explainability, one aspect of transparency, was identified as a key priority by individuals engaged in mental health LLMs [39]. If asked to explain why they decided on a mental health diagnostic prediction or intervention, LLMs should explain what information was used to come to that decision. ChatGPT has been shown to be able to explain why an individual was classified as experiencing stress or depressive symptoms [71], and Med-PaLM 2 communicated why it predicted a particular symptom score and diagnosis [20]. Although LLMs are capable of producing plausible explanations through techniques such as chain-of-thought reasoning [73], more research is needed to ensure that explanations are internally consistent. Explainability is perhaps especially beneficial in the domain of mental health, as part of mental health assessment and intervention is communicating results of an evaluation or justification for an intervention to patients.

There are risks associated with LLMs providing anonymous mental health services. Unlike mental health apps, where content can be highly curated, the content generated by LLMs is unpredictable. This makes interacting with LLMs more
engaging, more appealing, and perhaps also more humanlike. However, it also increases the risk that LLMs may produce harmful or nontherapeutic content when tasked with independently providing mental health services. Legal and regulatory frameworks are needed to protect individuals’ safety and mental health when interacting with LLMs, as well as to clarify clinician liability when using LLMs to support their work or to clarify the liability of individuals and companies who develop these LLMs. There are ongoing discussions regarding the regulation of LLMs in medicine [74-76] that can inform how LLMs can support mental health while limiting the potential for harm and liability.

Humans should be actively involved in all stages of mental health LLM development, testing, and deployment. For mental health LLMs to be effective, rigorous, and ongoing, human supervision and input are needed (see Figure 4) [46]. Reinforcement learning through human feedback can improve model accuracy and uncover problematic LLM responses . This feedback should be obtained from individuals who reflect the diverse populations the LLM aims to help, including members of the public, patients, and human clinicians . Their input should be leveraged to identify and correct biases, to ensure generated content is inclusive, culturally appropriate, and accurate, and to reduce the likelihood of harm. Particularly important is prioritizing the perspectives of individuals at heightened risk for mental health concerns (eg, sexual and gender minorities) and individuals with lived experience with mental health concerns. These individuals should play a central role in co-defining the role LLMs will play in mental health care and in co-designing tools that leverage LLMs. Practically, use cases should focus on opportunities to support and augment provider care. As just one example, LLMs may have a role in suggesting language used in clinical notes, but clinicians should have the final say in whether they adopt those suggestions or not.

The need for mental health services is pressing, and the potential of LLMs to expand access to information about mental health and to mental health care is great. LLMs are advancing rapidly and have been applied across mental health education, assessment, and intervention. Especially promising is the potential for LLMs to provide mental health education and assessment-tasks that are well aligned with LLM strengths. LLMs have made exceptional progress in related tasks such as answering medical questions and assessing medical conditions, reaching and in some cases exceeding the performance of human clinicians. Greater caution is warranted when applying LLMs to mental health intervention, but there is also cause for optimism that LLMs could eventually help to support or augment human provision of mental health treatments. Additional research is needed in testing LLMs’ ability to deliver or train providers in empirically supported treatments, to responsibly adapt approaches for youth and marginalized populations, to build
appropriate rapport, and to detect risk for high-acuity mental health concerns for progress to be made in these areas.

Critical to effectively engaging in mental health care tasks is fine-tuning LLMs specifically for the domain of mental health and the prioritization of equity, safety, EBP, and confidentiality. No widely used, general-purpose LLM has been fine-tuned for mental health, trained on evidencebased mental health content, or sufficiently tested on mental health-related tasks. When LLMs are developed specifically for mental health, tested to ensure adherence with EBP, and aligned with the goals of people with lived experience with mental health concerns and those who have expertise in mental health care, there is great hope that they will expand access to evidence-based mental health information and services. Investing in developing, testing, and deploying mental health LLMs responsibly has the potential to finally reverse rising global mental health rates and to improve the mental health of the millions of people in need of mental health support.

We acknowledge and thank Michael Howell, MD, MPH; Bakul Patel, MSEE, MBA; Matthew Thompson, DPhil, MPH; Joseph Dooley, MPA; and David Steiner, MD, PhD, for reviewing and providing helpful feedback on this paper.

RAS, MJM, DJM, and MJB are employees of Google and receive monetary compensation from Google and equity in Google’s parent company, Alphabet. HRL and SBR are employees of, and receive compensation from, Magnit and are contracted for work at Google. In addition, MJB is a shareholder in Meeno Technologies, Inc and The Orange Dot (Headspace Health). RAS is a shareholder in Lyra Health and Trek Health, and she consults with Understood.

ACOG: American College of Obstetricians and Gynecologists
BERT: Bidirectional Encoder Representations From Transformers
DSM-5: Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition
EBP: evidence-based practice
HIPAA: Health Insurance Portability and Accountability Act
LLM: large language model
Psy-LLM: psychological support with large language model

Edited by John Torous; peer-reviewed by Brent M M Kious, Jasmine Chiat Ling Ong, Thomas F Heston; submitted 13.04.2024; final revised version received 31.05.2024; accepted 01.06.2024; published 29.07.2024

Please cite as:
Lawrence HR, Schneider RA, Rubin SB, Matarić MJ, McDuff DJ, Jones Bell M
The Opportunities and Risks of Large Language Models in Mental Health
JMIR Ment Health 2024;11:e59479
URL: https://mental.jmir.org/2024/1/e59479
doi: 10.2196/59479
© Hannah R Lawrence, Renee A Schneider, Susan B Rubin, Maja J Matarić, Daniel J McDuff, Megan Jones Bell. Originally published in JMIR Mental Health (https://mental.jmir.org), 29.07.2024. This is an open-access article distributed under the terms of the Creative Commons Attribution License (https://creativecommons.org/licenses/by/4.0/), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work, first published in JMIR Mental Health, is properly cited. The complete bibliographic information, a link to the original publication on https://mental.jmir.org/, as well as this copyright and license information must be included.