DOI: https://doi.org/10.1038/s41598-024-54242-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38605073
تاريخ النشر: 2024-04-11
المؤلف: Alon Bartal وآخرون
الموضوع الرئيسي: الحزن، الفقدان، والصحة النفسية
نظرة عامة
تدرس هذه الدراسة فعالية تقنيات التعلم الآلي (ML) ومعالجة اللغة الطبيعية (NLP)، باستخدام نموذج المحول المدرب مسبقًا لتوليد المحادثات (ChatGPT) ونموذج النص-التضمين-آدا-002 (ADA)، في تشخيص اضطراب ما بعد الصدمة بعد الولادة (CB-PTSD). شملت الأبحاث عينة من 1,295 امرأة أنجبن خلال الأشهر الستة الماضية، مع استخدام قائمة التحقق من PTSD لـ DSM-5 (PCL-5) كأداة تقييم. تشير النتائج إلى أن نموذج ML الذي تم تطويره باستخدام تمثيل ADA العددي حقق درجة F1 قدرها 0.81، متفوقًا على ChatGPT وستة نماذج كبيرة أخرى من النص-التضمين تم تدريبها مسبقًا على بيانات الصحة النفسية.
تسلط الاستنتاجات المستخلصة من هذه التحقيقات الضوء على قيود نموذج ChatGPT غير المدرب في التعرف بدقة على CB-PTSD، بينما أظهر النموذج القائم على ADA أداءً متفوقًا. تؤكد الدراسة على إمكانيات منهجيات NLP وML في تحليل السرد الشخصي لتعزيز تقييمات الصحة النفسية للأمهات. مع المزيد من التحسينات، يمكن أن يتطور هذا النهج القائم على السرد إلى أداة موثوقة وفعالة من حيث التكلفة وسهلة الاستخدام لتحديد CB-PTSD في البيئات السريرية، مما يسهل التدخلات في الوقت المناسب ويحسن نتائج الصحة النفسية للأمهات. بالإضافة إلى ذلك، قد تكون الاستراتيجيات المستكشفة قابلة للتطبيق على مجموعة أوسع من اضطرابات الصحة النفسية.
الطرق
توضح قسم “المواد والطرق” التصميم التجريبي والإجراءات المستخدمة في الدراسة. يوضح المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، معدات، وعينات بيولوجية، مما يضمن إمكانية تكرار التجارب. كما يصف قسم الطرق البروتوكولات المتبعة لجمع البيانات وتحليلها، بما في ذلك أي تقنيات إحصائية تم تطبيقها لتفسير النتائج.
بالإضافة إلى ذلك، قد يسلط القسم الضوء على أي ضوابط أو متغيرات تم إدارتها لضمان صحة النتائج. بشكل عام، يعتبر هذا الجزء من البحث حاسمًا لفهم كيفية إجراء الدراسة ولتقييم موثوقية الاستنتاجات المستخلصة من النتائج.
النتائج
في قسم النتائج، تقدم الدراسة نتائج من تحليل مجموعات البيانات السردية المتعلقة بالفئة 1 (CB-PTSD) والفئة 0 (لا CB-PTSD). كانت متوسط عدد الكلمات للفئتين 194.67 و155.39، مع عدد وسطي قدره 158 و106، على التوالي. من بين النماذج التي تم تقييمها، أظهر النموذج #3 أداءً متفوقًا عبر عدة مقاييس، بما في ذلك المساحة تحت المنحنى (AUC)، ودرجة F1، والحساسية، كما هو موضح في الجدول 3. تم تدريب هذا النموذج بشكل خاص على 57,460 مثالًا مصممًا لتصنيف CB-PTSD، باستخدام التضمينات لتعزيز قدراته في الكشف.
في المقابل، أظهرت النماذج #1 و#2، التي تم تدريبها مسبقًا وليست متخصصة في هذا المجال، قيودًا كبيرة، حيث حققت درجات F1 أقل من 0.2 في طريقة التقييم 1. أكدت طريقة التقييم 2 أن النموذج #3، الذي يستخدم تضمينات النص-التضمين-آدا-002 من OpenAI، تفوق على النماذج الأخرى، بما في ذلك تلك التي تستخدم تضمينات من PLMs تم تدريبها في سياقات سريرية أو صحية نفسية، في التعرف بدقة على CB-PTSD من البيانات السردية. كانت مقاييس الأداء العامة للنموذج #3 تشمل درجة F1 قدرها 0.81 وAUC قدرها 0.80، مما يدل على فعاليته في المهمة المتخصصة للكشف عن CB-PTSD.
المناقشة
تسلط قسم المناقشة في هذه الورقة البحثية الضوء على استكشاف نماذج معالجة اللغة الطبيعية (NLP) المختلفة، وخاصة التكوينات المختلفة لـ ChatGPT وتضمينات النص، لتقييم اضطراب ما بعد الصدمة المرتبط بالولادة (CB-PTSD) من خلال السرد الشخصي. شملت الدراسة 1,295 امرأة شاركن تجاربهن في الولادة، مع التركيز على تحديد العناصر المزعجة المرتبطة بنتائج الصحة النفسية. تشير النتائج إلى أنه بينما أظهرت نماذج ChatGPT التقليدية (التعلم بدون تدريب والتعلم القليل) قيودًا في التعرف بدقة على CB-PTSD، أظهر نموذج يستخدم تضمينات النص-التضمين-آدا-002 من OpenAI أداءً متفوقًا، حيث حقق 85% حساسية و75% خصوصية في الكشف عن الحالات المحتملة لـ CB-PTSD.
يؤكد المؤلفون على أهمية الفحص المبكر لـ CB-PTSD لتسهيل التدخلات في الوقت المناسب، مشيرين إلى أن البروتوكولات الموحدة الحالية تفتقر إلى ذلك. يقترحون أن نموذجهم، الذي يعتمد فقط على السرد المتعلق بالولادة، يقدم نهجًا جديدًا وفعالًا لجمع البيانات خلال فترة ما بعد الولادة، مما قد يحسن الوصول إلى التشخيص ومعالجة الفجوات في الصحة النفسية للأمهات. ومع ذلك، تعترف الدراسة بالقيود، بما في ذلك الحاجة إلى التحقق الخارجي واستكشاف مصادر بيانات إضافية لتعزيز أداء النموذج. يُقترح العمل المستقبلي لتحسين النموذج من خلال ضبط دقيق محدد للتطبيقات السريرية ودمج أنواع بيانات متنوعة، بهدف تحسين تقييم الصحة النفسية للأمهات واستراتيجيات التدخل.
DOI: https://doi.org/10.1038/s41598-024-54242-2
PMID: https://pubmed.ncbi.nlm.nih.gov/38605073
Publication Date: 2024-04-11
Author(s): Alon Bartal et al.
Primary Topic: Grief, Bereavement, and Mental Health
Overview
This study investigates the effectiveness of machine learning (ML) and natural language processing (NLP) techniques, specifically utilizing the Chat Generative Pre-trained Transformer (ChatGPT) and the text-embedding-ada-002 (ADA) model, in diagnosing post-traumatic stress disorder following childbirth (CB-PTSD). The research involved a sample of 1,295 women who had given birth within the last six months, with the PTSD Checklist for DSM-5 (PCL-5) employed as the assessment tool. The findings indicate that the ML model developed using ADA’s numerical vector representation achieved an F1 score of 0.81, outperforming ChatGPT and six other large text-embedding models previously trained on mental health data.
The conclusions drawn from this investigation highlight the limitations of the untrained ChatGPT model in accurately identifying CB-PTSD, while the ADA-based model demonstrated superior performance. The study underscores the potential of NLP and ML methodologies for analyzing personal narratives to enhance maternal mental health assessments. With further refinements, this narrative-based assessment approach could evolve into a reliable, cost-effective, and user-friendly tool for identifying CB-PTSD in clinical settings, ultimately facilitating timely interventions and improving maternal mental health outcomes. Additionally, the strategies explored may be applicable to a broader range of mental health disorders.
Methods
The section on “Materials and Methods” outlines the experimental design and procedures employed in the study. It details the specific materials used, including any reagents, equipment, and biological samples, ensuring reproducibility of the experiments. The methods section also describes the protocols followed for data collection and analysis, including any statistical techniques applied to interpret the results.
Additionally, the section may highlight any controls or variables that were managed to ensure the validity of the findings. Overall, this part of the research is crucial for understanding how the study was conducted and for assessing the reliability of the conclusions drawn from the results.
Results
In the results section, the study presents findings from the analysis of narrative datasets related to Class 1 (CB-PTSD) and Class 0 (no CB-PTSD). The mean word counts for the two classes were 194.67 and 155.39, with median counts of 158 and 106, respectively. Among the models evaluated, Model #3 demonstrated superior performance across several metrics, including Area Under the Curve (AUC), F1 score, and sensitivity, as detailed in Table 3. This model was specifically trained on 57,460 examples tailored for the classification of CB-PTSD, utilizing embeddings to enhance its detection capabilities.
In contrast, Models #1 and #2, which are pre-trained and not specialized for this domain, exhibited significant limitations, achieving F1 scores below 0.2 in Evaluation Method 1. Evaluation Method 2 further confirmed that Model #3, employing OpenAI’s text-embeddingada-002 embeddings, outperformed other models, including those using embeddings from PLMs trained in clinical or mental health contexts, in accurately identifying CB-PTSD from narrative data. The overall performance metrics for Model #3 included an F1 score of 0.81 and an AUC of 0.80, indicating its effectiveness in the specialized task of CB-PTSD detection.
Discussion
The discussion section of this research paper highlights the exploration of various natural language processing (NLP) models, particularly different configurations of ChatGPT and text embeddings, to assess childbirth-related post-traumatic stress disorder (CB-PTSD) through personal narratives. The study involved 1,295 women who shared their childbirth experiences, with a focus on identifying distressing elements linked to mental health outcomes. The findings indicate that while traditional ChatGPT models (zero-shot and few-shot learning) exhibited limitations in accurately identifying CB-PTSD, a model utilizing OpenAI’s text-embedding-ada-002 embeddings demonstrated superior performance, achieving 85% sensitivity and 75% specificity in detecting potential cases of CB-PTSD.
The authors emphasize the importance of early screening for CB-PTSD to facilitate timely interventions, noting that current standardized protocols are lacking. They propose that their model, which relies solely on childbirth narratives, offers a novel and efficient approach to data collection during the postpartum period, potentially improving accessibility to diagnosis and addressing disparities in maternal mental health. However, the study acknowledges limitations, including the need for external validation and the exploration of additional data sources to enhance model performance. Future work is suggested to refine the model through specific fine-tuning for clinical applications and integration of diverse data types, ultimately aiming to improve maternal mental health assessment and intervention strategies.