التوصيف المعتمد على LLM ونمذجة معززة بالرموز لتصنيف النغمة العاطفية في منشورات الدعم النظير للسرطان عبر الإنترنت LLM-based annotation and token-augmented modeling for emotional tone classification in online cancer peer-support posts

شارك:
المجلة: PLOS Digital Health، المجلد: 5، العدد: 5
DOI: https://doi.org/10.1371/journal.pdig.0001235
PMID: https://pubmed.ncbi.nlm.nih.gov/42213728
تاريخ النشر: 2026-05-29
المؤلف: Shuo Xu وآخرون
الموضوع الرئيسي: تحليل المشاعر واستخراج الآراء

نظرة عامة

تبحث هذه الدراسة في تطبيق تصنيف نغمة المشاعر الآلي في مجتمعات الدعم النفسي عبر الإنترنت لمرضى السرطان، باستخدام مجموعة بيانات رؤى الصحة النفسية: الناجون الضعفاء من السرطان ومقدمو الرعاية. تقيم الدراسة خمس عائلات من النماذج—الانحدار اللوجستي TF-IDF، الغابة العشوائية، LightGBM، GRU، وALBERT المعدل—على هدف نغمة المشاعر ثلاثي الفئات (سلبي/محايد/إيجابي) المستمد من أربع فئات أصلية. من الجدير بالذكر أن الدراسة تقدم تحسينين: (i) التوصيف القائم على LLM لتوليد “تسميات الذكاء الاصطناعي” و(ii) تعزيز قائم على الرموز يدمج المتغيرات الهيكلية المستخرجة بواسطة LLM، مثل دور المراسل ونوع السرطان، في النص. تم تدريب النماذج باستخدام تقسيم مصنف 60/20/20 للتدريب/التحقق/الاختبار، مع مقاييس الأداء بما في ذلك F1 الموزون وAUC ماكرو واحد ضد البقية، تم تقييمها من خلال فترات الثقة المعاد تشكيلها واختبارات مك نيمار.

تكشف النتائج أن التوصيف القائم على LLM يغير بشكل كبير توزيع التسميات، مما يزيد من انتشار النغمات العاطفية السلبية، مما يتطلب تدقيقًا دقيقًا. يعزز تعزيز الرموز باستمرار أداء النموذج، خاصة بالنسبة لـ GRU وALBERT، بينما يقلل أيضًا من أخطاء عكس القطبية. تستنتج الدراسة أن LLMs يمكن أن تؤدي بفعالية دورين مزدوجين في تصنيف النصوص الصحية—كلاً من الموصِفين ومستخدمي السياق—كل منهما يقدم تحديات منهجية فريدة. تدعو النتائج إلى سير عمل عملي في علم الأورام الداعم الذي يستخدم مراقبة نغمة المشاعر الآلية لتحديد المحتوى ذي الحاجة العالية للمراجعة البشرية، مما يضمن الشفافية والإشراف البشري في عمليات اتخاذ القرار.

مقدمة

تتناول مقدمة هذه الورقة البحثية التحديات النفسية والاجتماعية الكبيرة التي يواجهها الناجون من السرطان ومقدمو الرعاية لهم، مع التأكيد على الحاجة إلى رعاية داعمة فعالة ومراقبة الضغوط في علم الأورام. مع زيادة عدد الناجين من السرطان، أصبحت الطرق التقليدية للفحص والمتابعة تعاني من نقص الموارد. يتجه العديد من الأفراد إلى مجتمعات الدعم النفسي عبر الإنترنت، مما يولد ثروة من بيانات الصحة التي ينتجها المرضى (PGHD) والتي يمكن أن تكمل الرعاية السريرية. ومع ذلك، فإن حجم وتنوع هذه البيانات يعقد المراجعة اليدوية، مما يدفع لاستكشاف تقنيات معالجة اللغة الطبيعية (NLP) لتحليل وتحديد احتياجات الرعاية العاطفية والداعمة من النصوص غير السريرية.

تحدد الورقة فجوتين حرجتين في الدراسات الحالية لـ NLP في علم الأورام: نقص الدمج المنهجي للسياق السريري الهيكلي (مثل دور المؤلف ونوع السرطان) في تحليل اللغة العاطفية، والإمكانات غير المستكشفة لنماذج اللغة الكبيرة (LLMs) كأدوات توصيف لنغمة المشاعر في نصوص دعم مرضى السرطان. يقترح المؤلفون إطارًا منهجيًا يستخدم LLMs لتوليد تسميات نغمة المشاعر والمتغيرات الهيكلية من المشاركات عبر الإنترنت، مما يسهل التحقيق المركز في كيفية تأثير تصنيف LLM على توزيع نغمة المشاعر ودمج السياق الهيكلي لتحسين نتائج التصنيف. تهدف الدراسة إلى وصف التغيرات في توزيعات التسميات التي قدمها LLMs، وتقييم تأثير التعزيز القائم على الرموز على مختلف عائلات النماذج، وتحليل هياكل الأخطاء للمصنفات لإبلاغ استراتيجيات دعم القرار في علم الأورام.

الطرق

في هذه الدراسة، استخدمنا نهج النمذجة المقارن لتصنيف نغمة المشاعر للمشاركات من مجتمعات الدعم النفسي عبر الإنترنت لمرضى السرطان. تشمل المنهجية إطارًا تجريبيًا شاملاً يوضح مصادر البيانات، وتقسيم البيانات إلى مجموعات تدريب، والتحقق، والاختبار، وخطوات المعالجة المسبقة المصممة لعائلات النماذج المختلفة، وإجراءات التقييم المستخدمة. من الجدير بالذكر أن الدراسة تقدم تحسينين جوهريين: أولاً، تم توليد أهداف التنبؤ من خلال عملية توصيف قائمة على نموذج اللغة الكبير (LLM)، المشار إليها باسم تسميات الذكاء الاصطناعي؛ ثانيًا، تم دمج المتغيرات الهيكلية المستمدة من LLM في النماذج كمدخلات إضافية من خلال تعزيز قائم على الرموز.

تم إجراء ضبط المعلمات الفائقة باستخدام مجموعة تحقق محجوزة فقط، مما يضمن أن مقاييس الأداء النهائية تم اشتقاقها من مجموعة اختبار غير متأثرة. يسمح هذا النهج الصارم بتقييم قوي لفعالية النماذج في التقاط الفروق العاطفية الموجودة في مشاركات مجتمع الدعم النفسي.

النتائج

في هذا القسم، يتم تقديم النتائج المتعلقة بأداء النماذج تحت ظروف إدخال مختلفة. على وجه التحديد، تقارن الدراسة الأداء العام لمجموعة الاختبار المحجوزة للنماذج التي تستخدم مدخلات نصية عادية فقط مقابل تلك التي تستخدم مدخلات معززة تشمل رموز الدور ونوع السرطان. تشير النتائج إلى أن المدخلات المعززة تعزز قدرة النموذج على تصنيف الحالات بدقة أكبر.

بالإضافة إلى ذلك، تسلط التحليل الضوء على تأثيرات محددة للفئات من التعزيز لأفضل عائلة نماذج أداء، مما يشير إلى أن بعض الفئات قد تستفيد أكثر من إدراج رموز سياقية إضافية. يتم إجراء مقارنات إحصائية على أساس كل حالة لتقييم الدقة، مما يوفر تقييمًا قويًا لأداء النماذج عبر الهدف ثلاثي الفئات (سلبي/محايد/إيجابي)، والذي يتم اشتقاقه من إطار تسميات أوسع من أربع فئات كما هو موضح في القسم 2.

المناقشة

في هذه الدراسة، تم إجراء تحليل شامل باستخدام مجموعة بيانات متاحة للجمهور ومجهولة الهوية من مجتمعات الدعم النفسي لمرضى السرطان، مع التركيز على نغمة المشاعر للمشاركات التي ينشئها المستخدمون. استخدمت الدراسة أدوات حسابية متنوعة، بما في ذلك مكتبات بايثون مثل NumPy وPandas وscikit-learn لمهام التعلم الآلي التقليدية، بينما تم تطوير نماذج الشبكات العصبية باستخدام PyTorch ومكتبة Hugging Face transformers. تم تناول الاعتبارات الأخلاقية من خلال ضمان أن الدراسة لم تتضمن تفاعلًا مباشرًا مع البشر، مما أعفاها من موافقة مجلس المراجعة المؤسسية (IRB). تم توصيف مجموعة البيانات باستخدام نموذج لغة كبير (LLM) لاشتقاق تسميات نغمة المشاعر، والتي تم تحليلها بعد ذلك للكشف عن التباينات بين التصنيفات البشرية وتلك التي تم إنتاجها بواسطة LLM.

كشفت النتائج عن تحول توزيع كبير في تسميات نغمة المشاعر عند مقارنة التوصيفات البشرية بتلك التي أنتجها LLM. على وجه التحديد، خصص LLM نسبة أعلى من المشاركات لفئة “سلبي جدًا”، مما أدى إلى تفسير أكثر تحفظًا للضغوط في مجموعة البيانات. لتعزيز أداء النموذج، نفذت الدراسة هدفًا ثلاثي الفئات من خلال دمج فئات “سلبي جدًا” و”سلبي” في فئة واحدة “سلبي”. تم دعم هذا التعديل من خلال تقليل عدم الاتفاق في التسمية واعتبر أكثر قابلية للتطبيق سريريًا لفحص الضغوط. أشارت النتائج إلى أن تعزيز بيانات الإدخال بالمتغيرات الهيكلية، مثل دور المراسل ونوع السرطان، قد حسن أداء النموذج عبر مختلف هياكل التعلم الآلي، خاصة في تقليل الأخطاء في التصنيف التي قد يكون لها عواقب تشغيلية كبيرة في الإعدادات السريرية.

القيود

تسلط قيود هذه الدراسة الضوء على عدة مجالات حيوية للتحسين والحذر. أولاً، تم تطبيق موصِف نموذج اللغة الكبير (LLM) تحت تكوين واحد، مما يشير إلى أن التغيرات في تصميم المطالبات، ودرجة الحرارة، وإصدار النموذج، أو خصوصية المعايير يمكن أن تؤثر على سلوك التسمية. لفهم أفضل للتحولات في الشدة الملاحظة، يجب على الأبحاث المستقبلية تنفيذ عمليات إزالة منهجية للمطالبات وبروتوكولات توافق متعددة الموصِفين لتحديد ما إذا كانت هذه التحولات متأصلة في النموذج أو نتيجة لتأطير التعليمات.

ثانيًا، يحد اعتماد الدراسة على متغيرين مساعدين فقط من إمكانية التصنيف الأكثر دقة. يمكن أن يؤدي دمج عوامل هيكلية إضافية، مثل مرحلة العلاج، وذكر الأعراض، وعدم اليقين في التشخيص، إلى تحسين دقة التصنيف، على الرغم من التحديات في الاستخراج الموثوق والاعتبارات الأخلاقية. علاوة على ذلك، بينما يوفر استخدام مجموعة اختبار محجوزة مع فترات ثقة معاد تشكيلها واختبارات إحصائية مقترنة بعض الصرامة، فإن النتائج محددة لمجموعة البيانات والانهيار ثلاثي الفئات، مما يتطلب التحقق الخارجي على مجموعات بيانات مجتمعات السرطان الأخرى لتعزيز القابلية للتعميم. أخيرًا، تبرز المخاوف الأخلاقية المحيطة بنمذجة المشاعر في المجتمعات الصحية، بما في ذلك مخاطر التصنيف الخاطئ وقضايا الخصوصية، الحاجة إلى الحوكمة والشفافية والإشراف البشري في نشر مثل هذه النماذج. بالإضافة إلى ذلك، لم يتم التحقق من المتغيرات الهيكلية المستمدة من LLM، على الرغم من أنها تشير إلى إشارات مفيدة، ضد الترميز اليدوي، مما يثير احتمال وجود أخطاء في الاستخراج قد تؤدي إلى تحيز؛ وبالتالي، يجب أن تركز الأعمال المستقبلية على تقييم موثوقية الاستخراج من خلال المقارنات مع التوصيفات البشرية.

Journal: PLOS Digital Health, Volume: 5, Issue: 5
DOI: https://doi.org/10.1371/journal.pdig.0001235
PMID: https://pubmed.ncbi.nlm.nih.gov/42213728
Publication Date: 2026-05-29
Author(s): Shuo Xu et al.
Primary Topic: Sentiment Analysis and Opinion Mining

Overview

This research investigates the application of automated emotional tone classification in online cancer peer-support communities, utilizing the Mental Health Insights: Vulnerable Cancer Survivors & Caregivers dataset. The study evaluates five model families—TF-IDF Logistic Regression, Random Forest, LightGBM, GRU, and fine-tuned ALBERT—on a three-class emotional tone target (Negative/Neutral/Positive) derived from four original categories. Notably, the study introduces two enhancements: (i) LLM-based annotation for generating “AI labels” and (ii) token-based augmentation that incorporates LLM-extracted structured variables, such as reporter role and cancer type, into the text. The models were trained using a stratified 60/20/20 train/validation/test split, with performance metrics including weighted F1 and macro one-vs-rest AUC, evaluated through bootstrap confidence intervals and McNemar tests.

The findings reveal that LLM-based annotation significantly alters the label distribution, increasing the prevalence of negative emotional tones, which necessitates careful auditing. Token augmentation consistently enhances model performance, particularly for GRU and ALBERT, while also reducing polarity-reversing errors. The study concludes that LLMs can effectively serve dual roles in health-text classification—both as annotators and context extractors—each presenting unique methodological challenges. The results advocate for a practical workflow in supportive oncology that employs automated emotional tone monitoring to identify high-need content for human review, ensuring transparency and human oversight in decision-making processes.

Introduction

The introduction of this research paper addresses the significant psychosocial challenges faced by cancer survivors and their caregivers, emphasizing the need for effective supportive care and distress monitoring in oncology. As the population of cancer survivors increases, traditional methods of screening and follow-up are becoming resource-constrained. Many individuals are turning to online peer-support communities, generating a wealth of patient-generated health data (PGHD) that can complement clinical care. However, the volume and variability of this data complicate manual review, prompting the exploration of natural language processing (NLP) techniques to analyze and triage emotional and supportive care needs from non-clinical text.

The paper identifies two critical gaps in existing oncology NLP studies: the lack of systematic incorporation of structured clinical context (e.g., author role and cancer type) in emotional language analysis, and the unexplored potential of large language models (LLMs) as annotation tools for emotional tone in cancer peer-support texts. The authors propose a methodological framework that utilizes LLMs to generate emotional tone labels and structured variables from online posts, facilitating a focused investigation into how LLM labeling affects emotional tone distribution and the integration of structured context to enhance classification outcomes. The study aims to empirically characterize the shifts in label distributions introduced by LLMs, evaluate the impact of token-based augmentation on various model families, and analyze the error structures of classifiers to inform decision-support strategies in oncology.

Methods

In this study, we employed a comparative modeling approach to classify the emotional tone of posts from online cancer peer-support communities. The methodology encompasses a comprehensive experimental framework that details the data sources, the splitting of data into training, validation, and test sets, preprocessing steps tailored to different model families, and the evaluation procedures utilized. Notably, the study introduces two substantive extensions: first, the prediction targets were generated through a large language model (LLM)-based annotation process, referred to as AI labels; second, structured variables derived from the LLM were integrated into the models as additional inputs through token-based augmentation.

Hyperparameter tuning was conducted exclusively using a held-out validation set, ensuring that the final performance metrics were derived from an untouched test set. This rigorous approach allows for a robust evaluation of the models’ effectiveness in capturing the emotional nuances present in the peer-support community posts.

Results

In this section, the results are presented regarding the performance of models under different input conditions. Specifically, the study compares the overall held-out test performance of models utilizing regular text-only inputs against those employing augmented inputs that include role and cancer-type tokens. The findings indicate that the augmented inputs enhance the model’s ability to classify instances more accurately.

Additionally, the analysis highlights class-specific effects of augmentation for the best-performing model family, suggesting that certain classes may benefit more from the inclusion of additional contextual tokens. Statistical comparisons are conducted on a per-instance basis to assess correctness, providing a robust evaluation of the models’ performance across the three-class target (Negative/Neutral/Positive), which is derived from a broader four-class label framework as outlined in Section 2.

Discussion

In this study, a comprehensive analysis was conducted using a publicly available, de-identified dataset from online cancer support communities, focusing on the emotional tone of user-generated posts. The research employed various computational tools, including Python libraries such as NumPy, Pandas, and scikit-learn for classical machine learning tasks, while neural network models were developed using PyTorch and the Hugging Face transformers library. Ethical considerations were addressed by ensuring that the study did not involve direct human interaction, thus exempting it from institutional review board (IRB) approval. The dataset was annotated using a large language model (LLM) to derive emotional tone labels, which were subsequently analyzed for discrepancies between human and AI-generated classifications.

The findings revealed a significant distributional shift in emotional tone labels when comparing human annotations to those produced by the LLM. Specifically, the LLM assigned a higher proportion of posts to the “very negative” category, which led to a more conservative interpretation of distress in the dataset. To enhance model performance, the study implemented a three-class target by collapsing the “very negative” and “negative” categories into a single “Negative” class. This adjustment was supported by a reduction in labeling disagreement and was deemed more clinically actionable for distress screening. The results indicated that augmenting input data with structured variables, such as reporter role and cancer type, improved model performance across various machine learning architectures, particularly in reducing misclassifications that could have significant operational consequences in clinical settings.

Limitations

The limitations of this study highlight several critical areas for improvement and caution. Firstly, the application of the large language model (LLM) annotator was conducted under a single configuration, suggesting that variations in prompt design, temperature, model version, or rubric specificity could influence labeling behavior. To better understand the observed severity shifts, future research should implement systematic prompt ablations and multi-annotator consensus protocols to determine whether these shifts are inherent to the model or a result of instruction framing.

Secondly, the study’s reliance on only two coarse auxiliary variables limits the potential for more nuanced classification. Incorporating additional structured factors, such as treatment stage, symptom mentions, and prognosis uncertainty, could enhance classification accuracy, albeit with challenges in reliable extraction and ethical implications. Furthermore, while the use of a held-out test set with bootstrapped confidence intervals and paired statistical tests provides some rigor, the findings are specific to the dataset and the three-class collapse, necessitating external validation on other cancer community corpora to bolster generalizability. Lastly, ethical concerns surrounding sentiment modeling in health-related communities, including misclassification risks and privacy issues, underscore the need for governance, transparency, and human oversight in deploying such models. Additionally, the LLM-derived structured variables, while indicative of useful signals, were not validated against manual coding, raising the possibility of extraction errors that could introduce bias; thus, future work should focus on assessing extraction reliability through comparisons with human annotations.