DOI: https://doi.org/10.1109/access.2024.3464374
تاريخ النشر: 2024-01-01
المؤلف: Miehleketo Mathebula وآخرون
الموضوع الرئيسي: طرق التنبؤ بسوق الأسهم
نظرة عامة
تبحث الدراسة في تأثير مشاعر العملاء على الأداء المالي للمؤسسات المالية الرائدة في جنوب إفريقيا المدرجة في بورصة جوهانسبرغ (JSE). من خلال الاستفادة من مراجعات العملاء من Hellopeter، تؤكد الدراسة وجود علاقة كبيرة بين مشاعر العملاء والإيرادات الإجمالية لهذه المؤسسات، مما يبرز أهمية رضا العملاء في دفع النجاح المالي. تم استخدام نماذج تحليل المشاعر المتقدمة، بما في ذلك BERT وBiLSTM وSVM والانحدار اللوجستي، للتنبؤ بالمشاعر بدقة ملحوظة، حيث حققت متوسط درجة 98.9% وقياس F1 قدره 97.7% عند دمجها مع ChatGPT من OpenAI للتعليق.
تشير النتائج إلى أن التقلبات في مشاعر العملاء مرتبطة ارتباطًا وثيقًا بالتغيرات في أسعار الأسهم ومؤشرات السوق، مما يجعل هذا التحليل ذا قيمة لصانعي السياسات والهيئات التنظيمية مثل بنك الاحتياطي الجنوب أفريقي (SARB). تهدف الأبحاث المستقبلية إلى توسيع نطاق الدراسة لتشمل المزيد من المؤسسات المالية واستكشاف التحليلات المقارنة مع البنوك المركزية الأخرى، مع معالجة القيود المتعلقة بتوافر البيانات وطرق جمعها. تؤكد الدراسة على إمكانية دمج تحليل المشاعر في عمليات اتخاذ القرار المالي، مما يوفر رؤى يمكن أن تعزز رضا العملاء والاستقرار الاقتصادي العام.
مقدمة
تسلط مقدمة هذه الورقة البحثية الضوء على التأثير التحويلي لوسائل التواصل الاجتماعي على التواصل وسلوك المستهلك، خاصة من خلال عدسة الكلمة الإلكترونية (eWOM). مع انتشار الهواتف الذكية ومنصات وسائل التواصل الاجتماعي، يمكن للأفراد بسهولة مشاركة تجاربهم وآرائهم، مما يؤثر بشكل كبير على قرارات الشراء. تؤكد الورقة على أهمية مراجعات العملاء على منصات مثل Hellopeter في جنوب إفريقيا، التي تسهل التفاعلات بين المستهلكين والشركات وتعزز الشفافية في التسويق. تعتمد الشركات بشكل متزايد على هذه المراجعات لتأسيس مصداقيتها وتكييف استراتيجياتها لتلبية تفضيلات المستهلكين المتطورة.
تناقش الورقة أيضًا التحديات المرتبطة بتحليل المشاعر (SA) في سياق وسائل التواصل الاجتماعي، مشيرة إلى الصعوبات التي تواجهها خوارزميات التعلم الآلي في تفسير السياق والمشاعر بدقة بسبب الطبيعة غير المنظمة لنصوص وسائل التواصل الاجتماعي. تتناول مناهج مختلفة لتحليل المشاعر، بما في ذلك الطرق المعتمدة على المعاجم وطرق التصنيف الخاضعة للإشراف، مع تسليط الضوء على قيودها في التعامل مع الذاتية والسخرية واللغة المجازية. للتغلب على هذه التحديات، يقترح المؤلفون منهجية جديدة تستخدم ChatGPT من OpenAI للتعلم بدون عينة لتصنيف مراجعات العملاء، مع دمج نماذج التعلم العميق لتعزيز دقة التنبؤ بالمشاعر. تهدف الدراسة إلى إنشاء مجموعة بيانات شاملة لمراجعات المنتجات المالية وتطوير نظام تفاعلي لإظهار فعالية اكتشاف السخرية في تحليل المشاعر، مما يسهم في تحسين اتخاذ القرار في استراتيجيات التسويق.
طرق البحث
في هذه الدراسة، يبحث المؤلفون في تطبيق ChatGPT كطريقة للتعليق على مهام تحليل المشاعر (SA)، وتقييم أدائه عبر مجموعات بيانات المشاعر المختلفة ذات الأهداف المتميزة. تتضمن المنهجية ChatGPT من OpenAI، الذي يستخدم نهج التعلم بدون عينة لتوليد استجابات عالية الجودة تشبه استجابات البشر ولتحليل استفسارات العملاء وتعليقاتهم خلال عملية تعليق مجموعة البيانات.
بالإضافة إلى ذلك، يقوم الباحثون بتنفيذ تمثيلات الترميز ثنائية الاتجاه من المحولات (BERT) وشبكات الذاكرة طويلة وقصيرة المدى ثنائية الاتجاه (BiLSTM) لالتقاط التمثيلات الدلالية السياقية بشكل فعال. يتم استخدام طبقة SoftMax بعد ذلك لتحديد اتجاه المشاعر لمجموعات البيانات، مع توفير تصورات عالية الدقة لتفسير مساهمات الميزات. تشير النتائج إلى أن النموذج المقترح يتفوق على النماذج الحديثة (SOTA) من حيث الدقة والكفاءة.
النتائج
تقيّم قسم النتائج في الورقة أداء نظام OpenAI ChatGPT BERT-BiLSTM المقترح من خلال تجارب مختلفة، مع التركيز على خوارزميات تحليل المشاعر المختلفة وتأثير تقنيات زيادة العينة. يتم تلخيص النتائج في الجدول 4، الذي يقدم مقاييس الدقة وقياس F وAUC للنموذج مع وبدون SMOTE (تقنية زيادة العينة للأقليات الاصطناعية). من الجدير بالذكر أن نموذج ChatGPT، عند استخدامه كطريقة لاختيار الميزات مع مصنفات SVM على مراجعات العملاء من Hellopeter، حقق دقة قدرها 0.970 وAUC قدره 0.976، متفوقًا على مصنف الانحدار اللوجستي (LR)، الذي كان لديه نفس الدقة ولكن AUC أقل قدره 0.971.
تكشف التحليلات الإضافية أن نموذج SVM أظهر أعلى أداء على مجموعة بيانات Capitec، مع درجات قدرها 0.981 للدقة، و0.930 لقياس F1، و0.906 لـ AUC بدون SMOTE، متجاوزًا أيضًا مصنفات LR وRF في هذه المقاييس. تشير النتائج إلى أن مصنف SVM مع SMOTE تفوق على النماذج الأخرى، بما في ذلك الجار الأقرب K وNaive Bayes متعدد الحدود، محققًا دقة قدرها 0.967، وF1 قدرها 0.957، وAUC قدرها 0.990 على مجموعة البيانات القياسية. بالإضافة إلى ذلك، تم تسليط الضوء على فعالية ChatGPT في التعامل مع الجمل التي تحتوي على رموز تعبيرية، حيث حافظ على درجات دقة عالية عبر مجموعات البيانات، مما يثبت تفوقه على نماذج تحليل المشاعر التقليدية مثل AFINN وSentiWordNet وVADER.
المناقشة
تسلط المناقشة الضوء على الدور الحاسم لمراجعات العملاء في تعزيز فهم المؤسسات لاحتياجات وتوقعات المستهلكين. من خلال الاستفادة من تحليل المشاعر (SA)، الذي يدمج معالجة اللغة الطبيعية (NLP) وخوارزميات التعلم الآلي، يمكن للشركات تحليل تعليقات العملاء بفعالية من مختلف المنصات عبر الإنترنت. تعاني الطرق التقليدية مثل كيس الكلمات (BOW) وتكرار المصطلحات في عكس تكرار الوثائق (TFIDF) من قيود بسبب عدم قدرتها على التقاط الفروق الدقيقة في اللغة غير الرسمية المستخدمة في مراجعات العملاء. أظهرت التطورات الأخيرة، بما في ذلك تحليل المشاعر على مستوى الجوانب وطريقة كيس المفاهيم المعلمة (TBOC)، أداءً محسنًا من خلال التركيز على المعلومات العاطفية والمفاهيمية، مما يعزز دقة تصنيف المشاعر.
علاوة على ذلك، أدى ارتفاع التجارة الإلكترونية إلى ضرورة تحليل مراجعات المنتجات عبر الإنترنت لربط المشاعر بالبيانات المالية، مما يمكّن الشركات من مواءمة عروضها مع تفضيلات العملاء. أظهرت استخدام تقنيات التعلم الآلي المتقدمة، بما في ذلك التعلم الجماعي والتعلم العميق، تحسينات كبيرة في مهام تصنيف المشاعر. على سبيل المثال، حققت الأساليب الهجينة التي تجمع بين مصنفات مختلفة وتقنيات المعالجة المسبقة معدلات دقة عالية، حيث حقق بعض النماذج أكثر من 98% دقة في مجموعات بيانات معينة. تؤكد النتائج على أهمية الابتكار المستمر في منهجيات تحليل المشاعر لمعالجة التحديات مثل عدم توازن البيانات وتعقيد اللغة الطبيعية، مما يساعد الشركات في الحفاظ على تنافسيتها في السوق.
DOI: https://doi.org/10.1109/access.2024.3464374
Publication Date: 2024-01-01
Author(s): Miehleketo Mathebula et al.
Primary Topic: Stock Market Forecasting Methods
Overview
The research investigates the impact of customer sentiment on the financial performance of South Africa’s leading financial institutions listed on the Johannesburg Stock Exchange (JSE). Utilizing customer reviews from Hellopeter, the study establishes a significant correlation between customer sentiment and the total revenues of these institutions, highlighting the importance of customer satisfaction in driving financial success. Advanced sentiment analysis models, including BERT, BiLSTM, SVM, and logistic regression, were employed to predict sentiment with remarkable accuracy, achieving an average score of 98.9% and an F1-measure of 97.7% when combined with OpenAI’s ChatGPT for annotation.
The findings suggest that fluctuations in customer sentiment are closely linked to changes in stock prices and market indicators, making this analysis valuable for policymakers and regulatory bodies like the South African Reserve Bank (SARB). Future research aims to broaden the scope to include more financial institutions and explore comparative analyses with other central banks, while also addressing limitations related to data availability and collection methods. The study underscores the potential of integrating sentiment analysis into financial decision-making processes, providing insights that can enhance customer satisfaction and overall economic stability.
Introduction
The introduction of this research paper highlights the transformative impact of social media on communication and consumer behavior, particularly through the lens of electronic word-of-mouth (eWOM). With the proliferation of smartphones and social media platforms, individuals can easily share their experiences and opinions, significantly influencing purchasing decisions. The paper emphasizes the importance of customer reviews on platforms like Hellopeter in South Africa, which facilitate consumer-business interactions and enhance transparency in marketing. Businesses are increasingly reliant on these reviews to establish credibility and adapt their strategies to meet evolving consumer preferences.
The paper also addresses the challenges associated with sentiment analysis (SA) in the context of social media, noting the difficulties machine learning algorithms face in accurately interpreting context and sentiment due to the unstructured nature of social media text. It discusses various approaches to SA, including lexicon-based methods and supervised classification methods, while highlighting their limitations in handling subjectivity, sarcasm, and figurative language. To overcome these challenges, the authors propose a novel methodology that utilizes OpenAI’s ChatGPT for zero-shot learning to label customer reviews, combined with deep learning models to enhance sentiment prediction accuracy. The study aims to create a comprehensive dataset for financial product reviews and develop an interactive system to demonstrate the effectiveness of sarcasm detection in sentiment analysis, ultimately contributing to improved decision-making in marketing strategies.
Methods
In this study, the authors investigate the application of ChatGPT as an annotation technique for sentiment analysis (SA) tasks, assessing its performance across various sentiment datasets with distinct objectives. The methodology incorporates OpenAI’s ChatGPT, which utilizes a zero-shot learning approach to generate high-quality, human-like responses and to analyze customer inquiries and feedback during the dataset annotation process.
Additionally, the researchers implement bidirectional encoder representations from transformers (BERT) and bidirectional long short-term memory (BiLSTM) networks to effectively capture contextual semantic representations. A SoftMax layer is subsequently employed to ascertain the sentiment orientation of the datasets, while also providing high-precision visualizations to interpret feature contributions. The results indicate that the proposed model outperforms state-of-the-art (SOTA) models in terms of both accuracy and efficiency.
Results
The results section of the paper evaluates the performance of the proposed OpenAI ChatGPT BERT-BiLSTM system through various experiments, focusing on different sentiment analysis algorithms and the impact of oversampling techniques. The findings are summarized in Table 4, which presents accuracy, F-measure, and AUC metrics for the model with and without SMOTE (Synthetic Minority Over-sampling Technique). Notably, the ChatGPT model, when used as a feature selection method with SVM classifiers on customer reviews from Hellopeter, achieved an accuracy of 0.970 and an AUC of 0.976, outperforming the logistic regression (LR) classifier, which had the same accuracy but a lower AUC of 0.971.
Further analysis reveals that the SVM model exhibited the highest performance on the Capitec dataset, with scores of 0.981 for accuracy, 0.930 for F1, and 0.906 for AUC without SMOTE, while also surpassing LR and RF classifiers in these metrics. The results indicate that the SVM classifier with SMOTE outperformed other models, including K-nearest neighbor and multinomial Naive Bayes, achieving an accuracy of 0.967, F1 of 0.957, and AUC of 0.990 on the standard dataset. Additionally, the effectiveness of ChatGPT in handling sentences with emoji symbols was highlighted, as it maintained high accuracy scores across datasets, further establishing its superiority over traditional sentiment analysis models like AFINN, SentiWordNet, and VADER.
Discussion
The discussion highlights the critical role of customer reviews in enhancing organizational understanding of consumer needs and expectations. By leveraging sentiment analysis (SA), which integrates natural language processing (NLP) and machine learning algorithms, businesses can effectively analyze customer feedback from various online platforms. Traditional methods such as bag-of-words (BOW) and term-frequency-inverse-document frequency (TFIDF) have limitations due to their inability to capture the nuances of informal language used in customer reviews. Recent advancements, including aspect-level SA and the tagged bag-of-concepts (TBOC) method, have shown improved performance by focusing on emotional and conceptual information, thereby enhancing sentiment classification accuracy.
Moreover, the rise of e-commerce has necessitated the analysis of online product reviews to correlate sentiments with financial data, enabling companies to align their offerings with customer preferences. The use of advanced machine learning techniques, including ensemble learning and deep learning, has demonstrated significant improvements in sentiment classification tasks. For instance, hybrid approaches combining various classifiers and preprocessing techniques have yielded high accuracy rates, with some models achieving over 98% accuracy in specific datasets. The findings underscore the importance of continuous innovation in sentiment analysis methodologies to address challenges such as data imbalance and the complexity of natural language, ultimately aiding businesses in maintaining competitiveness in the market.