DOI: https://doi.org/10.18653/v1/2025.acl-long.914
تاريخ النشر: 2025-01-01
المؤلف: Elisa Bassignana وآخرون
الموضوع الرئيسي: اللغويات، تنوع اللغة، والهوية
نظرة عامة
تبحث الدراسة في تأثير الوضع الاجتماعي والاقتصادي (SES) على التفاعل بين الأفراد وتقنيات اللغة، وخاصة النماذج اللغوية الكبيرة (LLMs). من خلال استطلاع آراء 1,000 مشارك من خلفيات SES متنوعة وتحليل 6,482 طلبًا من تفاعلاتهم مع LLMs، تكشف الدراسة عن تفاوتات كبيرة في أنماط الاستخدام. يميل الأفراد ذوو SES الأعلى إلى التفاعل مع LLMs بشكل أكثر تكرارًا ولأداء مهام معقدة مثل البرمجة وتحليل البيانات، بينما يظهر مستخدمو SES الأدنى ميلاً لتجسيد هذه التقنيات واستخدام لغة أكثر وضوحًا.
تشير النتائج إلى أن SES يؤثر ليس فقط على تكرار وطبيعة التفاعلات مع تقنيات اللغة ولكن أيضًا على المواضيع التي يتم مناقشتها، حيث يركز مستخدمو SES الأعلى على مواضيع مثل الشمولية والسفر. يسلط هذا التفاوت الضوء على الفجوة الرقمية المستمرة، مما يشير إلى أنه بينما يتزايد الوصول إلى تقنيات اللغة التوليدية، لا تزال الفروق اللغوية المتأصلة بناءً على العوامل الاجتماعية والاقتصادية قائمة. تدعو الدراسة إلى تطوير تقنيات معالجة اللغة الطبيعية (NLP) الشاملة التي تعالج هذه الفجوات وتعمل على سد الفجوة في الذكاء الاصطناعي عبر مجموعات SES المختلفة.
مقدمة
تسلط المقدمة الضوء على التأثير التحويلي للنماذج اللغوية الكبيرة (LLMs)، وخاصة روبوتات الدردشة الذكية مثل Chat-GPT وDeepSeek، على التفاعل بين الإنسان والتكنولوجيا. بينما أصبحت هذه التقنيات متاحة على نطاق واسع، تظهر أنماط استخدامها تباينًا كبيرًا عبر مجموعات ديموغرافية مختلفة. يشير هذا التباين في التفاعل إلى أنه، على الرغم من الحماس العام تجاه LLMs، تظل العوامل المؤثرة في اعتمادها وتكرار استخدامها معقدة ومتعددة الأبعاد. فهم هذه الاختلافات أمر حاسم لتحسين تصميم وتنفيذ روبوتات الدردشة الذكية لتلبية احتياجات المستخدمين المتنوعة بشكل أفضل.
الطرق
في هذا القسم، يحدد المؤلفون منهجيتهم لتحليل مجموعة من الطلبات من خلال نمذجة الموضوعات. تتضمن العملية أربع خطوات رئيسية: (1) تضمين الطلبات باستخدام SentenceTransformer وM3-Embedding، (2) تجميع الطلبات المضمنة باستخدام UMAP وHDBSCAN، (3) إنشاء أوصاف مختصرة لكل مجموعة باستخدام GPT-4، و(4) إجراء تقييم يدوي للمجموعات وأوصافها.
تكشف نتائج التجميع عن مواضيع شائعة عبر فئات اجتماعية مختلفة، بما في ذلك مواضيع مثل الترجمة، الصحة النفسية، النصائح الطبية، والكتابة. من الجدير بالذكر أن بعض المواضيع أكثر شيوعًا في فئات اجتماعية معينة؛ على سبيل المثال، تظهر الطبقة العليا مجموعة متميزة تركز على توصيات السفر ومفاهيم مجردة مثل الشمولية والتواصل الفعال. بالإضافة إلى ذلك، بينما يعد المال موضوعًا مشتركًا عبر جميع الطبقات، فإنه يظهر بشكل مختلف: تسعى الطبقة الدنيا للحصول على نصائح لتوفير المال، بينما تطلب الطبقة العليا استراتيجيات استثمار. تختلف الطلبات المتعلقة بالوظائف أيضًا حسب الطبقة، حيث تركز الطبقة المتوسطة على طلبات وظائف محددة، والطبقة الدنيا على وظائف منخفضة المهارات بشكل عام، والطبقة العليا على فرص عمل عالية المستوى. أخيرًا، تسلط مجموعة متعلقة بالطعام الضوء على اهتمام الطبقة العليا الفريد بالخيارات الصحية والراقية في الطهي.
النتائج
في هذه الدراسة، جمعنا ما مجموعه 1,000 استجابة لاستطلاع لتحليل الوضع الاجتماعي والاقتصادي (SES) باستخدام مقياس ماكارثر. تم تصنيف SES المبلغ عنه ذاتيًا من المشاركين إلى ثلاث مجموعات: الأدنى (الدرجات 1-3)، المتوسطة (4-7)، والعليا (8-10)، بما يتماشى مع نظام الطبقات الهرمي الغربي. كما جمعنا بيانات حول عوامل اجتماعية واقتصادية متنوعة تم تحديدها سابقًا في أبحاث معالجة اللغة الطبيعية (NLP) كبدائل لتقدير SES، مثل مستويات التعليم، والتوظيف الحالي، والمهن الأبوية، كما صنفتها تصنيف المهارات والكفاءات والمؤهلات والمهن الأوروبية (ESCO).
تهدف النتائج إلى تعزيز دمج اعتبارات SES في أبحاث NLP المستقبلية، سواء من خلال مقاييس ذاتية أو مؤشرات بديلة. يتم تقديم إحصائيات مفصلة حول خلفيات المشاركين التعليمية، وحالة السكن، والهوايات، والديموغرافيات الإضافية—بما في ذلك الجنس، والعمر، والجنسية، والعرق، والحالة الاجتماعية، والدين—في الملحق ب، الذي يهدف إلى إثراء فهم عينة السكان وآثارها على نتائج الدراسة.
المناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على التفاوتات الكبيرة في اعتماد واستخدام تقنيات اللغة، وخاصة النماذج اللغوية الكبيرة (LLMs)، عبر مجموعات الوضع الاجتماعي والاقتصادي (SES) المختلفة. تشير النتائج إلى أن الأفراد من خلفيات SES الأعلى يستخدمون LLMs بشكل أكثر تكرارًا لأغراض مهنية وتعليمية، بينما يميل أولئك من خلفيات SES الأدنى إلى التفاعل مع هذه التقنيات بشكل أساسي لأغراض الترفيه والاستفسارات العامة. تثير هذه الاتجاهات مخاوف بشأن اتساع “فجوة الذكاء الاصطناعي”، حيث قد لا تتمكن المجتمعات المهمشة من الوصول إلى هذه التقنيات فحسب، بل تواجه أيضًا تحديات في الاستفادة منها بشكل فعال بسبب اختلافات في محو الأمية الرقمية والوصول إلى الموارد.
تؤكد الدراسة على أهمية معالجة هذه التفاوتات لمنع تفاقم عدم المساواة القائمة. تكشف أن هناك اختلافات لغوية في استخدام الطلبات بين مجموعات SES، حيث يفضل الأفراد ذوو SES الأعلى استخدام لغة أكثر تجريدًا وطلبات مختصرة، بينما يميل مستخدمو SES الأدنى إلى استخدام لغة أبسط وأكثر وضوحًا. قد تؤدي هذه الاختلافات إلى نتائج متحيزة في أداء LLM، حيث قد لا تخدم النماذج المدربة على بيانات تعكس أنماط استخدام SES الأعلى بشكل كافٍ مستخدمي SES الأدنى. يدعو المؤلفون إلى إجراء أبحاث مستقبلية لتطوير تقنيات لغوية شاملة ومعايير تقييم تأخذ في الاعتبار اختلافات SES، بهدف سد الفجوة الرقمية وضمان الوصول العادل إلى فوائد الذكاء الاصطناعي.
القيود
تقدم الدراسة عدة قيود قد تؤثر على تعميم نتائجها. أولاً، تقتصر الأبحاث على عمال الحشود من الولايات المتحدة والمملكة المتحدة الذين يستخدمون منصة Prolific، مما قد لا يعكس بدقة السكان الأوسع. من المتوقع أن يكون الوضع الاجتماعي والاقتصادي (SES) للمشاركين مائلًا نحو الطبقات الاجتماعية المتوسطة إلى المنخفضة، مما قد يؤثر على النتائج. بالإضافة إلى ذلك، قد تؤدي معرفة عمال الحشود بالتكنولوجيا إلى زيادة احتمال استخدام تقنيات اللغة مقارنة بالسكان العامين. يثير هذا مخاوف بشأن نزاهة البيانات، حيث قد يستخدم المشاركون النماذج اللغوية الكبيرة (LLMs) للمساعدة في الردود على الاستطلاعات، على الرغم من السياسات الصريحة للمنصة ضد مثل هذه الممارسات.
علاوة على ذلك، تستخدم الدراسة مقياس ماكارثر لقياس SES، الذي يعتمد على مقاييس ذاتية يمكن أن تقدم غموضًا وتحاملًا. قد يدرك المشاركون وضعهم الاجتماعي والاقتصادي بالنسبة لأقرانهم، وغالبًا ما يضعون أنفسهم في منتصف الطيف. ومع ذلك، يعترف المؤلفون بأن إدراك الفرد لوضعه الاجتماعي والاقتصادي يؤثر بشكل كبير على سلوكياته ومواقفه، مما يبرر تضمينه في الاستطلاع على الرغم من قيوده.
DOI: https://doi.org/10.18653/v1/2025.acl-long.914
Publication Date: 2025-01-01
Author(s): Elisa Bassignana et al.
Primary Topic: Linguistics, Language Diversity, and Identity
Overview
The research investigates the impact of socioeconomic status (SES) on the interaction between individuals and language technologies, particularly Large Language Models (LLMs). By surveying 1,000 participants from varied SES backgrounds and analyzing 6,482 prompts from their interactions with LLMs, the study reveals significant disparities in usage patterns. Higher SES individuals tend to engage with LLMs more frequently and for complex tasks such as coding and data analysis, while lower SES users exhibit a tendency to anthropomorphize these technologies and utilize more concrete language.
The findings indicate that SES influences not only the frequency and nature of interactions with language technologies but also the topics discussed, with higher SES users focusing on themes like inclusivity and travel. This stratification highlights the ongoing digital divide, suggesting that while access to generative language technologies is increasing, inherent linguistic differences based on socioeconomic factors persist. The research advocates for the development of inclusive natural language processing (NLP) technologies that address these disparities and work towards bridging the AI gap across different SES groups.
Introduction
The introduction highlights the transformative impact of Large Language Models (LLMs), particularly AI chatbots such as Chat-GPT and DeepSeek, on human-technology interaction. While these technologies have become widely accessible, their usage patterns exhibit significant variability across different demographic groups. This discrepancy in engagement suggests that, despite the overall enthusiasm for LLMs, factors influencing their adoption and frequency of use remain complex and multifaceted. Understanding these variations is crucial for optimizing the design and implementation of AI chatbots to better serve diverse user needs.
Methods
In this section, the authors outline their methodology for analyzing a collection of prompts through topic modeling. The process involves four key steps: (1) embedding the prompts using SentenceTransformer and M3-Embedding, (2) clustering the embedded prompts with UMAP and HDBSCAN, (3) generating concise descriptions for each cluster using GPT-4, and (4) conducting a manual evaluation of the clusters and their descriptions.
The clustering results reveal common themes across different social classes, including topics such as translation, mental health, medical advice, and writing. Notably, certain topics are more prevalent in specific social classes; for instance, the upper class exhibits a distinct cluster focused on travel recommendations and abstract concepts like inclusivity and effective communication. Additionally, while finance is a shared topic across all classes, it manifests differently: the lower class seeks money-saving advice, whereas the upper class requests investment strategies. Job-related prompts also vary by class, with the middle class focusing on specific job applications, the lower class on generic low-skilled positions, and the upper class on high-level job opportunities. Lastly, a food-related cluster highlights the upper class’s unique interest in healthy and upscale culinary options.
Results
In this study, we collected a total of 1,000 survey responses to analyze socioeconomic status (SES) using the Macarthur scale. Participants’ self-reported SES was categorized into three groups: lower (scores 1-3), middle (4-7), and upper (8-10), aligning with the Western hierarchical class system. We also gathered data on various socioeconomic factors previously identified in natural language processing (NLP) research as proxies for estimating SES, such as education levels, current employment, and parental occupations, as classified by the European Skills, Competences, Qualifications and Occupations (ESCO) taxonomy.
The findings aim to promote the integration of SES considerations in future NLP research, whether through self-reported measures or proxy indicators. Detailed statistics regarding participants’ educational backgrounds, housing status, hobbies, and additional demographics—including gender, age, nationality, ethnicity, marital status, and religion—are provided in Appendix B, which serves to enrich the understanding of the sample population and its implications for the study’s outcomes.
Discussion
The discussion section of the research paper highlights significant disparities in the adoption and usage of language technologies, particularly large language models (LLMs), across different socioeconomic status (SES) groups. The findings indicate that individuals from higher SES backgrounds utilize LLMs more frequently for professional and educational purposes, while those from lower SES backgrounds tend to engage with these technologies primarily for entertainment and general inquiries. This trend raises concerns about the widening “AI Gap,” as marginalized communities may not only lack access to these technologies but also face challenges in effectively leveraging them due to differences in digital literacy and access to resources.
The research underscores the importance of addressing these disparities to prevent the exacerbation of existing inequalities. It reveals that linguistic differences in prompt usage exist among SES groups, with higher SES individuals favoring more abstract language and concise prompts, while lower SES users tend to employ simpler, more concrete language. These variations could lead to biased outcomes in LLM performance, as models trained on data reflecting higher SES usage patterns may not adequately serve lower SES users. The authors advocate for future research to develop inclusive language technologies and evaluation benchmarks that account for SES differences, aiming to bridge the digital divide and ensure equitable access to the benefits of AI.
Limitations
The study presents several limitations that may affect the generalizability of its findings. Firstly, the research is confined to crowdworkers from the U.S. and U.K. utilizing the Prolific platform, which may not accurately reflect the broader population. The socioeconomic status (SES) of participants is anticipated to be skewed towards the middle to low social classes, potentially influencing the results. Additionally, the familiarity of crowdworkers with technology could lead to a higher likelihood of utilizing language technologies compared to the general population. This raises concerns about the integrity of the data, as participants might employ large language models (LLMs) to assist in survey responses, despite explicit platform policies against such practices.
Moreover, the study employs the Macarthur Scale for measuring SES, which relies on subjective metrics that can introduce ambiguity and bias. Participants may perceive their SES in relation to their peers, often positioning themselves in the middle of the spectrum. Nonetheless, the authors acknowledge that an individual’s perception of their SES significantly impacts their behaviors and attitudes, justifying its inclusion in the survey despite its limitations.