DOI: https://doi.org/10.3389/fpsyg.2025.1640864
PMID: https://pubmed.ncbi.nlm.nih.gov/40880827
تاريخ النشر: 2025-08-13
المؤلف: Se-jin Jung وآخرون
الموضوع الرئيسي: المنهجيات النفسية والاختبار
نظرة عامة
يقدم هذا القسم من ورقة البحث نهجًا جديدًا لتطوير مقاييس نفسية قصيرة الشكل تقلل من عبء المستجيبين مع الحفاظ على سلامة القياس النفسي. تعتمد الطرق التقليدية لتقليل العناصر غالبًا على الإدارة الكاملة للمقياس وتقنيات إحصائية معقدة، مثل تحليل العوامل أو التعلم الآلي. بالمقابل، يقدم هذه الدراسة طريقة مستقلة عن البيانات تستخدم تضمينات دلالية قائمة على المحولات لتقليل العناصر من مجموعة عناصر الشخصية الدولية Big-Five Factor Markers (IPIP-).
استخدم المؤلفون نموذج sentence-t-xxl لتوليد تمثيلات دلالية كثيفة للعناصر، والتي تم تجميعها بعد ذلك باستخدام K-means. تم اختيار العناصر التمثيلية بناءً على قربها من مراكز التجمع، مما أسفر عن شكل قصير حافظ على الهيكل الأصلي المكون من خمسة عوامل. أظهرت الطريقة المقترحة خصائص نفسية قوية، محققة موثوقية وصلاحية متقاربة وأداء تنبؤي قابل للمقارنة مع تلك التي تم الحصول عليها من خلال نظرية الاختبار الكلاسيكية وخوارزمية جينية. تؤكد هذه النتائج فعالية تقنيات التضمين القائمة على المحولات كبديل موفر للموارد ومبني لغويًا لتقليل العناصر في التقييمات النفسية.
مقدمة
في مقدمة هذه الورقة البحثية، يتناول المؤلفون التحديات المرتبطة بالتقييمات النفسية الذاتية، لا سيما التوازن بين كمية العناصر وموثوقية وصلاحية النتائج. يمكن أن تؤدي العناصر الزائدة إلى تعب المستجيبين واستجابات غير منتبهة، بينما قد يؤدي تقليل العناصر إلى المساس بسلامة الهيكل التقييمي. يتم مناقشة الطرق التقليدية مثل نظرية الاختبار الكلاسيكية (CTT) وتحليل المكونات الرئيسية (PCA)، مع تسليط الضوء على قيودها في الاحتفاظ بالعناصر الزائدة وعدم القدرة على التقاط الطبيعة متعددة الأبعاد للبنى. بالمقابل، تقدم نظرية استجابة العنصر (IRT) مزايا مثل تقدير معلمات العنصر بشكل مستقل وزيادة دقة القياس، لكنها لا تزال تعتمد على جمع البيانات السابقة لاختيار العناصر.
لتجاوز هذه القيود، تقترح الدراسة نهجًا جديدًا يستخدم نماذج اللغة الكبيرة (LLMs) لتقليل العناصر دون الحاجة إلى إدارة استبيان مسبق. من خلال استخدام تقنيات التضمين القائمة على المحولات، يهدف المؤلفون إلى ترميز المحتوى الدلالي لعناصر الاستبيان عدديًا وتجميعها بناءً على قرب المتجهات. يتم تطبيق هذه الطريقة على مجموعة عناصر الشخصية الدولية 50-item Big-Five Factor Markers (IPIP-50) لتقييم صلاحية العناصر المخفضة وتوافقها الدلالي مع العناصر الأصلية، مما يظهر تقدمًا محتملاً في تقنيات القياس النفسي.
طرق
في هذه الدراسة، تم جمع البيانات من إدارة عبر الإنترنت لمجموعة عناصر الشخصية الدولية 50-item Big-Five Factor Markers (IPIP-50)، مع إجمالي 1,013,558 استجابة فردية مأخوذة من مشروع القياس النفسي مفتوح المصدر. كانت مقياس IPIP-50، الذي يمكن الوصول إليه علنًا ويستخدم على نطاق واسع، هو الأساس لتقييم طرق تقليل العناصر المختلفة.
لمقارنة فعالية الطريقة المقترحة القائمة على المحولات، قارن الباحثون فعاليتها مع ثلاث طرق بديلة: نظرية الاختبار الكلاسيكية (CTT)، تحليل المكونات الرئيسية (PCA)، والخوارزميات الجينية (GA). تم تقييم الاتساق الداخلي لكل مقياس فرعي مكون من 30 عنصرًا، وتم تقييم الصلاحية المتقاربة من خلال ربط الأشكال القصيرة بالمقياس الكامل IPIP-50. تم قياس الأداء التنبؤي باستخدام أربعة مقاييس انحدار: متوسط الخطأ المطلق (MAE)، جذر متوسط مربع الخطأ (RMSE)، معامل التحديد (R²)، ومتوسط الخطأ النسبي المطلق (MAPE). تم حساب هذه المقاييس لتقييم دقة التنبؤات التي قدمها نموذج التعلم العميق المنفذ في PyTorch، والذي يتكون من ثلاث طبقات متصلة بالكامل تهدف إلى التنبؤ بالنتائج المستمرة بناءً على درجات العناصر من المقياس الأصلي.
نتائج
تظهر نتائج الدراسة فعالية طريقة التضمين القائمة على المحولات لتجميع العناصر من مخزون الشخصية IPIP-50. باستخدام تجميع K-means، تم ترميز العناصر إلى متجهات دلالية، وتم استخدام الخوارزمية الهنغارية لإنشاء خريطة مثالية بين التجمعات الناتجة والعوامل الخمسة الكبرى الأصلية. حقق هذا النهج دقة عامة مثيرة للإعجاب بلغت 96%، مع متوسط درجة سيلويت يبلغ 0.49، مما يدل على توافق قوي بين التجمعات الدلالية وهيكل العوامل الأصلية. أسفر عملية تقليل العناصر عن اختيار 30 عنصرًا تم تجميعها بشكل متماسك حسب مقاييسها الفرعية الخمسة الكبرى، وتم التحقق منها بمعدل درجة سيلويت متوسط يبلغ 0.50.
بالإضافة إلى ذلك، تم تقييم الخصائص النفسية لمجموعة العناصر المخفضة، مما كشف عن ارتباطات متقاربة تتراوح بين 0.95 إلى 0.98 (M = 0.96) وقيم ألفا كرونباخ تتراوح بين 0.73 إلى 0.85 (M = 0.79)، مما يشير إلى موثوقية مقبولة. حافظت الطريقة القائمة على المحولات على توافق قوي مع الهيكل العام للمقياس الأصلي وجودة القياس. أظهرت مقارنات معاملات الصلاحية المتقاربة أن طريقة التضمين القائمة على المحولات أنتجت متوسطًا قدره 0.96، متوافقة بشكل وثيق مع النتائج من طرق تقليل العناصر الأخرى. بينما أظهر الشكل القصير القائم على CTT/PCA أعلى اتساق داخلي (α = 0.83)، أظهرت الطريقة القائمة على المحولات أداءً تنبؤيًا قابلاً للمقارنة، مما يشير إلى جدواها لتقليل العناصر بشكل فعال في تقييمات الشخصية.
مناقشة
تقدم قسم المناقشة في هذه الدراسة نهجًا جديدًا لتقليل العناصر لمجموعة عناصر الشخصية الدولية (IPIP-50) باستخدام تضمينات دلالية قائمة على المحولات. يحقق الأسلوب المقترح تجميع العناصر بناءً على تشابهها الدلالي، محققًا دقة توافق عالية تبلغ 96% مع العوامل الخمسة الكبرى الأصلية. تظهر الدراسة أن هذا النهج لا يحافظ فقط على الخصائص النفسية للمقياس الأصلي، كما يتضح من صلاحية متقاربة عالية (ارتباطات > 0.90) واتساق داخلي مقبول (ألفا كرونباخ > 0.70)، ولكنه أيضًا يقدم بديلاً عمليًا لتقنيات تقليل العناصر التقليدية مثل نظرية الاختبار الكلاسيكية (CTT) وتحليل المكونات الرئيسية (PCA) والخوارزميات الجينية (GA).
على الرغم من نقاط قوته، تعترف الدراسة بعدة قيود، بما في ذلك الاعتماد على نموذج محول واحد (sentence-t5-xxl) والتأثير المحتمل لإعادة صياغة العناصر ذات الدرجات العكسية على نواياها الدلالية. يقترح المؤلفون أن تستكشف الأبحاث المستقبلية هياكل تضمين متنوعة، تأخذ في الاعتبار تأثيرات صياغة العناصر الأصلية، وتقارن ضد مجموعة أوسع من استراتيجيات تقليل العناصر. بالإضافة إلى ذلك، بينما ركزت الدراسة بشكل أساسي على الاتساق الداخلي وصلاحية متقاربة أساسية، تؤكد على الحاجة إلى تقييمات شاملة تشمل ملاءمة النموذج وصلاحية المعايير ذات الصلة لتعزيز صحة الطريقة المقترحة. بشكل عام، تشير النتائج إلى أن التضمينات القائمة على المحولات يمكن أن تكون أداة قيمة في تطوير أدوات تقييم نفسية فعالة وصحيحة.
DOI: https://doi.org/10.3389/fpsyg.2025.1640864
PMID: https://pubmed.ncbi.nlm.nih.gov/40880827
Publication Date: 2025-08-13
Author(s): Se-jin Jung et al.
Primary Topic: Psychometric Methodologies and Testing
Overview
This research paper section presents a novel approach to developing short-form psychological measures that minimizes respondent burden while maintaining psychometric integrity. Traditional methods for item reduction often rely on full-scale administration and complex statistical techniques, such as factor analysis or machine learning. In contrast, this study introduces a data-independent method utilizing transformer-based semantic embeddings to reduce items from the International Personality Item Pool Big-Five Factor Markers (IPIP-).
The authors employed the sentence-t-xxl model to generate dense semantic representations of the items, which were then clustered using K-means. Representative items were selected based on their proximity to the cluster centroids, resulting in a short form that preserved the original five-factor structure. The proposed method demonstrated strong psychometric properties, achieving reliability, convergent validity, and predictive performance comparable to those obtained through Classical Test Theory and a Genetic Algorithm. These findings underscore the efficacy of transformer-based embedding techniques as a resource-efficient and linguistically grounded alternative for item reduction in psychological assessments.
Introduction
In the introduction of this research paper, the authors address the challenges associated with self-report psychological assessments, particularly the trade-off between item quantity and the reliability and validity of results. Excessive items can lead to respondent fatigue and inattentive responses, while reducing items may compromise the assessment’s structural integrity. Traditional methods like Classical Test Theory (CTT) and Principal Component Analysis (PCA) are discussed, highlighting their limitations in retaining redundant items and failing to capture the multidimensional nature of constructs. In contrast, Item Response Theory (IRT) offers advantages such as independent item parameter estimation and enhanced measurement precision, but still relies on prior data collection for item selection.
To overcome these limitations, the study proposes a novel approach utilizing Large Language Models (LLMs) for item reduction without the need for prior questionnaire administration. By employing transformer-based embedding techniques, the authors aim to numerically encode the semantic content of questionnaire items and cluster them based on vector proximity. This method is applied to the International Personality Item Pool 50-item Big-Five Factor Markers (IPIP-50) to evaluate the validity of the reduced items and their semantic alignment with the original items, thereby demonstrating a potential advancement in psychological measurement techniques.
Methods
In this study, data were collected from an online administration of the International Personality Item Pool 50-item Big-Five Factor Markers (IPIP-50), with a total of 1,013,558 individual responses sourced from the Open-Source Psychometrics Project. The IPIP-50 scale, which is publicly accessible and widely utilized, served as the foundation for evaluating various item reduction methods.
To benchmark the proposed transformer-based method, the researchers compared its effectiveness against three alternative approaches: Classical Test Theory (CTT), Principal Component Analysis (PCA), and Genetic Algorithms (GA). Internal consistency was assessed for each derived 30-item subscale, and convergent validity was evaluated by correlating the short forms with the full IPIP-50 scale. Predictive performance was measured using four regression metrics: Mean Absolute Error (MAE), Root Mean Squared Error (RMSE), Coefficient of Determination (R²), and Mean Absolute Percentage Error (MAPE). These metrics were calculated to assess the accuracy of predictions made by a deep learning model implemented in PyTorch, which consisted of three fully connected layers aimed at predicting continuous outcomes based on item-level scores from the original scale.
Results
The results of the study demonstrate the effectiveness of a transformer-based embedding method for clustering items from the IPIP-50 personality inventory. Utilizing K-means clustering, the items were encoded into semantic vectors, and the Hungarian algorithm was employed to establish an optimal mapping between the resulting clusters and the original Big Five factors. This approach achieved an impressive overall accuracy of 96%, with a mean silhouette score of 0.49, indicating strong alignment between the semantic clusters and the original factor structure. The item reduction process yielded a selection of 30 items that were cohesively grouped by their corresponding Big Five subscales, further validated by an average silhouette score of 0.50.
Additionally, the psychometric properties of the reduced item set were assessed, revealing convergent correlations ranging from 0.95 to 0.98 (M = 0.96) and Cronbach’s alpha values between 0.73 and 0.85 (M = 0.79), indicating acceptable reliability. The transformer-based method maintained strong alignment with the original scale’s factorial structure and measurement quality. Comparisons of convergent validity coefficients showed that the transformer embedding method produced an average of 0.96, closely aligning with results from other item reduction methods. While the CTT/PCA-based short form exhibited the highest internal consistency (α = 0.83), the transformer-based method demonstrated comparable predictive performance, suggesting its viability for effective item reduction in personality assessments.
Discussion
The discussion section of this study presents a novel approach to item reduction for the International Personality Item Pool (IPIP-50) using transformer-based semantic embeddings. The proposed method effectively clusters items based on their semantic similarity, achieving a high alignment accuracy of 96% with the original Big Five personality factors. The study demonstrates that this approach not only preserves the psychometric properties of the original scale, as indicated by high convergent validity (correlations > 0.90) and acceptable internal consistency (Cronbach’s alpha > 0.70), but also offers a practical alternative to traditional item reduction techniques such as Classical Test Theory (CTT), Principal Component Analysis (PCA), and Genetic Algorithms (GA).
Despite its strengths, the study acknowledges several limitations, including the reliance on a single transformer model (sentence-t5-xxl) and the potential impact of rephrasing reverse-scored items on their semantic intent. The authors suggest that future research should explore various embedding architectures, consider the effects of original item phrasing, and benchmark against a wider array of item reduction strategies. Additionally, while the study primarily focused on internal consistency and basic convergent validity, it emphasizes the need for comprehensive evaluations that include model fit and criterion-related validity to further validate the robustness of the proposed method. Overall, the findings suggest that transformer-based embeddings can serve as a valuable tool in the development of efficient and valid psychological assessment instruments.