DOI: https://doi.org/10.1080/26408066.2026.2616711
PMID: https://pubmed.ncbi.nlm.nih.gov/41548091
تاريخ النشر: 2026-01-18
المؤلف: Zia Qi وآخرون
الموضوع الرئيسي: إساءة معاملة الأطفال والصدمات النفسية
نظرة عامة
تقدم هذه الدراسة إطار عمل منهجي لتقييم الأداء يهدف إلى تقييم أداء نماذج اللغة في تحديد عوامل الخطر الحرجة ضمن سجلات رعاية الأطفال. تركز الأبحاث على أربعة معايير موثوقة – العنف المنزلي، والأسلحة النارية، ومشاكل تعاطي المواد، والأفيونيات – باستخدام مجموعة بيانات تتكون من 500 سجل لكل فئة. تم تقييم سبعة أحجام نماذج تتراوح من 0.6 مليار إلى 32 مليار معلمة في كل من أوضاع التفكير القياسية والموسعة، إلى جانب نوع مختلط من الخبراء. تم قياس الاتفاق مع تصنيفات الخبراء البشريين باستخدام كابا كوهين.
تشير النتائج إلى اكتشاف غير بديهي: النماذج الأكبر لا تؤدي بالضرورة إلى أداء أفضل. ومن الجدير بالذكر أن نموذجًا يحتوي على 4 مليارات معلمة مع تفكير موسع تفوق بشكل كبير على نماذج أكبر بكثير، محققًا اتفاقًا “تقريبًا مثالي” (κ = 0.93-0.96) على ثلاثة معايير و”اتفاقًا كبيرًا” (κ = 0.74) على العنف المنزلي. وهذا يشير إلى أن النماذج الأصغر، عندما يتم تعزيزها بقدرات التفكير، يمكن أن تحقق دقة عالية بينما تكون أكثر كفاءة في استخدام الموارد. تؤكد الدراسة على أهمية طرق التقييم القياسية لاختيار النماذج بشكل مستنير في أبحاث العمل الاجتماعي، داعية إلى اعتماد هذا الإطار لتسهيل نشر الذكاء الاصطناعي المسؤول في السياقات الحساسة.
الطرق
يحدد قسم “المواد والطرق” تصميم التجربة والإجراءات المستخدمة في الدراسة. يوضح اختيار المواد، بما في ذلك الكواشف والمعدات المحددة المستخدمة في جمع البيانات وتحليلها. تم هيكلة المنهجية لضمان إمكانية إعادة الإنتاج، مع أوصاف واضحة للبروتوكولات التجريبية، وإعداد العينات، وأي تحليلات إحصائية تم إجراؤها.
بالإضافة إلى ذلك، قد يتضمن القسم معلومات عن السكان أو حجم العينة، فضلاً عن المعايير الخاصة بشمول أو استبعاد الموضوعات. يتم أيضًا تحديد أي ضوابط و متغيرات ذات صلة لدعم صحة النتائج. بشكل عام، يعمل هذا القسم كدليل شامل لتكرار الدراسة وفهم العمليات الأساسية التي أدت إلى النتائج المقدمة في البحث.
النتائج
في هذا القسم، تم تقييم أداء تكوينات مختلفة من نموذج Qwen3 مقابل أربعة معايير تتعلق بعوامل خطر رعاية الأطفال: مشاكل تعاطي المواد، العنف المنزلي، الأسلحة النارية، ومحتوى متعلق بالأفيون. شملت التقييم سبعة تكوينات من نموذج Qwen3، تتراوح من 0.6 مليار إلى 32 مليار معلمة، تم اختبارها في كل من أوضاع التفكير القياسية والموسعة. بالإضافة إلى ذلك، تم تحليل نوع مختلط من الخبراء (Qwen3-30B-A3B) ونموذج gpt-oss-20b على ثلاثة مستويات من كثافة التفكير.
تم تلخيص النتائج من خلال معاملات كابا كوهين، والتي تم تقديمها في الشكل 1، موضحة أداء النماذج عبر جميع تركيبات المعايير. تم تقديم مقاييس الأداء التفصيلية في الجداول 1 و 2 و 3 و 4، مما يوفر مزيدًا من الرؤى حول فعالية كل تكوين نموذج في معالجة عوامل الخطر المحددة.
المناقشة
تسلط قسم المناقشة في الورقة الضوء على تطور معالجة اللغة الطبيعية (NLP) في تحليل السجلات الإدارية ضمن منظمات الخدمة الإنسانية، وخاصة في رعاية الأطفال. بينما كانت نماذج التعلم الآلي المبكرة تكافح مع تعقيد وفروق السياق في وثائق الخدمة الإنسانية، فإن التقدم الأخير في نماذج اللغة الكبيرة (LLMs) قد حسّن القدرة على تحليل هذه البيانات بشكل فعال. ومع ذلك، فإن استخدام نماذج الحدود مثل ChatGPT يطرح تحديات كبيرة بسبب حساسية البيانات وقضايا الامتثال التنظيمي، حيث تعمل هذه النماذج غالبًا كـ “صناديق سوداء”، مما يعقد موثوقيتها وصيانتها في البيئات الحساسة.
على النقيض من ذلك، توفر نماذج اللغة الأصغر القابلة للنشر محليًا بديلاً قابلاً للتطبيق، مما يسمح للمنظمات بالحفاظ على السيطرة على أمان البيانات وإدارة دورة حياة النموذج. تقترح هذه الدراسة إطار عمل منهجي لتقييم هذه النماذج المحلية، مع التركيز على أدائها في تحديد عوامل خطر رعاية الأطفال الحرجة. من خلال بناء مجموعات بيانات معيارية من سجلات الحالات الموثوقة، تهدف الأبحاث إلى معالجة “مشكلة الميل الأخير” في الذكاء الاصطناعي، مما يضمن أن النماذج يمكن أن تفسر بدقة المصطلحات الخاصة بالمجال. تؤكد النتائج على الحاجة إلى اختيار نماذج بعناية بناءً على الابتكارات المعمارية وأنماط المعالجة، مما يوجه الباحثين والممارسين في الاستفادة من الذكاء الاصطناعي لتعزيز القدرات التحليلية مع الالتزام بمعايير الامتثال.
القيود
يحدد قسم القيود عدة قيود رئيسية تؤثر على تفسير نتائج الدراسة. أولاً، المعايير المستخدمة تعتمد على نظام رعاية الأطفال في ولاية واحدة من 2016 إلى 2018، والتي قد لا تكون ممثلة للولايات القضائية الأخرى بسبب اختلافات في ممارسات التوثيق، والمصطلحات، وخصائص الحالات. وبالتالي، قد لا تؤدي النماذج التي تظهر فعالية على بيانات ميشيغان بنفس الطريقة في الولايات ذات المعايير أو التركيبة السكانية المختلفة. يُوصى بالتحقق عبر عدة ولايات قضائية لتعزيز عمومية النتائج.
ثانيًا، الإطار المستخدم في الدراسة لتصنيف ثنائي يبسط بشكل مفرط التعقيدات المعنية في تقييم عوامل الخطر في ملاحظات الحالات. عادةً ما يشارك الممارسون في تقييمات دقيقة تأخذ في الاعتبار الشدة، والاستمرارية، والعوامل السياقية، والتي لا يتم التقاطها بشكل كافٍ من خلال التصنيفات البسيطة الحاضرة/الغائبة. تركز المعايير على الحالات ذات التصنيفات الواضحة ولا تتناول الحالات الغامضة التي تتطلب حكمًا مهنيًا. قد تعكس استكشاف التصنيفات الترتيبية أو التقييمات المستمرة بشكل أفضل تعقيدات قرارات الممارسة.
بالإضافة إلى ذلك، بينما توفر الدراسة فحصًا متعمقًا لهندسة التفكير الموسع، فإنها تفتقر إلى مقارنات شاملة مع أساليب مبتكرة أخرى، مثل التوليد المعزز بالاسترجاع أو الهياكل متعددة الوسائط. من شأن التقييم المنهجي لمختلف الأساليب المعمارية باستخدام أطر عمل قياسية أن يوفر توجيهًا أكثر قوة لاختيار النماذج. أخيرًا، قد يحد الاعتماد على تصنيف n-shot دون ضبط دقيق خاص بالمهمة من رؤى الأداء، حيث غالبًا ما يعزز الضبط الدقيق على بيانات المجال دقة النموذج. يمكن أن توضح الأبحاث المستقبلية التي تقارن التصنيف بدون لقطة مع النماذج المضبوطة الفوائد المحتملة للضبط الدقيق وتوجه قرارات تخصيص الموارد.
DOI: https://doi.org/10.1080/26408066.2026.2616711
PMID: https://pubmed.ncbi.nlm.nih.gov/41548091
Publication Date: 2026-01-18
Author(s): Zia Qi et al.
Primary Topic: Child Abuse and Trauma
Overview
This study introduces a systematic benchmarking framework aimed at evaluating the performance of language models in identifying critical risk factors within child welfare records. The research focuses on four validated benchmarks—domestic violence, firearms, substance-related problems, and opioids—utilizing a dataset of 500 records for each category. Seven model sizes ranging from 0.6 billion to 32 billion parameters were assessed in both standard and extended reasoning modes, alongside a mixture-of-experts variant. The agreement with human expert classifications was quantified using Cohen’s kappa.
The results indicate a counterintuitive finding: larger models do not necessarily yield better performance. Notably, a 4 billion parameter model with extended reasoning outperformed significantly larger models, achieving “almost perfect” agreement (κ = 0.93-0.96) on three benchmarks and “substantial” agreement (κ = 0.74) on domestic violence. This suggests that smaller models, when enhanced with reasoning capabilities, can achieve high accuracy while being more resource-efficient. The study emphasizes the importance of standardized evaluation methods for informed model selection in social work research, advocating for the adoption of this framework to facilitate responsible AI deployment in sensitive contexts.
Methods
The “Materials and Methods” section outlines the experimental design and procedures employed in the study. It details the selection of materials, including specific reagents and equipment used for data collection and analysis. The methodology is structured to ensure reproducibility, with clear descriptions of the experimental protocols, sample preparation, and any statistical analyses performed.
Additionally, the section may include information on the study population or sample size, as well as the criteria for inclusion or exclusion of subjects. Any relevant controls and variables are also specified to support the validity of the findings. Overall, this section serves as a comprehensive guide for replicating the study and understanding the underlying processes that led to the results presented in the research.
Results
In this section, the performance of various Qwen3 model configurations was assessed against four benchmarks related to child welfare risk factors: substance-related problems, domestic violence, firearms, and opioid-related content. The evaluation included seven configurations of the Qwen3 model, ranging from 0.6 billion to 32 billion parameters, tested in both standard and extended reasoning modes. Additionally, a mixture-of-experts variant (Qwen3-30B-A3B) and the gpt-oss-20b model were analyzed at three levels of reasoning intensity.
The results are summarized through Cohen’s kappa coefficients, which are presented in Figure 1, illustrating the models’ performance across all benchmark combinations. Detailed performance metrics are provided in Tables 1, 2, 3, and 4, offering further insights into the effectiveness of each model configuration in addressing the specified risk factors.
Discussion
The discussion section of the paper highlights the evolution of natural language processing (NLP) in analyzing administrative records within human service organizations, particularly in child welfare. While early machine learning models struggled with the complexity and contextual nuances of human service documentation, recent advancements in large language models (LLMs) have improved the ability to analyze such data effectively. However, the use of frontier models like ChatGPT poses significant challenges due to data sensitivity and regulatory compliance issues, as these models often operate as “black boxes,” complicating their reliability and maintenance in sensitive environments.
In contrast, smaller, locally deployable language models offer a viable alternative, allowing organizations to maintain control over data security and model lifecycle management. This study proposes a systematic benchmarking framework to evaluate these local models, focusing on their performance in identifying critical child welfare risk factors. By constructing benchmark datasets from validated case records, the research aims to address the “last mile problem” in AI, ensuring that models can accurately interpret domain-specific terminology. The findings emphasize the need for careful model selection based on architectural innovations and processing modes, ultimately guiding researchers and practitioners in leveraging AI for enhanced analytical capabilities while adhering to compliance standards.
Limitations
The section on limitations outlines several key constraints affecting the interpretation of the study’s findings. Firstly, the benchmarks utilized are based on a single state’s child welfare system from 2016 to 2018, which may not be representative of other jurisdictions due to variations in documentation practices, terminology, and case characteristics. Consequently, models that demonstrate effectiveness on Michigan data may not perform similarly in states with differing standards or demographics. Validation across multiple jurisdictions is recommended to enhance the generalizability of the results.
Secondly, the binary classification framework employed in the study oversimplifies the complexities involved in assessing risk factors in case notes. Practitioners typically engage in nuanced evaluations that consider severity, chronicity, and contextual factors, which are not adequately captured by simple present/absent classifications. The benchmarks focus on cases with clear classifications and do not address ambiguous situations requiring professional judgment. Exploring ordinal classifications or continuous ratings could better reflect the intricacies of practice decisions.
Additionally, while the study provides an in-depth examination of the extended reasoning architecture, it lacks comprehensive comparisons with other innovative approaches, such as retrieval-augmented generation or multimodal architectures. A systematic evaluation of various architectural methods using standardized frameworks would yield more robust guidance for model selection. Lastly, the evaluation’s reliance on n-shot classification without task-specific fine-tuning may limit performance insights, as fine-tuning on domain-specific data often enhances accuracy. Future research comparing no-shot classification with fine-tuned models could elucidate the potential benefits of fine-tuning and inform resource allocation decisions.