DOI: https://doi.org/10.1007/s10803-026-07249-9
PMID: https://pubmed.ncbi.nlm.nih.gov/41706307
تاريخ النشر: 2026-02-18
المؤلف: Alessandro Carollo وآخرون
الموضوع الرئيسي: محو الأمية الصحية وإمكانية الوصول إلى المعلومات
نظرة عامة
تبحث هذه الدراسة في دقة المعلومات المتعلقة بالتوحد على تيك توك، مع التركيز بشكل خاص على المحتوى الذي تم مشاركته تحت الوسم #Autismo. قامت الدراسة بتحليل 408 بيانات من 148 فيديو، تم تصنيفها من قبل ثلاثة خبراء سريريين على أنها غير دقيقة، أو مبالغ فيها، أو دقيقة. كشفت النتائج عن اتفاق معتدل بين المقيمين البشريين (المتوسط κ = 0.52) وأبرزت أن ChatGPT 4.0 mini حقق اتفاقًا معتدلًا مع التقييمات البشرية (κ = 0.58)، بينما أظهر Gemini 1.5 Flash اتفاقًا عادلاً فقط (κ = 0.29). أظهر ChatGPT نمط تقييم محافظ، مما أدى إلى دقة عالية (0.89) واسترجاع (0.82) للمعلومات الدقيقة، بينما كان Gemini يميل إلى المبالغة في تقدير الدقة، مع دقة أقل (0.76) ولكن استرجاع أعلى (0.93).
تشير النتائج إلى اتجاه إيجابي نحو مزيد من التواصل المستند إلى الأدلة حول التوحد على تيك توك، على الرغم من أن الاتفاق المعتدل بين المقيمين يشير إلى أن تقييم جودة المعلومات الصحية لا يزال يمثل تحديًا. تؤكد الدراسة على إمكانيات نماذج اللغة الكبيرة (LLMs) مثل ChatGPT كأدوات داعمة لتقييم المحتوى الصحي عبر الإنترنت، مع الاعتراف أيضًا بحدودها في اكتشاف الأخطاء. يدعو المؤلفون إلى إجراء أبحاث مستقبلية لاستكشاف دمج LLMs في استراتيجيات التواصل الصحي، بهدف تعزيز موثوقية المعلومات المشتركة على منصات التواصل الاجتماعي.
مقدمة
تسلط مقدمة الورقة الضوء على الدور المهم لوسائل التواصل الاجتماعي، وخاصة تيك توك، في نشر المعلومات حول الحالات النمائية العصبية مثل اضطراب طيف التوحد (ASD). بينما يمكن أن تعزز هذه المنصات الوعي وتروج للتنوع العصبي، فإنها أيضًا تخاطر بنشر معلومات مضللة بسبب انتشار المحتوى الذي ينشئه المستخدمون والذي غالبًا ما يفتقر إلى الدقة العلمية. يشير المؤلفون إلى تحول في الفهم العام للتوحد من منظور طبي إلى منظور يحتضن التنوع العصبي، مع التأكيد على التباين الفردي. ومع ذلك، فإن الانتشار السريع للمحتوى على منصات مثل تيك توك يثير القلق بشأن دقة المعلومات، خاصة عندما لا يكون المبدعون خبراء.
تشير الأبحاث إلى أن جزءًا كبيرًا من المحتوى المتعلق بالتوحد على تيك توك غير دقيق، حيث أظهرت الدراسات أن 27% فقط من مقاطع الفيديو التي تم تقييمها اعتبرت دقيقة من قبل الخبراء. تؤكد الورقة على الحاجة إلى تقييمات أكثر تفصيلًا للمطالب المحددة المقدمة في هذه الفيديوهات، حيث غالبًا ما عالجت التقييمات السابقة الفيديوهات كوحدات شاملة. بالإضافة إلى ذلك، يشير المؤلفون إلى حدود التقييمات البشرية، التي يمكن أن تتأثر بالتحيزات الذاتية. لمعالجة هذه التحديات، تهدف الدراسة إلى تقييم دقة المعلومات المتعلقة بالتوحد في مقاطع فيديو تيك توك الإيطالية باستخدام كل من الخبراء البشريين ونماذج اللغة الكبيرة (LLMs) مثل ChatGPT وGemini. من خلال مقارنة تقييمات هذه النماذج الذكية مع تلك الخاصة بالخبراء البشريين، تسعى الدراسة إلى تحديد جدوى استخدام الذكاء الاصطناعي لتقييم المعلومات بشكل موثوق في سياق وسائل التواصل الاجتماعي.
طرق البحث
حصلت الدراسة على موافقة أخلاقية من لجنة الأخلاقيات بجامعة ترينتو، تحت الرقم المرجعي 2024-24 ESA. تشير هذه الموافقة إلى أن البحث التزم بالمعايير الأخلاقية المعتمدة لإجراء الدراسات التي تشمل المشاركين البشريين أو البيانات الحساسة. من المحتمل أن يتم توضيح تفاصيل منهجية إضافية، بما في ذلك اختيار المشاركين، وجمع البيانات، وتقنيات التحليل، في الأقسام اللاحقة من الورقة، مما يضمن الشفافية وقابلية تكرار النتائج.
النتائج
يقدم قسم “النتائج” في ورقة البحث النتائج الرئيسية المستمدة من التجارب أو التحليلات التي تم إجراؤها. يوضح النتائج التي توصلت إليها الدراسة، مع تسليط الضوء على نقاط البيانات والاتجاهات المهمة التي لوحظت خلال البحث. عادةً ما تدعم النتائج تحليلات إحصائية ذات صلة، وتمثيلات بصرية مثل الرسوم البيانية أو الجداول، ومقارنات بالأدبيات الموجودة.
في هذا القسم، قد يناقش المؤلفون أيضًا تداعيات نتائجهم، مع التركيز على كيفية مساهمتها في المجال الأوسع للدراسة وأي تطبيقات محتملة. تعتبر وضوح ودقة النتائج أمرًا حيويًا، حيث تشكل الأساس للنقاشات والاستنتاجات اللاحقة التي تم التوصل إليها في الورقة.
المناقشة
في هذه الدراسة، تم إنشاء حساب جديد على تيك توك لجمع البيانات حول المحتوى المتعلق بالتوحد، باستخدام الوسم “#Autismo.” تم جمع ما مجموعه 172 فيديو في البداية، مع استيفاء 148 منها لمعايير الإدراج بعد استبعاد الفيديوهات غير الإيطالية أو غير ذات الصلة أو المكررة. من هذه الفيديوهات، تم استخراج 408 بيانات معلوماتية متميزة حول التوحد وتم تقييمها من قبل ثلاثة مقيمين مستقلين ذوي خبرة سريرية. تم تصنيف البيانات على أنها دقيقة، أو مبالغ فيها، أو غير دقيقة بناءً على توافقها مع الفهم العلمي الحالي. كشفت التحليلات أن حوالي 69.85% من البيانات كانت دقيقة، بينما كانت 20.83% مبالغ فيها و9.32% غير دقيقة. كانت موثوقية التقييم بين المقيمين معتدلة، مع معاملات كابا الموزونة لكوهين تشير إلى مستويات متفاوتة من الاتفاق، خاصةً كانت أقل للبيانات غير الدقيقة.
بعد ذلك، تم تقييم نفس البيانات من قبل نموذجين كبيرين للغة (LLMs)، ChatGPT 4.0 mini وGemini 1.5 Flash، لتقييم أدائهما مقابل الحقيقة المستمدة من البشر. أظهر ChatGPT اتفاقًا معتدلًا مع التقييمات البشرية (κ = 0.58)، بينما أظهر Gemini اتفاقًا عادلاً فقط (κ = 0.29). أدت كلا النموذجين أداءً جيدًا في تحديد البيانات الدقيقة ولكن واجهت صعوبة مع المحتوى المبالغ فيه وغير الدقيق. تشير النتائج إلى أنه بينما يتماشى معظم المعلومات المتعلقة بالتوحد على تيك توك مع المعرفة العلمية، لا يزال هناك وجود كبير للمبالغات والأخطاء. تسلط الدراسة الضوء على تعقيد تقييم المعلومات الصحية وإمكانية مساعدة LLMs في هذه العملية، على الرغم من وجود حدود. يجب أن تستكشف الأبحاث المستقبلية تحسينات في أداء LLM ودمج الأنظمة الآلية لتعزيز موثوقية المعلومات الصحية على منصات التواصل الاجتماعي.
DOI: https://doi.org/10.1007/s10803-026-07249-9
PMID: https://pubmed.ncbi.nlm.nih.gov/41706307
Publication Date: 2026-02-18
Author(s): Alessandro Carollo et al.
Primary Topic: Health Literacy and Information Accessibility
Overview
This research investigates the accuracy of autism-related information on TikTok, particularly focusing on content shared under the hashtag #Autismo. The study analyzed 408 statements from 148 videos, classified by three clinical experts as inaccurate, overgeneralized, or accurate. The findings revealed moderate agreement among human raters (mean κ = 0.52) and highlighted that ChatGPT 4.0 mini achieved a moderate agreement with human ratings (κ = 0.58), while Gemini 1.5 Flash showed only fair agreement (κ = 0.29). ChatGPT demonstrated a conservative evaluation pattern, yielding high precision (0.89) and recall (0.82) for accurate information, whereas Gemini tended to overestimate accuracy, with lower precision (0.76) but higher recall (0.93).
The results suggest a positive trend towards more evidence-informed communication about autism on TikTok, although the moderate inter-rater agreement indicates that assessing the quality of health information remains challenging. The study emphasizes the potential of large language models (LLMs) like ChatGPT as supportive tools for evaluating online health content, while also acknowledging their limitations in detecting inaccuracies. The authors advocate for future research to explore the integration of LLMs into health communication strategies, aiming to enhance the reliability of information shared on social media platforms.
Introduction
The introduction of the paper highlights the significant role of social media, particularly TikTok, in disseminating information about neurodevelopmental conditions like autism spectrum disorder (ASD). While these platforms can enhance awareness and promote neurodiversity, they also risk spreading misinformation due to the prevalence of user-generated content that often lacks scientific rigor. The authors note a shift in public understanding of autism from a medicalized perspective to one that embraces neurodiversity, emphasizing individual variability. However, the rapid spread of content on platforms like TikTok raises concerns regarding the accuracy of information, especially when creators are not experts.
Research indicates that a substantial portion of autism-related content on TikTok is inaccurate, with studies showing that only 27% of evaluated videos were deemed accurate by experts. The paper underscores the need for more granular assessments of the specific claims made in these videos, as previous evaluations have often treated videos as holistic units. Additionally, the authors point out the limitations of human evaluations, which can be influenced by subjective biases. To address these challenges, the study aims to assess the accuracy of autism-related information in Italian TikTok videos using both human experts and large language models (LLMs) like ChatGPT and Gemini. By comparing the evaluations of these AI models with those of human experts, the study seeks to determine the feasibility of using AI for reliable information assessment in the context of social media.
Methods
The study received ethical approval from the Ethics Committee of the University of Trento, under the reference number 2024-24 ESA. This approval indicates that the research adhered to established ethical standards for conducting studies involving human participants or sensitive data. Further methodological details, including participant selection, data collection, and analysis techniques, were likely outlined in subsequent sections of the paper, ensuring transparency and reproducibility of the findings.
Results
The “Results” section of the research paper presents the key findings derived from the conducted experiments or analyses. It details the outcomes of the study, highlighting significant data points and trends observed during the research. The results are typically supported by relevant statistical analyses, visual representations such as graphs or tables, and comparisons to existing literature.
In this section, the authors may also discuss the implications of their findings, addressing how they contribute to the broader field of study and any potential applications. The clarity and precision of the results are crucial, as they form the foundation for the subsequent discussion and conclusions drawn in the paper.
Discussion
In this study, a new TikTok account was created to collect data on autism-related content, specifically using the hashtag “#Autismo.” A total of 172 videos were initially gathered, with 148 meeting the inclusion criteria after excluding non-Italian, irrelevant, or duplicate videos. From these, 408 distinct informational statements about autism were extracted and evaluated by three independent raters with clinical expertise. The statements were classified as accurate, overgeneralized, or inaccurate based on their alignment with current scientific understanding. The analysis revealed that approximately 69.85% of the statements were accurate, while 20.83% were overgeneralized and 9.32% were inaccurate. Inter-rater reliability was moderate, with weighted Cohen’s kappa coefficients indicating varying levels of agreement, particularly lower for inaccurate statements.
Subsequently, the same statements were evaluated by two large language models (LLMs), ChatGPT 4.0 mini and Gemini 1.5 Flash, to assess their performance against human-derived ground truth. ChatGPT demonstrated moderate agreement with human ratings (κ = 0.58), while Gemini showed only fair agreement (κ = 0.29). Both models performed well in identifying accurate statements but struggled with overgeneralized and inaccurate content. The findings suggest that while the majority of autism-related information on TikTok aligns with scientific knowledge, there remains a significant presence of overgeneralizations and inaccuracies. The study highlights the complexity of evaluating health-related information and the potential for LLMs to assist in this process, albeit with limitations. Future research should explore improvements in LLM performance and the integration of automated systems to enhance the reliability of health information on social media platforms.
