DOI: https://doi.org/10.1038/s41746-026-02435-6
PMID: https://pubmed.ncbi.nlm.nih.gov/41731011
تاريخ النشر: 2026-02-23
المؤلف: Xinyu Zhou وآخرون
الموضوع الرئيسي: نمذجة الموضوعات
نظرة عامة
تناقش هذه الفقرة تطوير PH-LLM، مجموعة جديدة من نماذج اللغة الكبيرة (LLMs) تهدف إلى تعزيز مراقبة الصحة العامة في الوقت الحقيقي من خلال تحليل وسائل التواصل الاجتماعي. معترفًا بالدور الحاسم لوسائل التواصل الاجتماعي في التفاعل مع الصحة العامة، يبرز المؤلفون الفجوة الحالية في المعلوماتية الصحية في الوقت الحقيقي، والتي يمكن أن تعيق الاستجابة السياسية في الوقت المناسب. لمعالجة ذلك، تم تدريب PH-LLM على مجموعة بيانات متعددة اللغات باستخدام تقنيات متقدمة مثل QLoRA وLoRA plus، بناءً على نموذج Qwen 2.5.
تم تقييم أداء PH-LLM بدقة مقابل معيار يتكون من 19 مهمة باللغة الإنجليزية و20 مهمة متعددة اللغات، مما يظهر أداءً متفوقًا في حالة عدم وجود بيانات مقارنة بالنماذج الأساسية من أحجام مماثلة وأكبر. على وجه التحديد، تفوق PH-LLM-14B وPH-LLM-32B على نماذج بارزة، بما في ذلك Qwen2.5-72B-Instruct وGPT-4o، محققين معدلات دقة لا تقل عن 56.0% في المهام الإنجليزية و59.6% في المهام متعددة اللغات. تشير النتائج إلى أن PH-LLM يمثل تقدمًا كبيرًا في المعلوماتية الصحية العامة، حيث يوفر قدرات متعددة اللغات متطورة ونهجًا فعالاً من حيث التكلفة لمراقبة المشاعر العامة بشأن القضايا الصحية.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم لتدخلات الصحة العامة، مثل التباعد الاجتماعي، واختبار COVID-19، والتطعيم، التي تعتمد على الدعم الجماعي والامتثال من الجمهور. أدت التطورات الأخيرة في تعلم الآلة إلى ظهور المعلوماتية الصحية، التي تُعرف بأنها التحليل المستمر لمعلومات النصوص عبر الإنترنت، والتي تعتبر مكملًا قيمًا لمراقبة الصحة العامة التقليدية. لا تساعد المعلوماتية الصحية فقط في فهم استجابات الجمهور لتدخلات الصحة، بل تعالج أيضًا المعلومات المضللة—وهي تدفق هائل من المعلومات والمعلومات الخاطئة التي يمكن أن تؤثر سلبًا على الصحة العامة خلال الأوبئة. يقوم الباحثون بشكل متزايد باستخدام بيانات وسائل التواصل الاجتماعي لتقييم مواقف اللقاح، والصحة النفسية، والامتثال للتدخلات غير الدوائية (NPIs) باستخدام تقنيات تعلم الآلة، على الرغم من أن المعلوماتية الصحية في الوقت الحقيقي لا تزال محدودة، خاصة في سياق الأزمات الصحية المتطورة بسرعة مثل COVID-19.
تؤكد هذه الفقرة على إمكانيات نماذج اللغة الكبيرة (LLMs) في تعزيز قدرات المعلوماتية الصحية، حيث يمكنها أداء المهام اللازمة دون الموارد الواسعة ومجموعات البيانات المعلّمة المطلوبة من نماذج تعلم الآلة التقليدية. كما تقدم LLMs تفاعلات شبيهة بالبشر أكثر سهولة لخبراء الصحة العامة. يقترح المؤلفون تطوير نماذج LLMs مخصصة للمعلوماتية الصحية العامة، والتي يمكن أن تقلل التكاليف مع تحقيق أداء عالٍ. يقدمون PH-LLM (نماذج اللغة الكبيرة للصحة العامة للمعلوماتية الصحية)، وهي مجموعة جديدة من LLMs مصممة خصيصًا للتحليل متعدد اللغات على منصات وسائل التواصل الاجتماعي. تتضمن الدراسة إنشاء أول معيار للمعلوماتية الصحية العامة متعددة اللغات، حيث يتم تقييم PH-LLM مقابل النماذج الرائدة، وتتوفر الموارد المرتبطة للجمهور على https://github.com/luoyuanlab/PH-LLM.
الطرق
في هذه الدراسة، قدم المؤلفون سلسلة من نماذج اللغة الكبيرة (LLMs) المسماة PH-LLM، المتاحة في ستة تكوينات: PH-LLM-0.5B، PH-LLM-1.5B، PH-LLM-3B، PH-LLM-7B، PH-LLM-14B، وPH-LLM-32B. تم ضبط هذه النماذج باستخدام مجموعة بيانات مختارة تضم 593,100 زوج من التعليمات والمخرجات المستمدة من 30 مجموعة بيانات للمعلوماتية الصحية، تشمل 96 مهمة في الصحة العامة وست مجموعات بيانات للإجابة على الأسئلة. تم إجراء الضبط على نموذج Qwen 2.5.
تم تقييم نماذج PH-LLM عبر 39 مهمة، باستخدام ما مجموعه 52,158 زوج من التعليمات والمخرجات من 10 مجموعات بيانات متميزة بعدة لغات، بما في ذلك الإنجليزية، والصينية، والعربية، والإندونيسية. من المهم أن تكون مجموعات بيانات التقييم منفصلة عن تلك المستخدمة في تطوير النموذج. تم مقارنة أداء PH-LLM مع نماذج LLMs الرائدة المدربة على التعليمات، مثل GPT-4o (الإصدار 2024-05-13)، Llama-3.1-70B-Instruct، Mistral-Large-Instruct-2407، وQwen2.5-72B-Instruct، مما يبرز مكانتها التنافسية في هذا المجال. يتم توضيح نظرة عامة على منهجية الدراسة ونتائجها في الشكل 1.
النتائج
تسلط النتائج المقدمة في هذه الفقرة الضوء على أداء نماذج PH-LLM عبر مهام ومجموعات بيانات متنوعة، مما يظهر تفوقها على نماذج اللغة المفتوحة المصدر (LLMs) الأخرى من أحجام مماثلة. في التقييمات بدون بيانات مقارنة على 19 مهمة من ست مجموعات بيانات باللغة الإنجليزية، حقق النموذج الأصغر، PH-LLM-0.5B، متوسط درجة F1 قدرها 30.3%، متفوقًا على Qwen2.5-0.5B-Instruct (23.6%) في 14 مهمة. استمر الاتجاه مع النماذج الأكبر، حيث حقق PH-LLM-1.5B 39.9% (متجاوزًا Qwen2.5-1.5B-Instruct وLlama-3.2-1B-Instruct) وحقق PH-LLM-14B 56.0%، متفوقًا على Qwen2.5-14B-Instruct (48.9%) عبر 13 مهمة. ومن الجدير بالذكر أن PH-LLM-32B حقق أداءً متوسطًا قدره 57.9%، متجاوزًا Qwen2.5-32B-Instruct (52.5%).
في التقييمات متعددة اللغات عبر 20 مهمة، تفوقت نماذج PH-LLM باستمرار على نظرائها، حيث حسّن PH-LLM-0.5B من أداء Qwen2.5-0.5B-Instruct (34.5% مقابل 29.5%) في 17 مهمة. استمر الاتجاه مع PH-LLM-1.5B (42.1%) وPH-LLM-3B (48.1%)، حيث تفوق كلاهما على منافسيهما. حقق النموذج الأكبر، PH-LLM-32B، أداءً متوسطًا قدره 61.4%، متجاوزًا Qwen2.5-32B-Instruct (55.1%) وأظهر أداءً متفوقًا مقارنة بالنماذج الملكية مثل GPT-4o. بشكل عام، تشير النتائج إلى وجود علاقة إيجابية بين حجم النموذج والأداء، حيث تحقق نماذج PH-LLM نتائج متفوقة باستمرار مقارنة بالنماذج الأخرى من نفس الحجم وأكبر منها.
المناقشة
في هذه الدراسة، يقدم المؤلفون PH-LLM، مجموعة من نماذج اللغة الكبيرة (LLMs) المصممة خصيصًا للمعلوماتية الصحية العامة، والتي تتضمن نماذج بأحجام مختلفة (LLM-3B، PH-LLM-7B، PH-LLM-14B، وPH-LLM-32B). تفوقت نماذج PH-LLM باستمرار على النماذج الأساسية، بما في ذلك Llama-3.1-72B-Instruct وGPT-4o، عبر 39 مهمة من 10 مجموعات بيانات محجوزة، مما يظهر أداءً متفوقًا في حالة عدم وجود بيانات مقارنة حتى مع عدد أقل من المعلمات. تقلل هذه الكفاءة من الموارد الحاسوبية المطلوبة للنشر، مما يجعل المعلوماتية الصحية العامة أكثر وصولًا، خاصة في البلدان ذات الدخل المنخفض والمتوسط (LMICs). تعزز القدرات متعددة اللغات لـ PH-LLM من قابليتها للتطبيق في سياقات لغوية متنوعة، مما يلبي احتياجات المشهد الصحي العام العالمي المتنوعة.
على الرغم من نقاط قوتها، تعترف الدراسة بالقيود، بما في ذلك التحيزات المحتملة في بيانات وسائل التواصل الاجتماعي وتمثيل مجموعات البيانات التدريبية. يؤكد المؤلفون على الحاجة إلى تقييمات مستقبلية عبر الفئات السكانية الفرعية ويشددون على الحذر في تفسير التنبؤات المستندة إلى بيانات متحيزة. بشكل عام، يمثل PH-LLM تقدمًا كبيرًا في مراقبة الصحة العامة وصنع السياسات، مما يزود الوكالات بالأدوات اللازمة للتعامل بفعالية مع التحديات الصحية الناشئة. تبرز الدراسة الإمكانيات التحولية لـ PH-LLM في تعزيز الوعي بالصحة العامة وإبلاغ التدخلات، خاصة في المناطق المحرومة.
DOI: https://doi.org/10.1038/s41746-026-02435-6
PMID: https://pubmed.ncbi.nlm.nih.gov/41731011
Publication Date: 2026-02-23
Author(s): Xinyu Zhou et al.
Primary Topic: Topic Modeling
Overview
The section discusses the development of PH-LLM, a novel suite of large language models (LLMs) aimed at enhancing real-time public health monitoring through social media analysis. Recognizing the critical role of social media in public health engagement, the authors highlight the existing gap in real-time infoveillance, which can hinder timely policy responses. To address this, PH-LLM was trained on a multilingual corpus using advanced techniques such as QLoRA and LoRA plus, based on the Qwen 2.5 model.
The performance of PH-LLM was rigorously evaluated against a benchmark of 19 English and 20 multilingual tasks, demonstrating superior zero-shot performance compared to baseline LLMs of similar and larger sizes. Specifically, PH-LLM-14B and PH-LLM-32B outperformed notable models, including Qwen2.5-72B-Instruct and GPT-4o, achieving accuracy rates of at least 56.0% in English tasks and 59.6% in multilingual tasks. The findings indicate that PH-LLM represents a significant advancement in public health infoveillance, providing state-of-the-art multilingual capabilities and a cost-effective approach to monitoring public sentiment regarding health issues.
Introduction
The introduction highlights the critical role of public health interventions, such as social distancing, COVID-19 testing, and vaccination, which rely on collective public support and adherence. Recent advancements in machine learning have led to the emergence of infoveillance, defined as the continuous analysis of online text information, which serves as a valuable complement to traditional public health surveillance. Infoveillance not only aids in understanding public responses to health interventions but also addresses the infodemic—an overwhelming influx of information and misinformation that can adversely affect public health during pandemics. Researchers are increasingly utilizing social media data to assess vaccine attitudes, mental health, and adherence to non-pharmaceutical interventions (NPIs) using machine learning techniques, although real-time infoveillance remains limited, particularly in the context of rapidly evolving health crises like COVID-19.
The section emphasizes the potential of Large Language Models (LLMs) for enhancing infoveillance capabilities, as they can perform necessary tasks without the extensive resources and annotated datasets required by traditional machine learning models. LLMs also offer more accessible human-like interactions for public health experts. The authors propose the development of tailored LLMs for public health infoveillance, which could reduce costs while achieving high performance. They introduce PH-LLM (Public Health Large Language Models for infoveillance), a novel suite of LLMs specifically designed for multilingual analysis on social media platforms. The study includes the creation of the first multilingual public health infoveillance benchmark, where PH-LLM is evaluated against leading models, and the associated resources are made publicly available at https://github.com/luoyuanlab/PH-LLM.
Methods
In this study, the authors introduced a series of large language models (LLMs) named PH-LLM, which are available in six configurations: PH-LLM-0.5B, PH-LLM-1.5B, PH-LLM-3B, PH-LLM-7B, PH-LLM-14B, and PH-LLM-32B. These models were fine-tuned using a curated dataset comprising 593,100 instruction-output pairs derived from 30 infoveillance datasets, encompassing 96 public health tasks and six question-answering datasets. The fine-tuning was conducted on top of the Qwen 2.5 model.
The evaluation of the PH-LLM models was performed across 39 tasks, utilizing a total of 52,158 instruction-output pairs from 10 distinct datasets in multiple languages, including English, Chinese, Arabic, and Indonesian. Importantly, the evaluation datasets were separate from those used in the model’s development. The performance of PH-LLM was compared against leading instruction-tuned LLMs, such as GPT-4o (version 2024-05-13), Llama-3.1-70B-Instruct, Mistral-Large-Instruct-2407, and Qwen2.5-72B-Instruct, highlighting its competitive standing in the field. An overview of the study’s methodology and findings is illustrated in Figure 1.
Results
The results presented in this section highlight the performance of PH-LLM models across various tasks and datasets, demonstrating their superiority over other open-source language models (LLMs) of similar sizes. In zero-shot evaluations on 19 tasks from six English-language datasets, the smallest model, PH-LLM-0.5B, achieved an average F1-score of 30.3%, outperforming Qwen2.5-0.5B-Instruct (23.6%) on 14 tasks. The larger models continued this trend, with PH-LLM-1.5B achieving 39.9% (surpassing Qwen2.5-1.5B-Instruct and Llama-3.2-1B-Instruct) and PH-LLM-14B reaching 56.0%, outperforming Qwen2.5-14B-Instruct (48.9%) across 13 tasks. Notably, PH-LLM-32B achieved an average performance of 57.9%, exceeding Qwen2.5-32B-Instruct (52.5%).
In multilingual evaluations across 20 tasks, PH-LLM models consistently outperformed their counterparts, with PH-LLM-0.5B improving upon Qwen2.5-0.5B-Instruct (34.5% vs. 29.5%) on 17 tasks. The trend continued with PH-LLM-1.5B (42.1%) and PH-LLM-3B (48.1%), both outperforming their respective competitors. The largest model, PH-LLM-32B, achieved an average performance of 61.4%, surpassing Qwen2.5-32B-Instruct (55.1%) and demonstrating state-of-the-art performance against proprietary models such as GPT-4o. Overall, the findings indicate a positive correlation between model size and performance, with PH-LLM models consistently achieving superior results compared to both similar-sized and larger models.
Discussion
In this study, the authors present PH-LLM, a suite of large language models (LLMs) specifically designed for public health infoveillance, comprising models of varying sizes (LLM-3B, PH-LLM-7B, PH-LLM-14B, and PH-LLM-32B). The PH-LLM models consistently outperformed baseline models, including Llama-3.1-72B-Instruct and GPT-4o, across 39 tasks from 10 heldout datasets, demonstrating superior zero-shot performance even with fewer parameters. This efficiency reduces the computational resources required for deployment, making public health infoveillance more accessible, particularly in low- and middle-income countries (LMICs). The multilingual capabilities of PH-LLM further enhance its applicability in diverse linguistic contexts, addressing the global public health landscape’s varied needs.
Despite its strengths, the study acknowledges limitations, including potential biases in social media data and the representativeness of the training datasets. The authors emphasize the need for future evaluations across demographic subgroups and caution against interpreting predictions from biased data. Overall, PH-LLM represents a significant advancement in public health monitoring and policymaking, equipping agencies with tools to address emerging health challenges effectively. The study highlights the transformative potential of PH-LLM in enhancing public health awareness and informing interventions, particularly in underserved regions.