DOI: https://doi.org/10.1371/journal.pone.0348005
PMID: https://pubmed.ncbi.nlm.nih.gov/42113765
تاريخ النشر: 2026-05-11
المؤلف: Laouen Mayal Louan Belloli وآخرون
الموضوع الرئيسي: الأنظمة الديناميكية المعقدة
نظرة عامة
يقدم القسم THOI (التفاعلات عالية الرتبة المعتمدة على Torch)، وهي مكتبة بايثون جديدة تم تطويرها لحساب التفاعلات عالية الرتبة (HOI) في الأنظمة المعقدة التي تتميز بالديناميات غير الخطية والتفاعلات متعددة المستويات. غالبًا ما تتجاهل التحليلات التقليدية التفاعلات عالية الرتبة الحرجة، وهو ما تعالجه THOI من خلال الاستفادة من التقدم في نظرية المعلومات متعددة المتغيرات. تستخدم المكتبة طريقة الكوبولا الغاوسية لتقدير الإنتروبيا المشتركة وتدمج تقنيات المعالجة المحسّنة للدفعات والمعالجة المتوازية، مما يعزز الأداء عبر بيئات حسابية مختلفة (CPU، GPU، TPU). تشير النتائج إلى أن THOI تتفوق بشكل كبير على الأدوات الحالية من حيث السرعة وقابلية التوسع، خاصة للأنظمة التي تحتوي على ما يصل إلى 30 متغيرًا، بينما تدمج أيضًا استراتيجيات تحسين للأنظمة الأكبر.
في الختام، لا تحسن THOI كفاءة الحساب واستخدام الذاكرة مقارنة بالمكتبات الحالية (مثل JIDT، HOI Toolbox) فحسب، بل تسهل أيضًا التحليلات الشاملة من خلال حساب مقاييس متعددة (الإنتروبيا الانتقالية، الإنتروبيا الانتقالية الموجهة، Ω، والعشوائية المشتركة) في وقت واحد. تتيح هذه القدرة للباحثين إجراء تحليلات على مستوى السكان وحسابات أثناء الطيران دون الحاجة إلى تخزين بيانات واسعة. تؤكد النتائج على فائدة THOI في استكشاف الطبيعة المعقدة وغير الخطية للأنظمة، مما يفتح آفاقًا جديدة لاختبار الفرضيات والبحث في الأنظمة المعقدة.
مقدمة
تناقش مقدمة هذه الورقة البحثية التعقيدات الكامنة في الأنظمة المعقدة، والتي تتميز بالديناميات غير الخطية والسلوكيات الناشئة التي لا يمكن فهمها بالكامل من خلال نماذج التفاعل التقليدية الثنائية. غالبًا ما تتجاهل هذه الأساليب التقليدية التفاعلات عالية الرتبة (HOI) التي تشمل ثلاثة متغيرات أو أكثر، والتي تعتبر حاسمة لالتقاط الاعتمادات المعقدة والظواهر الناشئة داخل مثل هذه الأنظمة. للتغلب على هذه القيود، تدعو الورقة إلى تطبيق نظرية المعلومات، وخاصة توسيع المعلومات المتبادلة لشانون لقياس HOI، مما يمكّن من فهم أكثر شمولاً للاعتماد الإحصائي بما يتجاوز الارتباطات الخطية.
تسلط الورقة الضوء على أهمية الإنتروبيا كمقياس لعدم القدرة على التنبؤ واكتساب المعلومات، خاصة في مجالات مثل علوم الأعصاب، حيث تم استخدامها لتقييم التباين العصبي وتعقيد معالجة المعلومات. تقدم مقاييس نظرية المعلومات متعددة المتغيرات، بما في ذلك الارتباط الكلي (TC)، والارتباط الكلي المزدوج (DTC)، ومعلومات O ($\Omega$)، ومعلومات S، كل منها يوفر رؤى فريدة حول الاعتمادات عالية الرتبة. يتم التركيز على $\Omega$، الذي يقيم جودة التفاعلات—مميزًا بين التآزر والازدواجية—بدلاً من مجرد قياس الاعتماد. على الرغم من إمكاناتها عبر مجالات مختلفة، تواجه تطبيقات $\Omega$ تحديات تتعلق بالحاجة إلى مجموعات بيانات كبيرة لتقدير الاحتمالات المشتركة وتعقيد التفاعلات عالية الرتبة مع زيادة عدد المتغيرات.
طرق
يستعرض قسم “المواد والطرق” في الورقة البحثية تصميم التجربة والإجراءات المستخدمة للتحقيق في سؤال البحث. يوضح المواد المحددة المستخدمة، بما في ذلك أي مواد كيميائية، معدات، وعينات بيولوجية، مما يضمن إمكانية تكرار الدراسة. تشمل المنهجية البروتوكولات لجمع البيانات، بما في ذلك أي تحليلات إحصائية تم إجراؤها لتفسير النتائج.
بالإضافة إلى ذلك، قد يصف القسم الظروف التجريبية، مثل درجة الحرارة، والمدة، وأي ضوابط تم تنفيذها للتحقق من النتائج. تعتبر وضوح وصحة الطرق أمرًا حاسمًا لتقييم موثوقية النتائج وتأثيراتها في السياق الأوسع لمجال البحث.
نتائج
في قسم النتائج، تحقق المؤلفون من كفاءة الحساب وقابلية التوسع لـ THOI من خلال مقارنتها بالمكتبات مفتوحة المصدر الحالية، خاصة في سياق حسابات التفاعل عالية الرتبة الشاملة. عالجوا التحديات التي تطرحها الأنظمة الأكبر، حيث يكون التحليل الشامل غير عملي، من خلال تطوير واختبار استراتيجيات تحسين أثبتت فعاليتها على كل من مجموعات البيانات الاصطناعية والواقعية.
علاوة على ذلك، أكد المؤلفون على إمكانية الوصول إلى THOI من خلال تحليل أكثر من 900 مجموعة بيانات متميزة بنجاح في أقل من 30 دقيقة على جهاز كمبيوتر محمول قياسي. وهذا يظهر توافق THOI مع إعدادات الحوسبة المتاحة بشكل شائع، مما يبرز إمكاناتها للاستخدام الواسع في تطبيقات متنوعة.
مناقشة
في هذا القسم، يناقش المؤلفون تطوير وقدرات THOI (التفاعلات عالية الرتبة المعتمدة على Torch)، وهي مكتبة بايثون مصممة لحساب التفاعلات عالية الرتبة (HOI) بكفاءة في الأنظمة الكبيرة. تستخدم THOI طريقة الكوبولا الغاوسية لتقدير الإنتروبيا المشتركة، مما يسمح بالحساب المباشر من مصفوفة التباين للبيانات المحولة، مما يقلل بشكل كبير من تعقيد الحساب. تتكامل المكتبة مع PyTorch للاستفادة من عمليات المصفوفات المحسّنة للدفعات، مما يمكّن من المعالجة المتوازية على الأجهزة الحديثة. تظهر تقييمات الأداء كفاءة THOI في تحليل أكثر من 900 مجموعة بيانات متعددة المتغيرات وتطبيقها في تحليل بيانات التصوير بالرنين المغناطيسي الوظيفي (fMRI)، مما يكشف عن رؤى مهمة حول التفاعلات التآزرية خلال حالات الوعي المتغيرة.
كما يتناول القسم الأسس النظرية لنظرية المعلومات، مع التركيز بشكل خاص على الإنتروبيا والمعلومات المتبادلة، ويمتد بهذه المفاهيم إلى التفاعلات عالية الرتبة من خلال الارتباط الكلي (TC) والارتباط الكلي المزدوج (DTC). يتم تقديم معلومات Ω كمقياس للاعتمادات، مميزًا بين الأنظمة التي تهيمن عليها التآزر وتلك التي تهيمن عليها الازدواجية. يوضح المؤلفون التحديات الحسابية المرتبطة بتقدير HOI، خاصة الانفجار التوافقي للتفاعلات الممكنة مع زيادة عدد المتغيرات. لمعالجة هذه التحديات، تستخدم THOI بنية قائمة على الدفعات قابلة للتوسع تسمح بحساب فعال لمقاييس HOI عبر مجموعات بيانات كبيرة، مستفيدة من عمليات الجبر الخطي المتقدمة وقدرات المعالجة المتوازية الموجودة في بنى الحوسبة الحديثة. بالإضافة إلى ذلك، يتم تنفيذ خوارزميات هيوريستية مثل الخوارزميات الجشعة والتبريد المحاكي لتحسين اختيار مجموعات المتغيرات، مما يعزز قدرة المكتبة على التنقل في فضاءات الحلول المعقدة بفعالية.
DOI: https://doi.org/10.1371/journal.pone.0348005
PMID: https://pubmed.ncbi.nlm.nih.gov/42113765
Publication Date: 2026-05-11
Author(s): Laouen Mayal Louan Belloli et al.
Primary Topic: Complex Systems and Dynamics
Overview
The section presents THOI (Torch-based High-Order Interactions), a novel Python library developed to compute higher-order interactions (HOI) in complex systems characterized by nonlinear dynamics and multi-level interactions. Traditional analyses often overlook critical higher-order interactions, which THOI addresses by utilizing advances in multivariate information theory. The library employs the Gaussian copula method for joint entropy estimation and incorporates optimized batch and parallel processing techniques, enhancing performance across various computational environments (CPU, GPU, TPU). Results indicate that THOI significantly outperforms existing tools in speed and scalability, particularly for systems with up to 30 variables, while also integrating optimization strategies for larger systems.
In conclusion, THOI not only improves computational efficiency and memory usage compared to existing libraries (e.g., JIDT, HOI Toolbox) but also facilitates comprehensive analyses by computing multiple measures (transfer entropy, directed transfer entropy, Ω, and shared randomness) simultaneously. This capability allows researchers to conduct population-level analyses and on-the-fly computations without the need for extensive data storage. The findings validate THOI’s utility in exploring the complex, nonlinear nature of systems, thereby opening new avenues for hypothesis testing and research in complex systems.
Introduction
The introduction of this research paper discusses the complexities inherent in complex systems, which are characterized by nonlinear dynamics and emergent behaviors that cannot be fully understood through traditional pairwise interaction models. These conventional approaches often overlook higher-order interactions (HOI) involving three or more variables, which are crucial for capturing the intricate interdependencies and emergent phenomena within such systems. To overcome these limitations, the paper advocates for the application of information theory, particularly the extension of Shannon’s mutual information to quantify HOI, thereby enabling a more comprehensive understanding of statistical dependencies beyond linear correlations.
The paper highlights the significance of entropy as a measure of unpredictability and information gain, particularly in fields like neuroscience, where it has been used to assess neural variability and information processing complexity. It introduces multivariate information theory metrics, including total correlation (TC), dual total correlation (DTC), O-information ($\Omega$), and S-information, each providing unique insights into higher-order dependencies. The focus is placed on $\Omega$, which evaluates the quality of interactions—distinguishing between synergy and redundancy—rather than merely quantifying interdependence. Despite its potential across various domains, the application of $\Omega$ faces challenges related to the need for large datasets for joint probability estimation and the combinatorial complexity of HOI as the number of variables increases.
Methods
The “Materials and Methods” section of the research paper outlines the experimental design and procedures employed to investigate the research question. It details the specific materials used, including any reagents, equipment, and biological samples, ensuring reproducibility of the study. The methodology encompasses the protocols for data collection, including any statistical analyses performed to interpret the results.
Additionally, the section may describe the experimental conditions, such as temperature, duration, and any controls implemented to validate the findings. The clarity and rigor of the methods are crucial for assessing the reliability of the results and their implications in the broader context of the research field.
Results
In the results section, the authors validated the computational efficiency and scalability of THOI by benchmarking it against existing open-source libraries, particularly in the context of exhaustive Higher-Order Interaction (HOI) computations. They addressed the challenges posed by larger systems, where exhaustive analysis is impractical, by developing and testing optimization strategies that proved effective on both synthetic and real-world datasets.
Furthermore, the authors emphasized THOI’s accessibility by successfully analyzing over 900 distinct datasets in less than 30 minutes on a standard laptop. This demonstrates THOI’s compatibility with commonly available computational setups, highlighting its potential for widespread use in various applications.
Discussion
In this section, the authors discuss the development and capabilities of THOI (Torch-based High-Order Interactions), a Python library designed to efficiently compute high-order interactions (HOI) in large systems. THOI utilizes the Gaussian copula method for joint entropy estimation, allowing for direct computation from the covariance matrix of transformed data, which significantly reduces computational complexity. The library integrates with PyTorch to leverage optimized batch matrix operations, enabling parallel processing on modern hardware. Performance evaluations demonstrate THOI’s efficiency in analyzing over 900 multivariate datasets and its application in functional magnetic resonance imaging (fMRI) data analysis, revealing significant insights into synergistic interactions during varying states of consciousness.
The section also elaborates on the theoretical foundations of information theory, particularly focusing on entropy and mutual information, and extends these concepts to higher-order interactions through total correlation (TC) and dual total correlation (DTC). The Ω-information is introduced as a measure of interdependencies, distinguishing between synergy-dominated and redundancy-dominated systems. The authors detail the computational challenges associated with estimating HOI, particularly the combinatorial explosion of possible interactions as the number of variables increases. To address these challenges, THOI employs a scalable batch-based architecture that allows for efficient computation of HOI metrics across large datasets, utilizing advanced linear algebra operations and parallel processing capabilities inherent in modern computing architectures. Additionally, heuristic algorithms such as greedy algorithms and simulated annealing are implemented to optimize the selection of variable subsets, enhancing the library’s ability to navigate complex solution spaces effectively.