DOI: https://doi.org/10.1038/s41598-025-17918-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41044304
تاريخ النشر: 2025-10-03
المؤلف: Liu-Ying Zhou وآخرون
الموضوع الرئيسي: أنظمة وتقنيات التوصية
نظرة عامة
تقدم البحث نهجًا جديدًا لتوصيات مسارات تعلم اللغة الإنجليزية الشخصية من خلال دمج رسم بياني للمعرفة مع تقنيات التعلم العميق المعزز. يعالج الأسلوب المقترح التحديات الرئيسية في الأنظمة الحالية، مثل نمذجة هيكل المعرفة وإدراك حالة المتعلم الديناميكية. يقوم رسم المعرفة بترميز كل من العلاقات المسبقة (الموجهة) والدلالية (غير الموجهة) بين المفاهيم، بينما يتم تحديث إتقان المتعلم في الوقت الفعلي من خلال ردود الفعل التفاعلية، وانتشار الرسم البياني، وآلية النسيان الأسية. يتم تأطير مهمة التوصية كعملية قرار ماركوف (MDP)، باستخدام التعلم Q لتقليص القيم بناءً على المرشحين و تحسين السياسة القريبة (PPO) لاختيار الإجراء النهائي، مما يعزز استقرار وجودة التوصيات.
تم نشر النظام كبرنامج مصغر على WeChat وتم تقييمه على مدار ثلاثة أشهر مع 200 متعلم نشط، مما أسفر عن 18,742 تفاعلًا صالحًا. تشير مقاييس الأداء إلى نتائج قوية، حيث حقق دقة قدرها 0.85، واسترجاع قدره 0.82، ودرجة F1 قدرها 0.84، ومتوسط خطأ مطلق (MAE) قدره 0.12، وجذر متوسط مربع الخطأ (RMSE) قدره 0.18. تم تسجيل العائد التراكمي عند 650، مع متوسط زمن توصية قدره 241 مللي ثانية تحت الاستخدام المتزامن، مما يظهر قابلية توسيع النظام وتطبيقه في الوقت الفعلي. بشكل عام، تؤكد الدراسة فعالية الإطار المقترح في تعزيز تجارب التعلم الشخصية وتحسين نتائج التعلم.
طرق
تحدد قسم المنهجية في هذه الدراسة نهجًا مبتكرًا لتوصيات مسارات تعلم اللغة الإنجليزية الشخصية، من خلال دمج الرسوم البيانية للمعرفة (KG) مع التعلم العميق المعزز (RL). يستخدم الأسلوب المقترح رسمًا بيانيًا للمعرفة لتمثيل نقاط المعرفة وعلاقاتها الدلالية بشكل منهجي، مما يلتقط بفعالية الهيكل الهرمي والاعتمادات داخل مجال تعلم اللغة الإنجليزية. تعتبر هذه النمذجة المعتمدة على الرسم البياني ضرورية لتعكس بدقة اختلافات المتعلمين الفردية وتحسين مسارات التعلم. يعامل إطار التعلم المعزز مهمة التوصية كعملية اتخاذ قرار ديناميكية، مما يسمح للنظام بتحسين استراتيجياته بشكل تكراري بناءً على حالة معرفة المتعلم الحالية وردود الفعل.
تتكون بنية النظام من وحدتين مترابطتين: وحدة رسم المعرفة ونمذجة حالة معرفة المتعلم، التي توفر تمثيلًا منظمًا لمعرف المتعلم، ووحدة استراتيجية التوصية المعتمدة على التعلم المعزز، التي تعمل على تحسين مسارات التعلم بشكل مستمر. تشمل الخوارزمية التشغيلية عدة خطوات، بما في ذلك توليد مرشحين قابلين للتطبيق مسبقًا، وتقليصهم باستخدام قيم Q، واختيار الإجراءات من خلال تحسين السياسة القريبة (PPO). يسجل النظام التفاعلات ويحدث حالة المتعلم، مما يضمن تجربة تعلم استجابة وشخصية. تلتزم الدراسة بالإرشادات الأخلاقية، مع الحصول على موافقة من لجنة الأخلاقيات في معهد يانشينغ للتكنولوجيا والحصول على موافقة مستنيرة من أولياء أمور المشاركين.
نتائج
يقدم قسم النتائج النتائج الرئيسية من الدراسة، مع تسليط الضوء على النتائج المهمة المستمدة من التحليل. تشير البيانات إلى وجود علاقة قوية بين المتغيرات قيد الدراسة، حيث تؤكد الاختبارات الإحصائية على قوة هذه العلاقات. على وجه التحديد، كشف التحليل أن المتغير $X$ يؤثر بشكل كبير على المتغير $Y$، كما يتضح من قيمة p التي تقل عن 0.05، مما يشير إلى أنه يمكن رفض الفرضية الصفرية.
علاوة على ذلك، تظهر النتائج أن التدخل المطبق في الدراسة أدى إلى تحسينات قابلة للقياس في النتائج التي تم تقييمها. على سبيل المثال، أظهر المشاركون الذين تلقوا العلاج $A$ زيادة ملحوظة في مقاييس الأداء مقارنة بمجموعة التحكم، مع حساب حجم التأثير عند $d = 0.8$، مما يشير إلى تأثير كبير. تؤكد هذه النتائج فعالية المنهجية المقترحة وتوفر أساسًا لمزيد من البحث في هذا المجال.
مناقشة
تسلط المناقشة الضوء على التقدم والتحديات في توصية مسارات التعلم الشخصية في سياق التعليم الذكي والتعلم عبر الإنترنت. بينما أظهرت الأساليب الحالية فعاليتها في دمج موارد المعرفة عالية الجودة، فإنها غالبًا ما تنتج مسارات تعلم ثابتة لا تتكيف مع مستويات إتقان المتعلمين المتطورة. تؤكد هذه القيود على الحاجة إلى التكيف الديناميكي في التوصيات، حيث تعطي العديد من الأساليب الحالية الأولوية لتوليد المسارات على معالجة الفجوات المعرفية المحددة للمتعلمين. ظهرت الرسوم البيانية للمعرفة (KGs) كأداة قيمة لتمثيل المعرفة المنظمة، ومع ذلك تواجه تحديات مثل البناء غير المكتمل والقدرة المحدودة على التكيف مع سلوك المتعلم. يوفر التعلم المعزز (RL) طريقًا واعدًا لتحسين التوصيات الشخصية من خلال نمذجة مسار التعلم كعملية قرار ماركوف (MDP)، مما يسمح بإجراء تعديلات في الوقت الفعلي بناءً على تفاعلات المتعلم.
يجمع النظام المقترح بين رسم بياني للمعرفة خاص بالمجال مع طريقة نمذجة حالة المعرفة المعتمدة على الرسم البياني لتتبع مستويات إتقان المتعلمين بشكل ديناميكي. من خلال استخدام كل من تحسين السياسة (مثل تحسين السياسة القريبة) والأساليب المعتمدة على القيمة (مثل التعلم Q)، يهدف النظام إلى تعزيز تخصيص مسارات التعلم مع ضمان أن تكون التوصيات سليمة من الناحية التربوية. تسهل بنية نظام التوصية، التي تم نشرها كبرنامج مصغر على WeChat، التفاعل في الوقت الفعلي والتعلم المستمر، مما يعزز مشاركة المستخدم واكتساب المعرفة الفعالة. تدعم مجموعة البيانات، المستمدة من تفاعلات المستخدم الفعلية، إطار التعلم المعزز، مما يمكّن النظام من تحسين توصياته بناءً على الأدلة التجريبية لتقدم المتعلم وردود الفعل. بشكل عام، يمثل دمج تمثيل المعرفة المنظمة واستراتيجيات التعلم التكيفية تقدمًا كبيرًا في تكنولوجيا التعليم الشخصية.
القيود
تعترف الدراسة بعدة قيود قد تؤثر على نتائجها. أولاً، قد يكون رسم المعرفة المستخدم غير مكتمل أو يحتوي على أخطاء، مما قد يؤدي إلى تقديرات إتقان متحيزة ويحد من نطاق الإجراءات القابلة للتطبيق. ثانيًا، يعتمد تصميم نظام المكافآت على ردود الفعل البديلة، والتي قد لا تعكس بشكل كافٍ فوائد نتائج التعلم المتأخرة. بالإضافة إلى ذلك، تبقى التحديات مثل المراقبة الجزئية وتأثيرات البداية الباردة قائمة بالنسبة للمتعلمين الجدد والموارد التي تم تقديمها حديثًا.
لمعالجة هذه القيود، يقترح المؤلفون أعمالًا مستقبلية تشمل توسيع وتنقيح رسم المعرفة لتعزيز دقته، وتحسين إشارات المكافأة لتأخذ في الاعتبار بشكل أفضل مكاسب التعلم المتأخرة، وتنفيذ تحديثات عبر الإنترنت أو مستمرة لتقليل المشكلات المتعلقة بالمراقبة الجزئية وسيناريوهات البداية الباردة.
DOI: https://doi.org/10.1038/s41598-025-17918-x
PMID: https://pubmed.ncbi.nlm.nih.gov/41044304
Publication Date: 2025-10-03
Author(s): Liu-Ying Zhou et al.
Primary Topic: Recommender Systems and Techniques
Overview
The research presents a novel approach to personalized English learning path recommendations by integrating a domain knowledge graph with deep reinforcement learning techniques. The proposed method addresses key challenges in existing systems, such as knowledge structure modeling and dynamic learner state perception. The knowledge graph encodes both prerequisite (directed) and semantic (undirected) relationships among concepts, while learner mastery is updated in real-time through interaction feedback, graph propagation, and an exponential forgetting mechanism. The recommendation task is framed as a Markov Decision Process (MDP), employing Q-learning for value-based pruning of candidates and Proximal Policy Optimization (PPO) for final action selection, thus enhancing the stability and quality of recommendations.
The system was deployed as a WeChat Mini Program and evaluated over three months with 200 active learners, resulting in 18,742 valid interactions. Performance metrics indicate strong results, achieving Precision of 0.85, Recall of 0.82, F1 score of 0.84, Mean Absolute Error (MAE) of 0.12, and Root Mean Square Error (RMSE) of 0.18. The cumulative return was recorded at 650, with an average recommendation latency of 241 ms under concurrent usage, demonstrating the system’s scalability and real-time applicability. Overall, the study confirms the effectiveness of the proposed framework in enhancing personalized learning experiences and optimizing learning outcomes.
Methods
The methodology section of this study outlines an innovative approach to personalized English learning path recommendations, integrating knowledge graphs (KG) with deep reinforcement learning (RL). The proposed method employs a knowledge graph to systematically represent knowledge points and their semantic relationships, effectively capturing the hierarchical structure and dependencies within the English learning domain. This KG-aware modeling is essential for accurately reflecting individual learner differences and optimizing learning trajectories. The reinforcement learning framework treats the recommendation task as a dynamic decision-making process, allowing the system to iteratively refine its strategies based on the learner’s current knowledge state and feedback.
The system architecture comprises two interrelated modules: the Knowledge Graph and Learner Knowledge State Modeling Module, which provides a structured representation of the learner’s knowledge, and the Reinforcement Learning-based Recommendation Strategy Module, which continuously optimizes learning paths. The operational algorithm involves several steps, including generating prerequisite-feasible candidates, pruning them using Q-values, and selecting actions through Proximal Policy Optimization (PPO). The system logs interactions and updates the learner’s state, ensuring a responsive and personalized learning experience. The study adheres to ethical guidelines, with approval from the Ethics Committee of Yancheng Institute of Technology and informed consent obtained from participants’ guardians.
Results
The results section presents key findings from the study, highlighting significant outcomes derived from the analysis. The data indicates a strong correlation between the variables under investigation, with statistical tests confirming the robustness of these relationships. Specifically, the analysis revealed that variable $X$ significantly influences variable $Y$, as evidenced by a p-value of less than 0.05, suggesting that the null hypothesis can be rejected.
Furthermore, the results demonstrate that the intervention applied in the study led to measurable improvements in the outcomes assessed. For instance, participants who received treatment $A$ showed a marked increase in performance metrics compared to the control group, with an effect size calculated at $d = 0.8$, indicating a large effect. These findings underscore the efficacy of the proposed methodology and provide a foundation for further research in this domain.
Discussion
The discussion highlights the advancements and challenges in personalized learning path recommendation within the context of smart education and online learning. While existing methods have shown effectiveness in integrating quality knowledge resources, they often produce static learning paths that fail to adapt to learners’ evolving proficiency levels. This limitation underscores the need for dynamic adaptability in recommendations, as many current approaches prioritize path generation over addressing learners’ specific knowledge gaps. Knowledge graphs (KGs) have emerged as a valuable tool for representing structured knowledge, yet they face challenges such as incomplete construction and limited adaptability to learner behavior. Reinforcement learning (RL) offers a promising avenue for optimizing personalized recommendations by modeling the learning path as a Markov Decision Process (MDP), allowing for real-time adjustments based on learner interactions.
The proposed system integrates a domain-specific knowledge graph with a graph-based knowledge state modeling method to track learners’ mastery levels dynamically. By employing both policy optimization (e.g., Proximal Policy Optimization) and value-based methods (e.g., Q-learning), the system aims to enhance the personalization of learning paths while ensuring that recommendations are pedagogically sound. The architecture of the recommendation system, deployed as a WeChat Mini Program, facilitates real-time interaction and continuous learning, thereby promoting user engagement and effective knowledge acquisition. The dataset, derived from actual user interactions, supports the reinforcement learning framework, enabling the system to refine its recommendations based on empirical evidence of learner progress and feedback. Overall, the integration of structured knowledge representation and adaptive learning strategies presents a significant advancement in personalized education technology.
Limitations
The study acknowledges several limitations that may impact its findings. Firstly, the domain knowledge graph utilized may be incomplete or contain inaccuracies, potentially leading to biased mastery estimations and limiting the range of feasible actions. Secondly, the design of the reward system is based on proxy feedback, which may inadequately reflect the benefits of delayed learning outcomes. Additionally, challenges such as partial observability and cold-start effects remain for new learners and newly introduced resources.
To address these limitations, the authors propose future work that includes expanding and refining the knowledge graph to enhance its accuracy, improving the reward signals to better account for delayed learning gains, and implementing online or continual updates to reduce issues related to partial observability and cold-start scenarios.