DOI: https://doi.org/10.1109/tg.2026.3695197
تاريخ النشر: 2026-05-20
المؤلف: In-Chang Baek وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في الألعاب
نظرة عامة
تقدم ورقة البحث بنية متقدمة لتوليد المكافآت في إنشاء محتوى الألعاب، تُسمى PCGRLLM. تدمج هذه البنية آلية تغذية راجعة وتقنيات هندسة المطالبات القائمة على التفكير لتعزيز تدريب الذكاء الاصطناعي للألعاب، خاصة في توليد دوال المكافآت لوكلاء التعلم المعزز. تقيم الدراسة PCGRLLM عبر سيناريوهات مختلفة باستخدام نموذجين كبيرين من نماذج اللغة الحديثة (LLMs)، مما يظهر تحسينات كبيرة في الأداء تقترب من فعالية مستوى الإنسان. تشير النتائج إلى أن دمج التفكير القائم على التغذية الراجعة وطرق هندسة المطالبات المتقدمة يمكن أن يعزز كفاءة العينة ويقلل من الاعتماد البشري في تطوير الذكاء الاصطناعي للألعاب.
في الخاتمة، يبرز المؤلفون أهمية جودة التغذية الراجعة في تحسين دوال المكافآت ويعترفون بوجود قيد في نهج التقييم الذاتي لنموذج اللغة، الذي غالبًا ما أدى إلى تقييمات غير متسقة وذات طابع شخصي. للتخفيف من هذه المشكلة، يقترح المؤلفون استخدام توليد قليل اللقطات للتقييم المقارن والتفكير الذاتي لتعزيز موضوعية التقييم. تستخدم الدراسة بيئة PCGRL-Jax، التي تقدم إعداد مكافآت حتمي وأوقات تدريب أسرع بكثير مقارنة بالتطبيقات السابقة. يسمح تصميم البيئة بتقييم فعال لدوال المكافآت المولدة، مما يدعم المزيد من تطبيقات الإطار في مجالات الألعاب الأوسع.
مقدمة
تسلط المقدمة الضوء على الدور الحاسم لتصميم دالة المكافأة في تدريب وكلاء التعلم المعزز العميق (DRL) والخوارزميات التطورية لتوليد المحتوى الإجرائي (PCG) في الألعاب. لا توجه دوال المكافأة سلوك الوكلاء فحسب، بل تتماشى أيضًا مع المحتوى المولد مع أهداف محددة، مثل صعوبة اللعبة والجودة الجمالية. تعتمد الطرق التقليدية لتصميم هذه الدوال بشكل كبير على خبرة الباحثين، مما يؤدي إلى عملية تشكيل مكافآت تستغرق وقتًا طويلاً وتطرح تحديات في إمكانية الوصول والتوسع لوكلاء الذكاء الاصطناعي في الألعاب. أظهرت التطورات الأخيرة في نماذج اللغة الكبيرة (LLMs) وعدًا في معالجة هذه القضايا من خلال استخدام المعرفة المدربة مسبقًا من مجموعات بيانات واسعة لتوليد المكافآت، مما يقلل من الاعتماد البشري ويعزز القابلية للتحكم.
تناقش المقدمة أيضًا قيود الأساليب الحالية المدفوعة بنماذج اللغة الكبيرة، مثل ChatPCG، التي تحول أوصاف الألعاب عالية المستوى إلى كود دالة مكافأة منخفضة المستوى. بينما تقترح طريقة تحسين مكافآت تُسمى المحاذاة الذاتية، تفتقر إلى عملية تحسين تتضمن نتائج الوكيل المدرب، مما يثير القلق بشأن التوافق بين السياسة المدربة وظروف توليد المكافآت المقصودة. تشير القسم الخلفية اللاحق إلى أن الإطار المقترح يمكن توسيعه إلى ما هو أبعد من البيئات ثنائية الأبعاد إلى الإعدادات ثلاثية الأبعاد، باستخدام معايير محددة لتعريف المكافآت وتمكين التغذية الراجعة من خلال نماذج قائمة على الرؤية. تدعم هذه القابلية للتكيف تطبيقات متنوعة في مجالات PCGRL وتعزز تقييم أداء الوكلاء من خلال طرق مدفوعة بالمحاكاة.
طرق
في قسم النتائج التجريبية، تحقق الدراسة من فعالية آليات التغذية الراجعة في تعزيز الأداء عبر إعدادات مختلفة. تشير النتائج، الملخصة في الجدول II، إلى أن إدخال التغذية الراجعة يحسن الأداء بشكل كبير مقارنة بكل من توليد عدم اللقطات وظروف المحاذاة الذاتية (SA)، مع تأكيد الأهمية الإحصائية عبر اختبار ويلش t (p(ZS) < 0.05). من الجدير بالذكر أن نموذج PCGRLLM تفوق باستمرار على الآخرين، خاصة في إعداد المهمة الموجهة نحو الهدف (GoT)، حيث أدت التغذية الراجعة إلى مكاسب كبيرة مقارنة بحالة SA (p(SA) < 0.01). يشير هذا إلى أن التغذية الراجعة لا تعالج فقط قيود توليد عدم اللقطات ولكن تعزز أيضًا توافق دوال المكافآت مع أهداف المهام، مما يسهل تعلم السياسة بشكل أكثر فعالية. تركز الجزء الثاني من النتائج على جودة التغذية الراجعة وتأثيرها على تحسينات الأداء. تم تقييم ثلاثة أنواع من التغذية الراجعة - لا، عامة، ومحددة - عبر عدة تكرارات، حيث حققت التغذية الراجعة المحددة أعلى أداء بحلول التكرار السادس في إعداد GoT. بينما قدمت التغذية الراجعة العامة بعض الفوائد، إلا أنها لم تتطابق مع فعالية التغذية الراجعة المحددة، التي أظهرت تحسينات واضحة، خاصة في التكرارات المبكرة. كانت حالة عدم التغذية الراجعة تحت الأداء باستمرار، مما يبرز الدور الحاسم للتغذية الراجعة المخصصة في دفع التحسينات التكرارية ذات المعنى. بشكل عام، تؤكد هذه النتائج على أهمية تحديد التغذية الراجعة في تحسين نتائج الأداء في مهام التعلم المعزز.
نقاش
في هذا القسم، يقدم المؤلفون بنية محسنة لتوليد المحتوى الإجرائي من خلال التعلم المعزز (PCGRL)، تُسمى PCGRLLM. يدمج هذا الإطار آلية توليد مكافآت قائمة على التغذية الراجعة تقوم بتحسين دالة المكافأة بشكل تكراري باستخدام عمليات المحاذاة الذاتية والتغذية الراجعة. يقوم نموذج اللغة بتوليد دوال مكافأة أولية بناءً على تعليمات قصة موجزة، والتي تُستخدم بعد ذلك لتدريب وكيل التعلم المعزز (RL). تُعلم التغذية الراجعة من أداء وكيل RL التكرارات اللاحقة لدالة المكافأة، مما يسمح بتحسين مستمر بما يتماشى مع أهداف توليد المحتوى المحددة.
يبرز المؤلفون ثلاث مساهمات رئيسية: (1) بنية محسنة لتوليد المكافآت تستفيد من التغذية الراجعة لتعزيز توافق السياسة مع التعليمات، (2) تطبيق تقنيات هندسة المطالبات المتقدمة لتسهيل استكشاف فضاء المكافآت، و(3) إطار تقييم شامل يتضمن دراسات إلغاء لتقييم قدرات نماذج اللغة الكبيرة (LLMs) في توليد مكافآت فعالة. يتم تقييم الطريقة المقترحة من خلال مهمة تحويل النص إلى مكافأة، مما يظهر فعاليتها في توليد دوال مكافأة تعكس بدقة سيناريوهات اللعب المدفوعة بالسرد. يتم التأكيد على الطبيعة التكرارية لعملية تصميم المكافآت، التي تتضمن التفكير في العلاقات السببية بين المكافآت والمحتوى المولد، كجانب حاسم لتحقيق توليد محتوى عالي الجودة.
DOI: https://doi.org/10.1109/tg.2026.3695197
Publication Date: 2026-05-20
Author(s): In-Chang Baek et al.
Primary Topic: Artificial Intelligence in Games
Overview
The research paper presents an advanced architecture for reward generation in game content creation, termed PCGRLLM. This architecture integrates a feedback mechanism and reasoning-based prompt engineering techniques to enhance the training of game AIs, particularly in generating reward functions for reinforcement learning agents. The study evaluates PCGRLLM across various scenarios using two state-of-the-art large language models (LLMs), demonstrating significant performance improvements that approach human-level effectiveness. The findings suggest that the incorporation of feedback-based reflection and advanced prompt engineering methods can enhance sample efficiency and reduce human dependency in game AI development.
In the conclusion, the authors highlight the importance of feedback quality in refining reward functions and acknowledge a limitation in the self-evaluation approach of the LLM, which often led to inconsistent and subjective assessments. To mitigate this issue, the authors propose employing few-shot generation for comparative scoring and self-consistency reasoning to enhance evaluation objectivity. The study utilizes the PCGRL-Jax environment, which offers a deterministic reward setting and significantly faster training times compared to previous implementations. The environment’s design allows for effective evaluation of the generated reward functions, further supporting the framework’s applicability to broader game domains.
Introduction
The introduction highlights the critical role of reward function design in training deep reinforcement learning (DRL) agents and evolutionary algorithms for procedural content generation (PCG) in games. Reward functions not only guide agent behaviors but also align generated content with specific objectives, such as game difficulty and aesthetic quality. Traditional methods of designing these functions are heavily reliant on the expertise of researchers, leading to a time-intensive reward shaping process that poses challenges in accessibility and scalability for game AI. Recent advancements in large language models (LLMs) have shown promise in addressing these issues by utilizing pre-trained knowledge from extensive datasets to generate rewards, thereby reducing human dependency and enhancing controllability.
The introduction also discusses the limitations of existing LLM-driven approaches, such as ChatPCG, which transforms high-level game descriptions into low-level reward function code. While it proposes a reward fine-tuning method called self-alignment, it lacks a refinement process that incorporates the outcomes of the trained agent, raising concerns about the alignment between the trained policy and the intended reward generation conditions. The subsequent background section suggests that the proposed framework can be extended beyond two-dimensional environments to three-dimensional settings, utilizing specific criteria for reward definition and enabling feedback through vision-based models. This adaptability supports diverse applications in PCGRL domains and enhances the evaluation of agent performance through simulation-driven methods.
Methods
In the section on experimental results, the study investigates the effectiveness of feedback mechanisms in enhancing performance across various settings. The results, summarized in Table II, indicate that the introduction of feedback significantly improves performance compared to both zero-shot generation and the self-alignment (SA) condition, with statistical significance confirmed via the Welch t-test (p(ZS) < 0.05). Notably, the PCGRLLM model consistently outperformed others, particularly in the Goal-oriented Task (GoT) setting, where feedback led to substantial gains over the SA condition (p(SA) < 0.01). This suggests that feedback not only addresses the limitations of zero-shot generation but also enhances the alignment of reward functions with task objectives, thereby facilitating more effective policy learning. The second part of the results focuses on feedback quality and its impact on performance improvements. Three feedback types—No, Generic, and Specific—were evaluated across multiple iterations, with specific feedback yielding the highest performance by the sixth iteration in the GoT setting. While Generic feedback provided some benefits, it did not match the effectiveness of Specific feedback, which demonstrated clear improvements, especially in early iterations. The No feedback condition consistently underperformed, highlighting the critical role of tailored feedback in driving meaningful iterative refinement. Overall, these findings underscore the importance of feedback specificity in optimizing performance outcomes in reinforcement learning tasks.
Discussion
In this section, the authors present an enhanced architecture for procedural content generation through reinforcement learning (PCGRL), termed PCGRLLM. This framework integrates a feedback-based reward generation mechanism that iteratively refines the reward function using self-alignment and feedback processes. The language model generates initial reward functions based on brief story instructions, which are then utilized to train a reinforcement learning (RL) agent. The feedback from the RL agent’s performance informs subsequent iterations of the reward function, allowing for continuous improvement in alignment with the specified content generation objectives.
The authors highlight three key contributions: (1) an improved reward generation architecture that leverages feedback to enhance policy alignment with instructions, (2) the application of advanced prompt engineering techniques to facilitate exploration of the reward space, and (3) a comprehensive evaluation framework that includes ablation studies to assess the capabilities of large language models (LLMs) in generating effective rewards. The proposed method is evaluated through a text-to-reward task, demonstrating its effectiveness in generating reward functions that accurately reflect narrative-driven gameplay scenarios. The iterative nature of the reward design process, which incorporates reasoning about causal relationships between rewards and generated content, is emphasized as a critical aspect of achieving high-quality content generation.