DOI: https://doi.org/10.1016/j.ipm.2026.105030
تاريخ النشر: 2026-06-30
المؤلف: Wenhan Yu وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في القانون
نظرة عامة
تقدم البحث مجموعة بيانات التفكير القانوني متعدد الخطوات (MSLR)، وهي الأولى من نوعها باللغة الصينية، تهدف إلى تعزيز تقييم قدرات التفكير القانوني في نماذج اللغة الكبيرة (LLMs). تعالج MSLR أوجه القصور الكبيرة في المعايير القانونية الحالية، مثل الخلط بين استرجاع الحقائق والاستنتاج الحقيقي، وتجزئة عمليات التفكير، والتقييم غير الكافي لجودة التفكير. باستخدام إطار عمل IRAC (المسألة-القاعدة-التطبيق-الاستنتاج)، تلتقط MSLR تفكير الخبراء من القرارات القانونية الرسمية، وتتكون من ما يقرب من 1,400 حالة تتطلب في المتوسط أكثر من 40 خطوة تفكير مفصلة لكل منها. لا تسهل هذه المجموعة البيانات فقط تقييمًا أكثر دقة لأداء LLM، بل تؤسس أيضًا لخط أنابيب تعاوني قابل للتوسع للتعليق لإنشاء تعليقات دقيقة على مستوى الخطوات.
يكشف تقييم نماذج LLM المختلفة على مجموعة بيانات MSLR عن أداء متواضع فقط، مما يشير إلى التحديات التي تواجهها LLMs في مهام التفكير القانوني المعقدة. ومن الجدير بالذكر أن الدراسة تجد أن مطالبات سلسلة التفكير الذاتية (CoT)، التي يتم إنشاؤها بشكل مستقل بواسطة النماذج، تعزز بشكل كبير من تماسك التفكير وجودة المخرجات مقارنة بمطالبات CoT المصممة من قبل البشر، والتي غالبًا ما تؤدي إلى نتائج غامضة. تؤكد النتائج على أهمية كل من عملية التفكير والتماسك المنطقي في السياقات القانونية، مما يساهم في تقديم رؤى وموارد قيمة للبحوث المستقبلية في تفكير LLM واستراتيجيات CoT. مجموعة البيانات والرموز المرتبطة بها متاحة للجمهور، مما يعزز المزيد من الاستكشاف في هذا المجال.
مقدمة
تسلط مقدمة ورقة البحث الضوء على التقدمات الأخيرة في نماذج اللغة الكبيرة (LLMs) وتطبيقها في مهام التفكير القانوني. مع تزايد استخدام LLMs في تطبيقات قانونية متنوعة مثل تلخيص الوثائق، والإجابة على الأسئلة، وتوقع الأحكام، أصبحت الحاجة إلى تقييم فعال لقدراتها أمرًا بالغ الأهمية. تعاني المعايير القانونية الحالية، على الرغم من توفيرها لمجموعات بيانات منظمة، من قيود كبيرة: الخلط بين استرجاع الحقائق والتفكير القانوني، وتجزئة التفكير متعدد الخطوات إلى مهام فرعية غير متصلة، وإعطاء الأولوية للإجابات النهائية على عملية التفكير نفسها.
لمعالجة هذه القضايا، تقدم الورقة معيار التفكير القانوني متعدد الخطوات (MSLR)، الذي يتماشى مع إطار عمل IRAC ويركز على حالات التداول الداخلي. يتميز هذا المعيار بـ 60,000 تعليق على مستوى الخطوات عبر 1,400 قرار قانوني، مما يسهل تقييمًا دقيقًا لجودة التفكير. بالإضافة إلى ذلك، يقترح المؤلفون خط أنابيب تعاوني من ثلاث مراحل بين البشر وLLM لتعزيز كفاءة وجودة عملية التعليق. تقدم الدراسة أيضًا مقاييس تقييم جديدة، بما في ذلك استرجاع IRAC، الذي يرتبط بقوة مع أحكام الخبراء، ورؤى حول فعالية استراتيجيات تحفيز سلسلة التفكير المختلفة. بشكل عام، تشمل مساهمات هذا البحث إنشاء مجموعة بيانات شاملة، ومنهجية تعليق قابلة للتوسع، ومقاييس مبتكرة لتقييم التفكير القانوني في LLMs.
طرق
في هذا القسم، يحدد المؤلفون تصميمهم التجريبي الذي يهدف إلى تقييم قدرات التعليق لنماذج اللغة الكبيرة (LLMs) ضمن المجال القانوني. يقومون بتحويل مهام التعليق التقليدية إلى مهام استخراج معلومات منظمة تتماشى مع المهام الفرعية الأساسية في معالجة اللغة الطبيعية (NLP)، مثل التعرف على الكيانات المسماة، وتصنيف النصوص، والتلخيص. يتم إنشاء إطار عمل موحد، يستخدم نهج عدم التعلم المسبق لإنشاء مطالبات موحدة توجه LLMs في استخراج المعلومات الأساسية من النصوص القانونية، مع تنسيق المخرجات في هيكل JSON محدد.
تستكشف الدراسة أيضًا جودة التفكير متعدد الخطوات في اتخاذ القرارات القانونية المعقدة من خلال استخدام ثلاثة أوضاع إدخال متميزة: الإدخال القياسي (Std)، وإدخال سلسلة التفكير المصممة من قبل البشر (H-CoT)، وإدخال سلسلة التفكير الذاتية (S-CoT). يوفر وضع Std إعدادات دور أساسية ووصفًا للحالات، بينما يتضمن وضع H-CoT مسارات تفكير قانونية حقيقية تم تطويرها بواسطة خبراء قانونيين لتوافق مخرجات النموذج مع أنماط التفكير البشرية. في المقابل، يسمح وضع S-CoT للنموذج بإنشاء مسارات تفكير بشكل مستقل بناءً على قدراته. يمكّن هذا الإطار المقارن من تقييم شامل لقدرات التفكير القانوني متعدد الخطوات للنماذج وفعالية مطالبات سلسلة التفكير (CoT) في تعزيز جودة التفكير.
نتائج
تسلط نتائج الدراسة الضوء على قيود نماذج اللغة الكبيرة (LLMs) في أداء مهام التفكير القانوني المعقدة، كما يتضح من أدائها على مجموعة بيانات MSLR. ومن الجدير بالذكر أن LLMs، بما في ذلك النماذج المتقدمة مثل DeepSeek وسلسلة GPT، حققت أقل من 80% في كل من حل الاستدعاء الأول (FCR) والدقة العامة، مما يشير إلى فجوة كبيرة مقارنة بالمعلقين البشر. تؤكد هذه النتيجة الأبحاث السابقة التي أجراها Kocoń وآخرون (2023) وNasution وOnan (2024)، والتي تبرز التحديات التي تواجهها LLMs في سيناريوهات عدم التعلم المسبق للمهام المعقدة. تدعو الدراسة إلى نهج تعاوني في التعليق بين البشر وLLM، يجمع بين كفاءة LLMs وضمان جودة الإشراف البشري.
بالإضافة إلى ذلك، يظهر نموذج LLM كقاضٍ طريقة قابلة للتطبيق لتقييم جودة التفكير القانوني، مدعومًا بارتباط إيجابي قوي بين استرجاع IRAC ودرجة LLM (ارتباط بيرسون ρ=0.85، p<0.001). أظهرت التقييمات البشرية لمخرجات التفكير التي تم إنشاؤها بواسطة النموذج معدل اتفاق بنسبة 87.96% مع التقييمات الآلية، مما يشير إلى تماسك عالٍ بين التقييمات البشرية والآلية. ومع ذلك، على الرغم من أن بعض النماذج حققت درجات LLM فوق 90%، إلا أن استرجاع IRAC الخاص بها ظل أقل من 75%، مما يشير إلى أنه على الرغم من أن التفكير قد يبدو متماسكًا، إلا أنه غالبًا ما يفتقر إلى التوافق مع عمليات اتخاذ القرار القانونية الفعلية. تكشف الدراسة أيضًا أن فعالية مطالبات سلسلة التفكير المصممة من قبل البشر (CoT) تختلف عبر النماذج، حيث يعاني البعض من تدهور في الأداء بسبب التدخل المعرفي، مما يتحدى الافتراضات حول الفوائد العالمية من المطالبات المنظمة.
مناقشة
تسلط قسم المناقشة في ورقة البحث الضوء على تطوير معايير دولية مختلفة تهدف إلى تعزيز تطبيقات الذكاء الاصطناعي القانونية، مثل LexGLUE وLegalBench، التي تركز على المهام القانونية باللغة الإنجليزية، وLawBench وLexEval لمجالات القانون الصينية. ومع ذلك، غالبًا ما تقلل هذه المعايير من مهام التفكير القانوني المعقدة إلى مشاكل تصنيف بسيطة، مما يفشل في تقييم جودة التفكير لنماذج اللغة الكبيرة (LLMs) بشكل كافٍ. لمعالجة هذه الفجوة، يقدم المؤلفون مجموعة بيانات MSLR، التي تم تصميمها خصيصًا لتقييم التفكير القانوني متعدد الخطوات في حالات التداول الداخلي، مما يعكس الطبيعة المعقدة لعمليات اتخاذ القرار القانونية في العالم الحقيقي.
تتكون مجموعة بيانات MSLR من 1,389 وثيقة قانونية وتم إنشاؤها من خلال عملية تعليق تعاونية صارمة بين البشر وLLM، مما يضمن تتبع تفكير عالي الجودة بناءً على إطار عمل IRAC. يؤكد المؤلفون على أهمية تقييم LLMs ليس فقط على مقاييس النتائج ولكن أيضًا على تماسك وجودة عمليات التفكير الخاصة بهم. يستخدمون نموذج LLM كقاضٍ لتقييم احتمالية المحتوى الذي تم إنشاؤه، مما يكشف أن تقنيات التحفيز التقليدية، مثل سلسلة التفكير (CoT)، قد لا تكون فعالة في مهام التفكير القانوني كما كان يُفترض سابقًا. تشير النتائج إلى أن نهجًا أكثر دقة في التحفيز، مثل CoT الذاتية، يمكن أن يعزز التماسك المنطقي لمخرجات LLM، مما يحسن الجودة العامة لتقييمات التفكير القانوني.
DOI: https://doi.org/10.1016/j.ipm.2026.105030
Publication Date: 2026-06-30
Author(s): Wenhan Yu et al.
Primary Topic: Artificial Intelligence in Law
Overview
The research introduces the Multi-Step Legal Reasoning (MSLR) dataset, the first of its kind in Chinese, aimed at enhancing the evaluation of legal reasoning capabilities in large language models (LLMs). MSLR addresses significant shortcomings in existing legal benchmarks, such as the conflation of factual recall with genuine inference, fragmentation of reasoning processes, and inadequate assessment of reasoning quality. Utilizing the IRAC framework (Issue-Rule-Application-Conclusion), MSLR captures expert reasoning from official legal decisions, comprising nearly 1,400 cases that require an average of over 40 detailed reasoning steps each. This dataset not only facilitates a more nuanced evaluation of LLM performance but also establishes a scalable collaborative annotation pipeline for generating fine-grained step-level annotations.
Evaluation of various LLMs on the MSLR dataset reveals only modest performance, indicating the challenges LLMs face in complex legal reasoning tasks. Notably, the study finds that Self-Initiated Chain-of-Thought (CoT) prompts, generated autonomously by the models, significantly enhance reasoning coherence and output quality compared to Human-Designed CoT prompts, which often lead to ambiguous results. The findings underscore the importance of both the reasoning process and logical coherence in legal contexts, contributing valuable insights and resources for future research in LLM reasoning and CoT strategies. The dataset and associated code are publicly accessible, promoting further exploration in this domain.
Introduction
The introduction of the research paper highlights the recent advancements in large language models (LLMs) and their application in legal reasoning tasks. As LLMs are increasingly utilized for various legal applications such as document summarization, question answering, and judgment prediction, the need for effective evaluation of their capabilities has become paramount. Existing legal benchmarks, while providing structured datasets, suffer from significant limitations: conflating factual recall with legal reasoning, fragmenting multi-step reasoning into disconnected subtasks, and prioritizing final answers over the reasoning process itself.
To address these issues, the paper introduces the Multi-Step Legal Reasoning (MSLR) benchmark, which is aligned with the IRAC framework and focuses on insider trading cases. This benchmark features 60,000 step-level annotations across 1,400 legal decisions, facilitating a granular evaluation of reasoning quality. Additionally, the authors propose a three-stage Human-LLM collaborative annotation pipeline to enhance the efficiency and quality of the annotation process. The study also presents new evaluation metrics, including IRAC Recall, which correlates strongly with expert judgments, and insights into the effectiveness of different Chain-of-Thought prompting strategies. Overall, the contributions of this research include the establishment of a comprehensive dataset, a scalable annotation methodology, and innovative metrics for assessing legal reasoning in LLMs.
Methods
In this section, the authors outline their experimental design aimed at assessing the annotation capabilities of large language models (LLMs) within the legal domain. They convert traditional annotation tasks into structured information extraction tasks that align with core natural language processing (NLP) sub-tasks, such as named entity recognition, text classification, and summarization. A unified framework is established, employing a zero-shot approach to create standardized prompts that guide LLMs in extracting essential information from legal texts, with outputs formatted in a specified JSON structure.
The study further investigates the quality of multi-step reasoning in complex legal decision-making by employing three distinct input modes: Standard Input (Std), Human-Designed Chain of Thought Input (H-CoT), and Self-Initiated Chain of Thought Input (S-CoT). The Std mode provides basic role settings and case descriptions, while the H-CoT mode incorporates authentic legal reasoning paths developed by legal experts to align model outputs with human reasoning patterns. In contrast, the S-CoT mode allows the model to autonomously generate reasoning paths based on its capabilities. This comparative framework enables a thorough evaluation of the models’ multi-step legal reasoning abilities and the effectiveness of Chain of Thought (CoT) prompts in enhancing reasoning quality.
Results
The results of the study highlight the limitations of large language models (LLMs) in performing complex legal reasoning tasks, as evidenced by their performance on the MSLR dataset. Notably, LLMs, including advanced models like DeepSeek and the GPT series, achieved less than 80% in both First Call Resolution (FCR) and Overall Accuracy, indicating a significant gap compared to human annotators. This finding corroborates previous research by Kocoń et al. (2023) and Nasution and Onan (2024), which emphasizes the challenges LLMs face in zero-shot scenarios for intricate tasks. The study advocates for a Human-LLM collaborative annotation approach, which combines the efficiency of LLMs with the quality assurance of human oversight.
Additionally, the LLM-as-a-Judge paradigm demonstrates a viable method for evaluating legal reasoning quality, supported by a strong positive correlation between IRAC Recall and LLM Score (Pearson correlation ρ=0.85, p<0.001). Human assessments of model-generated reasoning outputs showed an 87.96% agreement rate with automated ratings, indicating high consistency between human and machine evaluations. However, despite some models achieving LLM Scores above 90%, their IRAC Recall remained below 75%, suggesting that while the reasoning may seem coherent, it often lacks alignment with actual legal decision-making processes. The study also reveals that the effectiveness of Human-Designed Chain of Thought (CoT) prompts varies across models, with some experiencing performance degradation due to cognitive interference, challenging the assumption of universal benefits from structured prompts.
Discussion
The discussion section of the research paper highlights the development of various international benchmarks aimed at enhancing legal AI applications, such as LexGLUE and LegalBench, which focus on English-language legal tasks, and LawBench and LexEval for Chinese legal domains. However, these benchmarks often reduce complex legal reasoning tasks to simplistic classification problems, failing to adequately assess the reasoning quality of large language models (LLMs). To address this gap, the authors introduce the MSLR dataset, which is specifically designed to evaluate multi-step legal reasoning in insider trading cases, reflecting the intricate nature of real-world legal decision-making.
The MSLR dataset comprises 1,389 legal documents and is constructed through a rigorous Human-LLM collaborative annotation process, ensuring high-quality reasoning traces based on the IRAC framework. The authors emphasize the importance of evaluating LLMs not only on outcome metrics but also on the coherence and quality of their reasoning processes. They employ the LLM-as-a-Judge paradigm to assess the plausibility of generated content, revealing that traditional prompting techniques, such as Chain-of-Thought (CoT), may not be as effective in legal reasoning tasks as previously assumed. The findings suggest that a more nuanced approach to prompting, such as Self-Initiated CoT, can enhance the logical coherence of LLM outputs, thereby improving the overall quality of legal reasoning assessments.