DOI: https://doi.org/10.1017/nlp.2026.10014
تاريخ النشر: 2026-02-26
المؤلف: Surong Zhu وآخرون
الموضوع الرئيسي: الذكاء الاصطناعي في القانون
نظرة عامة
في سياق عصر المعلومات الرقمية، تبحث هذه الدراسة في تطبيق الذكاء الاصطناعي (AI) في الحوكمة الوطنية واتخاذ القرارات القضائية، مع معالجة فجوة ملحوظة في التحليلات التجريبية المتعلقة بفعالية نماذج اللغة الكبيرة (LLMs) في هذا المجال. تقدم البحث إطار تقييم شامل يشمل خمسة أبعاد رئيسية للمهام: استخراج المعلومات الموجهة للمهام، استشهاد المواد القانونية، استخراج الأحداث، توليد القرارات القضائية، وتوليد الآراء القانونية. من خلال اختبار شامل لـ 13 نموذج LLM رئيسي باستخدام مطالبات مصممة لتفعيل قدراتهم في التفكير القانوني، تكشف النتائج أنه بينما تتفوق هذه النماذج في معالجة النصوص القانونية وتوليد الآراء القانونية الأولية، إلا أنها تواجه صعوبة في التفكير القانوني المعقد واتخاذ القرارات الدقيقة.
لتحسين أداء نماذج LLM في المهام القضائية، تستخدم الدراسة استراتيجية تعلم مشرف ضعيف للتعديل، مما يوضح أن حتى كمية صغيرة من التعلم المحدد للمهام يمكن أن تؤدي إلى تحسينات كبيرة. وهذا يبرز أهمية جودة البيانات والمعرفة الخاصة بالمجال في التطبيق الفعال لتقنيات الذكاء الاصطناعي في المجال القانوني. علاوة على ذلك، تتناول الدراسة حدود مشاركة الذكاء الاصطناعي في الأنشطة القضائية، بهدف توفير أسس نظرية وإرشادات عملية لدمج الذكاء الاصطناعي في الممارسة القانونية.
مقدمة
تناقش مقدمة هذه الورقة البحثية تطور المجال القانوني استجابة للتقدم في تكنولوجيا المعلومات، وخاصة دمج الذكاء الاصطناعي (AI) في الممارسات القانونية. تتبع السياق التاريخي للذكاء الاصطناعي في القانون، بدءًا من المساهمات المبكرة من لوفينجر وآخرين في عام 1961 بشأن استرجاع البيانات الإلكترونية، واقتراح ألين في عام 1957 لاستخدام المنطق الرمزي في صياغة الوثائق القانونية. يوضح تأسيس الجمعية الدولية للذكاء الاصطناعي والقانون (IAAIL) في عام 1991 وتطوير تطبيقات الذكاء الاصطناعي في الصين منذ عام 1986 التقاطع المتزايد بين التكنولوجيا والعمليات القانونية.
تسلط الورقة الضوء على ظهور نماذج اللغة الكبيرة (LLMs)، مثل GPT-3.5، التي أظهرت إمكانات كبيرة في أداء مهام قانونية متنوعة، بما في ذلك صياغة الوثائق وتنظيم البيانات. لتقييم قدرات الذكاء الاصطناعي في السياقات القانونية، قام المؤلفون بتعليق يدوي على 215 قضية صينية، مما أدى إلى توليد 1,075 زوج من الأسئلة والأجوبة عبر خمس مهام قضائية. يهدف هذا التقييم إلى تحديد نقاط القوة والقيود للتقنيات الحالية للذكاء الاصطناعي في العمل القانوني. تقترح الدراسة أيضًا استراتيجية تعديل معرفي باستخدام بيانات موسومة بشكل ضعيف لتعزيز أداء LLM في معالجة القضايا القانونية. يحدد هيكل الورقة الأقسام اللاحقة التي ستتناول التحول الرقمي القانوني، وبناء مجموعة البيانات، وطرق التقييم، والنتائج، والمناقشات الختامية.
النتائج
في هذا القسم، تم تقييم أداء 13 نموذجًا من نماذج اللغة الكبيرة (LLMs) عبر مهام مساعدة قضائية متنوعة، بما في ذلك استخراج المعلومات الموجهة للمهام، واستخراج المواد القانونية، واستخراج الأحداث، وتوليد القرارات القضائية، وتوليد الآراء القانونية، باستخدام مجموعة بيانات من 215 قضية قانونية عالية الجودة. تشير النتائج إلى أنه بينما حققت نماذج مثل GPT-4o وDeepseek وErnie أعلى درجات F الإجمالية بمعدل 0.65 و0.63 و0.57 على التوالي، إلا أن فعاليتها في استخراج المعلومات القانونية المحددة لا تزال غير كافية. من الجدير بالذكر أن استخراج المصطلحات القانونية أسفر باستمرار عن درجات F منخفضة، غالبًا ما تكون أقل من 0.30، مما يبرز فجوة كبيرة في المعرفة القانونية اللازمة للتفسير الدقيق للنصوص القانونية.
علاوة على ذلك، كشفت التقييمات أن حتى النماذج القوية العامة واجهت صعوبة مع البيانات العددية، وهو أمر حاسم للسياقات القانونية مثل الغرامات ومدد العقوبات. كان أداء ChatLaw، وهو نموذج مصمم خصيصًا للتطبيقات القانونية، هو الأسوأ بمعدل متوسط قدره 0.21، مما يشير إلى أن التعديل القانوني الطفيف غير كافٍ لاستخراج المعلومات القانونية بشكل فعال. تشير النتائج إلى أنه لتعزيز أداء نماذج LLM في المهام القانونية، من الضروري إجراء تدريب أكثر استهدافًا باستخدام مجموعات البيانات القانونية والتركيز على اللغة الخاصة بالمجال.
المناقشة
تسلط قسم المناقشة في الورقة البحثية الضوء على التركيز المتزايد على تقييم أداء نماذج اللغة الكبيرة (LLMs) عبر مجالات متنوعة، وخاصة في التطبيقات القانونية. كانت المعايير المعمول بها مثل GLUE وMMLU فعالة في تقييم المهام العامة لمعالجة اللغة الطبيعية، بينما توسع الأطر الحديثة مثل BIG-bench وDebugBench التقييم ليشمل مجالات أكثر تخصصًا، بما في ذلك هندسة البرمجيات ومعالجة الجداول. من الجدير بالذكر أن الورقة تؤكد على الحاجة إلى مقاييس تقييم مصممة خصيصًا في السياقات القانونية، حيث غالبًا ما تتجاهل المعايير الحالية الكفاءات المعقدة المطلوبة للمهام القانونية، مثل تفسير القوانين والتفكير القضائي.
يقترح المؤلفون إطار تقييم جديد يهدف إلى تقييم أداء LLM في المهام القانونية بشكل صارم. يحددون منهجيتهم، التي تشمل جمع 215 قضية قانونية عالية الجودة تم تعليقها بواسطة خريجي القانون المدربين لخمس مهام محددة: استخراج المعلومات، استشهاد المواد القانونية، استخراج الأحداث، توليد القرارات القضائية، وتوليد الآراء القانونية. يستخدم الإطار نهج التعلم القليل ويستخدم مقاييس مثل الدقة والاسترجاع ودرجة F1 لتقييم أداء النموذج. تشير النتائج إلى أنه بينما تظهر LLMs وعدًا في التطبيقات القانونية، لا تزال هناك تحديات كبيرة في قدرات التفكير المنطقي، مما يبرز ضرورة وجود طرق تقييم أكثر تفصيلًا لالتقاط تعقيدات التفكير القانوني وضمان التطبيق العملي لـ LLMs في المجال القانوني.
DOI: https://doi.org/10.1017/nlp.2026.10014
Publication Date: 2026-02-26
Author(s): Surong Zhu et al.
Primary Topic: Artificial Intelligence in Law
Overview
In the context of the digital information age, this study investigates the application of artificial intelligence (AI) in national governance and judicial decision-making, addressing a notable gap in empirical analyses regarding the effectiveness of large language models (LLMs) in this domain. The research introduces a comprehensive evaluation framework that encompasses five key task dimensions: Task-oriented Information Extraction, Legal Article Citation, Event Extraction, Judicial Decision Generation, and Legal Opinion Generation. Through extensive testing of 13 mainstream LLMs using tailored prompts to activate their legal reasoning capabilities, the findings reveal that while these models excel in processing legal texts and generating preliminary legal opinions, they struggle with complex legal reasoning and precise decision-making.
To enhance the performance of LLMs in judicial tasks, the study employs a weakly supervised learning strategy for fine-tuning, demonstrating that even a small amount of task-specific learning can lead to significant improvements. This highlights the importance of data quality and domain-specific knowledge in the effective application of AI technologies within the legal field. Furthermore, the study addresses the boundaries of AI involvement in judicial activities, aiming to provide both theoretical foundations and practical guidance for the integration of AI into legal practice.
Introduction
The introduction of this research paper discusses the evolution of the legal field in response to advancements in information technology, particularly the integration of artificial intelligence (AI) into legal practices. It traces the historical context of AI in law, beginning with early contributions from Loevinger et al. in 1961 regarding electronic data retrieval, and Allen’s 1957 proposal for using symbolic logic in legal document drafting. The establishment of the International Association for Artificial Intelligence and Law (IAAIL) in 1991 and the development of AI applications in China since 1986 further illustrate the growing intersection of technology and legal processes.
The paper highlights the emergence of large language models (LLMs), such as GPT-3.5, which have shown significant potential in performing various legal tasks, including document drafting and data organization. To assess the capabilities of AI in legal contexts, the authors manually annotated 215 Chinese cases, generating 1,075 question-answer pairs across five judicial tasks. This evaluation aims to identify the strengths and limitations of current AI technologies in legal work. The study also proposes a knowledge fine-tuning strategy using weakly labeled data to enhance LLM performance in legal case processing. The paper’s structure outlines subsequent sections that will delve into legal digital transformation, dataset construction, evaluation methods, results, and concluding discussions.
Results
In this section, the performance of 13 large language models (LLMs) was evaluated across various judicial assistance tasks, including task-oriented information extraction, legal article extraction, event extraction, judicial decision generation, and legal opinion generation, using a dataset of 215 high-quality legal cases. The results indicate that while models like GPT-4o, Deepseek, and Ernie achieved the highest overall F-scores of 0.65, 0.63, and 0.57 respectively, their effectiveness in extracting legal-specific information remains inadequate. Notably, the extraction of legal terms consistently yielded low F-scores, often below 0.30, highlighting a significant gap in legal domain knowledge necessary for accurate interpretation of legal texts.
Furthermore, the evaluation revealed that even strong general-purpose models struggled with numerical data, which is crucial for legal contexts such as fines and sentence durations. ChatLaw, a model specifically designed for legal applications, performed the poorest with an average score of 0.21, indicating that minor legal fine-tuning is insufficient for effective legal information extraction. The findings suggest that to enhance the performance of LLMs in legal tasks, more targeted training using legal corpora and a focus on domain-specific language are essential.
Discussion
The discussion section of the research paper highlights the increasing focus on evaluating the performance of large language models (LLMs) across various domains, particularly in legal applications. Established benchmarks such as GLUE and MMLU have been instrumental in assessing general NLP tasks, while recent frameworks like BIG-bench and DebugBench expand evaluation to more specialized areas, including software engineering and table processing. Notably, the paper emphasizes the need for tailored evaluation metrics in legal contexts, as existing benchmarks often overlook the complex competencies required for legal tasks, such as statutory interpretation and judicial reasoning.
The authors propose a novel evaluation framework aimed at rigorously assessing LLM performance in legal tasks. They outline their methodology, which includes the collection of 215 high-quality legal cases annotated by trained law graduates for five specific tasks: information extraction, legal article citation, event extraction, judicial decision generation, and legal opinion generation. The framework employs a few-shot learning approach and utilizes metrics such as precision, recall, and F1 score to evaluate model performance. The findings indicate that while LLMs show promise in legal applications, there remain significant challenges in logical reasoning capabilities, underscoring the necessity for more granular evaluation methods to fully capture the intricacies of legal reasoning and ensure the practical applicability of LLMs in the legal domain.