DOI: https://doi.org/10.1007/s10506-024-09389-8
تاريخ النشر: 2024-02-09
المؤلف: Christoph Engel وآخرون
الموضوع الرئيسي: دراسات التنظيم والامتثال
نظرة عامة
في هذا القسم، يقوم المؤلفون بدراسة آثار استخدام خوارزمية COMPAS في التنبؤ بمخاطر العودة للجريمة في ولايات أمريكية مختلفة، بما في ذلك نيويورك، بنسلفانيا، ويسكونسن، كاليفورنيا، وفلوريدا. يبرزون القلق من أن القضاة، من خلال الاعتماد على هذه التنبؤات، قد ينقلون بشكل غير مقصود اتخاذ قرارات معيارية حاسمة إلى نظام برمجي مملوك، والذي أظهر تحيزات تتعلق بالعرق والعمر. باستخدام مجموعة بيانات ProPublica، يكشف المؤلفون أن تنبؤات COMPAS تميل إلى تفضيل السجن على الإفراج، مما يشير إلى تحيز نظامي ضد المتهمين.
يقترح المؤلفون تصحيحًا لخوارزمية COMPAS يهدف إلى تعزيز دقتها العامة مع تقليل التحيزات ضد الأفراد السود والمتهمين الأصغر سنًا. ومع ذلك، يعترفون بأن هذا التصحيح قد يؤدي إلى زيادة طفيفة في خطر الإفراج عن المتهمين الذين قد يرتكبون جرائم جديدة قبل محاكمتهم. يجادل المؤلفون بضرورة الشفافية في هذه القرارات المعيارية، مؤكدين أن التوازن بين حقوق المتهمين الأبرياء وسلامة الضحايا المحتملين يجب ألا يتم إخفاؤه ضمن الشيفرة الخوارزمية. يدعون إلى إعادة تكوين الخوارزمية لضمان احتفاظ المشرعين والمحاكم بالسلطة لاتخاذ هذه الخيارات الحاسمة.
مقدمة
تناقش مقدمة الورقة الإطار القانوني المحيط باحتجاز المتهمين في الولايات المتحدة، مشددة على التوازن الذي يجب على القضاة تحقيقه بين سلامة الجمهور وحقوق المتهمين. بموجب القانون الفيدرالي، يمكن احتجاز المتهم إذا “لم تضمن أي شرط أو مجموعة من الشروط بشكل معقول […] سلامة أي شخص آخر والمجتمع”، بناءً على معيار “أدلة واضحة ومقنعة”. يتطلب ذلك أحكامًا تنبؤية حول احتمالية العودة للجريمة، والتي تحمل بطبيعتها مخاطر الإيجابيات الكاذبة والسلبية. يبرز المؤلفون الآثار المعيارية لهذه القرارات، مشيرين إلى أن النظام القانوني يجب أن يتنقل بين حماية الضحايا المحتملين والحفاظ على حريات المتهمين الأبرياء.
تنتقد الورقة استخدام خوارزمية COMPAS، التي تم تصميمها لتقييم مخاطر العودة للجريمة ولكن ثبت أنها متحيزة ضد المتهمين، وخاصة لصالح الضحايا. هذه التحيزات تمثل مشكلة لأنها تؤثر على القرارات القضائية دون نقاش عام شفاف أو شرعية ديمقراطية. يجادل المؤلفون بأن تصميم الخوارزمية يدمج خيارات معيارية يجب أن تُتخذ من خلال العمليات التشريعية، بدلاً من أن تكون من قبل كيان خاص. يقترحون طريقة لتصحيح هذه التحيزات، مما يسمح بنموذج تنبؤي أكثر دقة وإنصافًا مع ضمان أن أي قرارات معيارية تتعلق بتوازن الإيجابيات الكاذبة والسلبية تُتخذ بشفافية وديمقراطية. يقدم المؤلفون شفرة الخوارزمية المصححة كدليل على المفهوم، داعين إلى المساءلة في استخدام الأدوات التنبؤية في النظام القانوني.
نقاش
يسلط قسم النقاش في الورقة الضوء على التحيز المتأصل ضد المتهمين الموجود في خوارزمية COMPAS المستخدمة في التنبؤ بمخاطر العودة للجريمة. يجادل المؤلفون بأنه بينما يسمح COMPAS للمستخدمين القضائيين بتحديد عتبات المخاطر، فإنه في النهاية يدمج خيارات معيارية تفضل الضحايا المحتملين على المتهمين. باستخدام مجموعة بيانات تم تجميعها بواسطة ProPublica، يظهر المؤلفون أن تنبؤات الخوارزمية تؤدي إلى عدد كبير من الإيجابيات الكاذبة، خاصة عندما يتم تحديد عتبات أقل للاحتجاز. على سبيل المثال، عند عتبة 4، يتم تصنيف 40.1% من المتهمين بشكل غير صحيح على أنهم عالي المخاطر، مما يؤدي إلى احتجازات غير ضرورية. تكشف التحليلات أن توزيع مخاطر العودة للجريمة بين الأفراد المحتجزين مشوه، مما يزيد من التحيز ضد المتهمين.
علاوة على ذلك، يقترح المؤلفون تصحيحًا باستخدام التعلم الآلي للتخفيف من هذا التحيز، والذي يتضمن تدريب شبكة عصبية للتنبؤ بدقة قرارات COMPAS بناءً على ميزات مختلفة. يهدف هذا التصحيح إلى زيادة الدقة وتقليل الأخطاء في التنبؤات، محققًا تحسينًا ملحوظًا في نتائج اتخاذ القرار. ومع ذلك، بينما يقلل التصحيح من التحيز، فإنه لا يقضي تمامًا على الفجوات بناءً على العرق أو العمر، حيث لا يزال المتهمون الأصغر سنًا والسود يواجهون معدلات أعلى من الإيجابيات الكاذبة. يختتم المؤلفون بالدعوة إلى الشفافية في اتخاذ القرارات الخوارزمية في القضاء، مؤكدين أن الخيارات المعيارية المدمجة في الخوارزميات يجب أن تُعترف بها وتعالج من قبل المشرعين لضمان عمليات قضائية عادلة.
DOI: https://doi.org/10.1007/s10506-024-09389-8
Publication Date: 2024-02-09
Author(s): Christoph Engel et al.
Primary Topic: Regulation and Compliance Studies
Overview
In this section, the authors examine the implications of using the COMPAS algorithm for predicting recidivism risk in various US states, including New York, Pennsylvania, Wisconsin, California, and Florida. They highlight the concern that judges, by relying on these predictions, may inadvertently transfer critical normative decision-making to a proprietary software system, which has been shown to exhibit biases related to race and age. Utilizing the ProPublica dataset, the authors reveal that COMPAS predictions tend to favor incarceration over release, indicating a systemic bias against defendants.
The authors propose a correction to the COMPAS algorithm that aims to enhance its overall accuracy while reducing biases against Black individuals and younger defendants. However, they acknowledge that this correction may lead to a slight increase in the risk of releasing defendants who may commit new crimes before their trial. The authors argue for the necessity of transparency in these normative decisions, asserting that the tradeoff between the rights of innocent defendants and the safety of potential future victims should not be obscured within algorithmic code. They advocate for a reconfiguration of the algorithm to ensure that legislators and courts retain the authority to make these critical choices.
Introduction
The introduction of the paper discusses the legal framework surrounding the detention of defendants in the U.S., emphasizing the balance judges must strike between public safety and the rights of the accused. Under federal law, a defendant may be detained if “no condition or combination of conditions will reasonably assure […] the safety of any other person and the community,” based on a standard of “clear and convincing evidence.” This necessitates predictive judgments about the likelihood of recidivism, which inherently carry risks of false positives and negatives. The authors highlight the normative implications of these decisions, noting that the legal system must navigate the tension between protecting potential victims and safeguarding the freedoms of innocent defendants.
The paper critiques the use of the COMPAS algorithm, which is designed to assess recidivism risk but has been shown to be biased against defendants, particularly in favor of victims. This bias is problematic as it influences judicial decisions without transparent public discourse or democratic legitimacy. The authors argue that the algorithm’s design embeds normative choices that should be made through legislative processes, rather than by a private entity. They propose a method to correct these biases, allowing for a more accurate and equitable predictive model while ensuring that any normative decisions regarding the balance of false positives and negatives are made transparently and democratically. The authors provide the corrected algorithm’s code as a proof of concept, advocating for accountability in the use of predictive tools in the legal system.
Discussion
The discussion section of the paper highlights the inherent anti-defendant bias present in the COMPAS algorithm used for predicting recidivism risk. The authors argue that while COMPAS allows judicial users to define risk thresholds, it ultimately embeds normative choices that favor potential victims over defendants. Using a dataset compiled by ProPublica, the authors demonstrate that the algorithm’s predictions lead to a significant number of false positives, particularly when lower thresholds are set for incarceration. For instance, at a threshold of 4, 40.1% of defendants are incorrectly classified as high risk, resulting in unnecessary detentions. The analysis reveals that the distribution of recidivism risk among apprehended individuals is skewed, exacerbating the bias against defendants.
Furthermore, the authors propose a machine learning correction to mitigate this bias, which involves training a neural network to predict the accuracy of COMPAS decisions based on various features. This correction aims to maximize accuracy and minimize errors in predictions, achieving a notable improvement in decision-making outcomes. However, while the correction reduces bias, it does not fully eliminate disparities based on race or age, as younger and Black defendants still face higher rates of false positives. The authors conclude by advocating for transparency in algorithmic decision-making in the judiciary, emphasizing that normative choices embedded in algorithms must be acknowledged and addressed by lawmakers to ensure fair judicial processes.