یک وکیل مدافع در ایالت نیومکزیکوی آمریکا پس از استفاده از ChatGPT برای تهیه لایحه تجدیدنظر در یک پرونده قتل، با جریمه ۵ هزار دلاری و حکم محکومیت به بیاحترامی به دادگاه مواجه شد. دادگاه عالی نیومکزیکو اعلام کرد این لایحه شامل شهادتهای جعلی پلیس و شاهدانی بوده که اساساً وجود خارجی نداشتهاند.
استفان آرونز، وکیل پرونده، برای کمک به تهیه لایحه تجدیدنظر از ChatGPT استفاده کرده بود. این ابزار در خلاصهسازی روند دادرسی، اطلاعات نادرستی تولید کرد و حتی جزئیاتی درباره شهادت شاهدان و اظهارات پلیس ارائه داد که در اسناد واقعی پرونده وجود نداشتند.
آرونز پس از این اتفاق گفت که در زمان استفاده از ChatGPT نمیدانسته این ابزار ممکن است اطلاعات و واقعیتهای جعلی تولید کند. او همچنین اعلام کرد که لایحه را خودش نوشته، اما از ChatGPT برای خلاصهسازی روند دادگاه کمک گرفته است. با این حال، دادگاه تأکید کرد که مسئولیت بررسی صحت اطلاعات ارائهشده در یک سند حقوقی بر عهده وکیل است و نمیتوان این مسئولیت را به یک ابزار هوش مصنوعی واگذار کرد.
دادگاه علاوه بر جریمه ۵ هزار دلاری، پرونده آرونز را برای بررسیهای انضباطی بیشتر به نهاد مربوطه ارجاع داده است. پرونده او حالا به یک وکیل عمومی دیگر سپرده شده و این اتفاق بار دیگر نگرانیها درباره استفاده بدون نظارت از مدلهای هوش مصنوعی در سیستم قضایی را افزایش داده است.