AI가 꾸며낸 판례 법원 제출 급증 … 미국서만 1천건 넘어

생성형 인공지능(AI)이 만들어낸 허위 판례와 부정확한 법률정보가 미국 법원에 제출되는 사례가 급증하면서 사법부가 대응에 고심하고 있다.

프랑스 HEC 파리의 데이미언 샬로탱 선임연구원이 운영하는 ‘AI 환각 사례 데이터베이스’에 따르면 8일 기준 AI가 생성한 허위 또는 왜곡된 내용을 사용했다고 법원이나 재판기관이 확인한 사례는 전 세계 1,868건이다. 이 가운데 미국 사례는 1,297건으로 집계됐다.

데이터베이스는 단순히 AI 사용 의혹이 제기된 모든 소송을 집계한 것이 아니다. 법원이나 재판기관이 당사자가 AI의 환각으로 생성된 내용을 이용했다고 명시적으로 판단했거나, 판결과 명령을 통해 이를 사실상 인정한 사건을 대상으로 한다.

AI 환각은 생성형 AI가 사실이 아닌 내용을 실제 정보처럼 만들어 제시하는 현상으로 AI 모델이 생성하는 잘못되거나 오해의 소지가 있는 결과를 말한다. 법률 분야에서는 존재하지 않는 판례를 만들어내거나 판결문의 내용을 왜곡하고, 실제 자료에 없는 문구를 인용문처럼 제시하는 형태로 나타난다.

위스너 바움 법률사무소의 크로퍼드 애플비 파트너 변호사는 “변호사들이 존재하지 않는 법적 근거가 포함된 준비서면을 법원에 제출하는 것”이라며 “대개 AI가 실제로 존재하지 않는 사건이나 권위를 만들어낸 경우”라고 설명했다.

애플비 변호사는 위스너 바움의 AI위원회에도 참여해 소송 과정에서 AI를 책임감 있게 사용하기 위한 사내 정책과 모범지침을 마련하고 있다.

텍사스 법원서 79건 적발

미국 사례를 분석한 결과 AI 오류가 포함된 자료를 제출한 사람 가운데 777명은 변호사 없이 직접 소송을 진행한 당사자, 이른바 ‘프로세 소송인’(pro se litigant)이었다. 전체 미국 사례 가운데 1천263건은 민사사건이었으며 형사사건은 35건으로 상대적으로 적었다.

텍사스 법원에서 확인된 사례는 79건이었다. 이 가운데 36.7%는 변호사가 AI 오류가 포함된 자료를 제출한 사건으로 분석됐다. 법원이 AI 관련 오류를 적발한 사례는 2023년 11건에서 2024년 37건으로 늘었다. 2025년에는 525건으로 급증했고, 2026년에는 8월 초까지 724건이 확인됐다.

다만 이 같은 증가는 실제 AI 오용이 늘어난 결과인 동시에, 판사와 법원 직원들이 AI가 생성한 가짜 판례와 인용문을 적극적으로 확인하기 시작한 영향도 있는 것으로 분석된다. 애플비 변호사는 “법원이 AI 사용을 적발하는 가장 좋은 방법은 당사자가 제시한 법적 근거와 판례를 직접 확인하는 것”이라며 “허위 판례는 어떤 법원 제출 문서에도 들어가서는 안 된다”고 말했다.

서류 삭제부터 사건 기각 · 징계 회부까지

법원은 AI가 생성한 허위 자료를 제출한 당사자와 변호사에게 다양한 제재를 내리고 있다. 2026년 사례를 보면 법원은 문제가 된 서면을 기록에서 삭제하거나 제출 경위에 대한 소명을 명령했다. 경고와 공개 견책을 내리고, 변호사를 징계기관에 회부한 사례도 있다.

일부 소송은 ‘청구기각 확정’(dismissal with prejudice) 처분을 받았다. 이는 같은 청구로 소송을 다시 제기할 수 없도록 사건을 종결하는 강한 제재다.

변호사 없이 소송한 당사자는 대부분 경고를 받았지만 일부에게는 벌금이 부과됐다. 벌금은 상징적인 1달러부터 수만 달러에 이르렀다. 변호사 비용과 상대방 소송비용 지급 명령까지 합한 가장 큰 제재액은 오리건주 사건에서 나온 11만204달러였다. 애플비 변호사는 제재 수위가 판사의 판단뿐 아니라 오류가 발견된 이후 변호사가 어떻게 대응했는지에 따라서도 달라진다고 설명했다. 그는 “잘못을 깨달은 뒤에도 해당 판례가 실제로 존재한다고 고집하는 변호사들이 있었다”며 “그런 식으로 대응하는 것은 매우 큰 실수”라고 지적했다.

실제로 뉴올리언스 소재 제5연방순회항소법원은 지난 2월 AI로 작성된 서면에 허위 인용과 법률·사실관계 왜곡 21건을 담은 변호사에게 2천500달러의 제재금을 부과했다. 재판부는 해당 변호사가 AI 사용 사실을 처음부터 솔직히 인정했다면 제재 수위가 낮아졌을 수 있다고 밝혔다.

법조계 AI 사용 1년 만에 2배 이상 증가

법률 소프트웨어 업체 8am이 법률 종사자 1천300명을 대상으로 조사한 결과, 업무에 생성형 AI를 사용한다고 답한 비율은 2025년 31%에서 2026년 69%로 두 배 이상 증가했다.

주요 활용 분야는 서신 초안 작성과 일반 조사로 각각 58%였다. 아이디어 구상은 54%, 문서 요약은 47%, 법률문서 초안 작성은 43%로 조사됐다. AI 사용으로 업무 효율이 높아졌다는 응답도 많았다. 응답자의 38%는 매주 1∼5시간, 14%는 6∼10시간을 절약한다고 밝혔다.

그러나 법률회사 차원의 교육과 관리체계는 AI 사용 확산 속도를 따라가지 못하고 있다. 미국 변호사협회 보고서에 따르면 응답자의 54%는 소속 회사가 생성형 AI의 책임 있는 사용에 관한 교육을 제공하지 않았으며, 앞으로 교육할 계획도 없다고 답했다.

애플비 변호사는 생성형 AI가 복잡한 질문에도 자신감 있고 매끄러운 답변을 빠르게 내놓기 때문에, 업무 압박을 받는 변호사가 검증 절차를 생략하려는 유혹에 빠질 수 있다고 지적했다.

그는 기술이 발전하면 오류가 줄어들 수 있지만 현재로서는 사람이 AI의 답변을 원문과 대조해 확인하는 것만이 유일한 해결책이라고 강조했다. 애플비 변호사는 “법률문서에 서명하는 변호사는 누가 초안 작성을 도왔는지와 관계없이 윤리 규정과 직업적 의무를 부담한다”며 “AI 기술이 할 수 있는 일과 할 수 없는 일을 이해하고, 그 결과를 그대로 신뢰해서는 안 된다”고 말했다.