"알림: Good4Joy 프로젝트는 위키를 기반으로 하는 독립 웹사이트(good4joy.org)와 네이버 블로그(https://blog.naver.com/love_of_jesus) 두 곳에서 콘텐츠를 제공하려고 계획하고 있습니다. 네이버 블로그에 최근 문서들이 있고, 위키는 후에 업데이트하려고 하니 참고하세요."
AI 테스트: 할루시네이션 기사 요약
AI의 "환각(hallucination)" 문제의 대표적 사례였던 아래 기사를 챗GPT와 구글 제미나이에게 한글로 요약하게 했습니다.
챗GPT
이 기사는 2023년 미국 법원에서 실제로 발생한, 생성형 AI의 "환각(hallucination)" 문제가 법적 제재로 이어진 대표적 사례를 다룹니다.
요약
미국 뉴욕 맨해튼 연방법원의 한 판사는 두 명의 변호사와 그들이 소속된 로펌에 총 5,000달러의 벌금을 부과했습니다. 이유는 법원에 제출한 소송 서류에 **ChatGPT가 만들어낸 가짜 판례 6건을 실제 판례인 것처럼 인용했기 때문**입니다.
사건은 콜롬비아 항공사 아비앙카(Avianca)를 상대로 한 항공기 부상 소송에서 발생했습니다. 변호사 스티븐 슈워츠는 소송 자료를 준비하면서 ChatGPT를 사용했는데, ChatGPT가 존재하지 않는 판례들을 그럴듯하게 생성했습니다. 그는 이를 충분히 검증하지 않은 채 법원에 제출했습니다.
더 큰 문제는 상대측과 법원이 해당 판례들의 존재 여부를 의심했음에도, 변호사들이 한동안 그 판례들이 실제라고 주장했다는 점이었습니다. 나중에 확인 결과, 일부는 존재하지 않는 판례였고, 판사 이름이나 항공사 이름까지 허구로 만들어져 있었습니다.
판사 케빈 카스텔은 판결문에서 **AI 사용 자체는 문제가 아니지만, 변호사는 제출하는 자료의 정확성을 확인할 책임이 있다**고 강조했습니다. 그는 "기술을 사용하는 것이 본질적으로 잘못된 것은 아니지만, 법률가의 검증 책임은 여전히 남아 있다"고 설명했습니다.
이 사건의 의미
이 사건은 생성형 AI가 매우 그럴듯한 거짓 정보를 만들어낼 수 있다는 사실을 전 세계에 알린 대표적인 사례가 되었습니다. 특히 전문직 종사자들이 AI를 사용할 때에도 결과를 반드시 검증해야 하며, 최종 책임은 AI가 아니라 사용자에게 있다는 점을 보여주었습니다. 이후 법조계에서는 AI 활용 가이드라인과 검증 절차에 대한 논의가 활발해졌습니다. ([The Guardian][1])
한 문장 요약
- 변호사들이 ChatGPT가 지어낸 가짜 판례를 검증 없이 법원에 제출했다가 벌금을 받았고, 이 사건은 "AI를 사용해도 책임은 인간에게 있다"는 중요한 교훈을 남겼습니다.**
구글 제미나이
제시된 기사의 주요 내용을 한글로 요약한 내용은 다음과 같습니다.
- **벌금 부과 및 대상**: 미국 뉴욕 맨해튼 연방법원의 피터 케빈 카스텔(P. Kevin Castel) 판사는 챗GPT(ChatGPT)가 생성한 가짜 판례 인용문을 법원에 제출한 두 명의 변호사(스티븐 슈워츠, 피터 로두카)와 이들이 속한 로펌(Levidow, Levidow & Oberman)에 5,000달러(약 650만 원)의 벌금을 부과했습니다.
- **사건의 발단**: 한 항공사 부상 사건(콜롬비아 아비안카 항공 관련)의 변호를 맡았던 스티븐 슈워츠 변호사는 기존의 로펌 검색 방식으로 찾지 못한 유사 판례들을 챗GPT를 통해 찾아냈습니다. 그러나 챗GPT가 제시한 판례 중 6개는 존재하지 않는 허구의 사건이었으며, 판사 이름이나 항공사 이름 역시 허위로 꾸며진 것이었습니다.
- **법원의 판단**: 재판부는 법률 업무 지원을 위해 인공지능(AI) 기술을 사용하는 것 자체는 아무런 문제가 없다고 밝혔습니다. 다만 변호사는 제출하는 서류의 정확성을 검증해야 하는 '게이트키퍼(문지기)'의 의무를 가집니다. 판사는 이들이 가짜 인용문이 포함된 서류를 제출했을 뿐만 아니라, 법원이 판례의 존재 여부에 의문을 제기한 이후에도 계속해서 가짜 판례를 옹호하며 책임을 저버렸다고 지적했습니다.
- **로펌의 입장**: 해당 로펌 측은 법원의 결정에 존중하면서도 자신들이 악의를 가지고 행동했다는 법원의 판단에는 동의하지 않는다고 밝혔습니다. 기술(AI)이 아예 없는 판례를 통째로 만들어낼 수 있다는 점을 인지하지 못해 발생한 '선의의 실수'였다고 해명했습니다.
- **배경**: 챗GPT와 같은 생성형 AI는 그럴듯하지만 사실이 아닌 정보를 생성하는 '환각(Hallucination)' 현상을 보일 수 있습니다. 본 판례 외에도 AI가 대학교수를 성추행범으로 잘못 모함하거나 구글의 바드(Bard)가 출시 초기 오답을 제시하는 등의 오작동 사례가 지속적으로 보고되고 있습니다.
(참고로, 변호사들이 제기했던 해당 항공사 부상 소송은 공소시효 만료를 이유로 최종 기각되었습니다.)
