클로드가 법률 공부에서 틀리는 순간들 — 한 학기 동안 직접 겪은 사례 3가지

지금까지 이 블로그에서 클로드로 공부하는 방법을 스무 편 넘게 다뤘습니다. 그런데 오늘은 반대 이야기를 해보려고 해요. 한 학기 동안 민법과 형법 공부에 클로드를 붙여 쓰면서, AI가 자신 있게 틀리는 순간들을 여러 번 만났거든요. 법학은 틀린 정보의 대가가 큰 전공이라, 제가 실제로 겪은 오류 유형 세 가지와 각각을 걸러내는 검증 루틴을 정리합니다.

 

유형 1. 존재하지 않는 판례를 그럴듯하게 인용한다

 

중간고사 준비 중에 착오 취소에 관한 대표 판례를 알려달라고 물었더니, 사건번호까지 붙은 판례 세 개를 받았습니다. 그런데 국가법령정보센터에서 사건번호를 검색하니 두 개는 아예 존재하지 않았어요. 판시 내용 자체는 교과서 설명과 비슷해서 더 위험했습니다. 그럴듯한 요지에 가짜 번호가 붙어 있으면 처음 배우는 사람은 구분할 방법이 없거든요.

 

검증 루틴은 간단합니다. 클로드가 알려준 판례는 반드시 국가법령정보센터나 대법원 종합법률정보에서 사건번호로 재검색하고, 검색 결과가 없으면 그 인용은 통째로 버립니다. 저는 아예 프롬프트에 판례 번호는 확실하지 않으면 만들지 말고 모른다고 답해달라는 문장을 넣어두는데, 이렇게만 해도 가짜 인용 빈도가 눈에 띄게 줄었습니다.

 

유형 2. 개정 전 법 조문으로 답한다

 

AI는 학습 시점 이후의 개정 내용을 모릅니다. 수업에서 교수님이 최근 개정을 강조하셨는데, 클로드는 태연하게 개정 전 조문 번호와 요건을 설명한 적이 있어요. 조문이 이동했는데 옛 번호를 그대로 말하기도 하고요.

 

그래서 조문이 걸린 질문은 국가법령정보센터에서 현행 조문을 먼저 복사해 붙여넣고, 이 조문을 기준으로 설명해달라고 묻는 방식으로 바꿨습니다. 현행 텍스트를 직접 주면 낡은 지식이 끼어들 자리가 없어져서, 개정 여부를 따로 검증할 필요가 사라집니다.

 

유형 3. 사례형 문제에서 쟁점을 빼먹고도 확신에 차 있다

 

기말 대비로 사례문제를 풀게 해봤는데, 답안 구조는 훌륭했지만 대리 문제에 숨어 있던 무권대리 쟁점을 통째로 건너뛴 채 결론을 내렸습니다. 문제는 말투예요. 너무 자신 있게 설명하니까 빠진 쟁점이 있다는 의심 자체를 하기 어렵습니다.

 

지금은 답을 받으면 곧바로 이 사안에서 검토할 수 있는 쟁점을 전부 나열해달라고, 방금 다루지 않은 것도 포함해서 묻는 질문을 한 번 더 덧붙입니다. 첫 답변과 쟁점 목록을 비교하면 누락이 드러나는 경우가 많았고, 이 두 단계 질문이 사실상 셀프 채점 역할을 해줍니다.

 

정리하면 클로드는 법학 공부에서 훌륭한 조교지만, 판례 인용과 현행 조문, 쟁점 누락 세 지점에서는 반드시 사람이 재확인해야 합니다. 거꾸로 말하면 이 세 가지 검증 루틴만 몸에 붙이면 AI의 속도와 교과서의 정확성을 동시에 가져갈 수 있어요. 다음 글에서는 이 검증 루틴을 넣은 사례문제 연습용 프롬프트 전문을 공유하겠습니다.