AI 답변을 그대로 믿지 않고 검증하는 법: 환각 현상 대처 습관

지난주에 저는 AI에게 민법 조문 하나를 물어봤다가, 존재하지도 않는 조문 번호를 그럴듯하게 지어낸 답을 받고 그대로 믿을 뻔한 적이 있습니다. 그날 이후로 제가 세운 원칙은 하나입니다. AI 답변은 근거를 직접 확인하기 전까지는 정답이 아니라 검토가 필요한 초안으로만 취급해야 한다는 것입니다. 이 글에서는 그 원칙을 지키기 위해 제가 실제로 쓰고 있는 네 가지 검증 습관을 정리해보겠습니다.

 

 

 

 

1. AI가 그럴듯한 거짓말을 하는 이유부터 알아야 합니다

 

AI(LLM)는 사실을 검색해서 답하는 것이 아니라, 확률적으로 가장 자연스러운 다음 단어를 이어 붙이는 방식으로 문장을 만듭니다. 그래서 실제로 존재하지 않는 조문, 판례번호, 통계자료도 문법적으로 완벽하고 자신감 있는 문장으로 만들어낼 수 있습니다. 이런 현상을 환각이라고 부르는데, 문제는 겉으로 봐서는 진짜 사실과 환각을 구분하기 어렵다는 점입니다. 저도 이 원리를 모를 때는 AI가 자신 있게 말하면 그냥 믿어버렸고, 실제로 존재하지 않는 대법원 판례 사건번호를 과제에 인용할 뻔한 적도 있습니다.

 

예시 전: AI가 "OO법 제15조에 따르면"이라고 답하면 그대로 리포트에 인용합니다.

 

예시 후: 같은 답변을 받아도 "이 조문, 실제로 있는 거 맞아? 정확한 조문 번호와 원문을 다시 확인해줘"라고 되물어서 AI 스스로 다시 점검하게 만듭니다.

 

2. 근거를 반드시 따로 요구합니다

 

질문할 때부터 "답변에 사용한 근거 조문이나 판례를 원문 그대로 인용해줘"라고 요청하면, 근거 없이 얼버무리는 부분이 훨씬 잘 드러납니다. 근거를 대라고 하면 AI가 말을 바꾸거나 확실하지 않다고 인정하는 경우가 많은데, 이게 오히려 중요한 신호입니다. 이 요청 하나만 습관화해도 틀린 답을 그대로 베끼는 실수를 크게 줄일 수 있었고, 근거를 대지 못하는 답변은 아예 처음부터 다시 질문하는 편이 낫다는 것도 배웠습니다.

 

예시 전: "이혼 시 재산분할 비율은 어떻게 되나요?"라고만 물으면 AI가 구체적 비율을 단정적으로 제시합니다.

 

예시 후: "재산분할 비율에 대한 판례나 법 조문 원문을 근거로 같이 알려줘"라고 물으면, AI가 실제로 참고할 근거가 있는지 스스로 드러냅니다.

 

3. 조문 번호와 판례 번호는 검색으로 재확인합니다

 

AI가 알려준 법 조문 번호, 판례 사건번호, 통계 수치는 반드시 국가법령정보센터나 대법원 종합법률정보 같은 원문 사이트에서 직접 검색해 확인합니다. 이 과정은 1~2분밖에 걸리지 않지만, 존재하지 않는 조문을 그대로 인용하는 실수를 막아주는 가장 확실한 방법입니다. 특히 과제나 리포트에 인용할 때는 이 단계를 절대 생략하지 않고, 원문을 찾지 못하면 그 부분은 아예 서술에서 빼버립니다.

 

4. 확신에 찬 어조에 속지 않습니다

 

AI는 틀린 답을 할 때도 맞는 답을 할 때와 똑같이 자신감 있는 어조로 말합니다. "확실하게", "명백히" 같은 표현이 나온다고 해서 신뢰도가 높아지는 것은 아닙니다. 오히려 AI에게 "이 답변에 얼마나 확신하는지, 틀릴 가능성이 있는 부분은 어디인지" 물어보면 스스로 불확실한 지점을 짚어주는 경우가 많습니다. 어조가 아니라 근거로 판단하는 습관을 들이고 나서부터는, AI 답변을 훨씬 편하게 활용할 수 있게 됐습니다.

 

결국 핵심은 하나입니다. AI 답변은 근거를 직접 확인하기 전까지 초안일 뿐이라는 원칙을 지키는 것입니다. 이 네 가지 습관, 즉 환각의 원리를 이해하고, 근거를 요구하고, 조문·판례를 재검색하고, 어조가 아니라 근거로 판단하는 습관을 지키면 AI를 훨씬 안전하게 공부에 활용할 수 있습니다. 다음 글에서는 AI로 판례나 논문을 요약시킬 때 주의해야 할 점을 다뤄보겠습니다.