클로드 답이 뻔할 때, 질문을 이렇게 바꿨더니 쓸 만해졌다

클로드한테 질문을 던지면 답은 늘 술술 나온다. 문제는 그 첫 답이 딱 교과서 목차를 소리 내어 읽어주는 수준일 때가 많다는 거다. 나는 한동안 이 첫 답을 그대로 믿고 리포트에 옮겼다가, 정작 중요한 알맹이가 빠져 있다는 걸 제출하고 나서야 깨닫곤 했다.

그래서 지난 몇 주 동안 한 가지를 실험해봤다. 첫 답을 완성본이 아니라 초안으로 두고, 후속 질문을 어떻게 던지느냐에 따라 답이 얼마나 달라지는지 같은 질문으로 여러 번 시험한 것이다. 결론부터 말하면, 클로드는 첫 답보다 두세 번째 질문에서 훨씬 쓸 만한 답을 내놨다. 단, 후속 질문을 제대로 던졌을 때만 그랬다.

핵심만 먼저

첫 답은 초안이다. 한 방에 완성된 답을 기대하지 말 것. ‘다시 해줘’는 거의 안 통한다. 무엇이 부족한지 구체적으로 짚어야 답이 바뀐다. 방향을 바꾸는 질문, 근거를 캐는 질문, 관점을 바꾸는 질문을 상황에 맞게 나눠 쓴다.

첫 답이 왜 뻔했는지, 실제 상황부터

지난 학기 민법총칙 리포트 주제가 ‘표현대리에서 제3자의 선의·무과실 판단’이었다. 개념이 헷갈려서 클로드한테 표현대리에서 제3자 보호 요건을 설명해달라고 물었다. 답은 깔끔했다. 제125조·제126조·제129조를 나눠서 요건을 정리해줬는데, 문제는 이게 교과서 목차랑 거의 똑같았다는 거다. 리포트에 그대로 넣으면 요건 나열에서 끝나고, 정작 교수님이 보고 싶어 하는 ‘사안에 어떻게 적용되는가’가 통째로 빠진다.

처음엔 이게 클로드의 한계라고 생각했다. 그런데 몇 번 더 써보니, 뻔한 답이 나온 건 대부분 내 첫 질문이 뻔했기 때문이었다. 설명해달라고만 하면 클로드는 가장 무난하고 일반적인 답을 고른다. 진짜 실력은 그다음 질문에서 나온다.

가장 많이 하는 실수, ‘다시 해줘’

답이 마음에 안 들 때 내가 처음에 했던 건 이거였다. ‘방금 답변이 좀 별로야, 다시 해줘.’ 결과는 예상대로였다. 클로드는 방금 한 말을 문장만 살짝 바꿔서 거의 똑같이 반복했다. ‘더 자세히 해줘’도 비슷했다. 내용이 깊어지는 게 아니라 같은 얘기가 길어질 뿐이었다.

클로드 입장에서는 뭐가 별로였는지, 어느 방향으로 고쳐야 하는지 정보가 하나도 없으니 당연한 결과다. 여기서 배운 게 있다. 후속 질문은 평가가 아니라 지시여야 한다는 것. 이 차이를 알고 나서 답의 질이 확 달라졌다.

답을 끌어올린 세 가지 후속 질문

그래서 후속 질문을 세 종류로 나눠서 던지기 시작했다. 첫째, 방향을 콕 집어주는 재질문이다. 아까 표현대리 답을 받은 다음 이렇게 물었다.

“방금 요건 정리는 좋은데, 요건 나열 말고 실제 사안에 적용하는 관점으로 다시 써줘. 특히 제3자의 선의·무과실을 판단할 때 법원이 어떤 사정을 보는지, 구체적인 예시 상황 두 개를 들어서 설명해줘.”

이렇게 물으니 답이 완전히 달라졌다. 요건 나열 대신 거래 상대방이 등기부를 확인했는지, 위임장의 진위를 의심할 만한 사정이 있었는지 같은 판단 요소가 예시와 함께 나왔다. 리포트에 바로 쓸 수 있는 뼈대가 이 한 번의 재질문에서 나온 셈이다. 아쉬운 점은 예시 상황이 다소 전형적이라 내 사안과 딱 맞지는 않았다는 것인데, 그건 내가 사안 정보를 더 줘서 좁혀야 했다.

둘째, 근거를 캐묻는 질문이다. 답이 그럴듯할수록 오히려 이걸 꼭 물었다.

“지금 설명한 내용 중에서 판례나 조문으로 뒷받침되는 부분과 네 해석이 들어간 부분을 나눠서 표시해줘. 근거가 불확실한 문장에는 ‘확인 필요’라고 표시해줘.”

이 질문의 진짜 목적은 정답을 얻는 게 아니라 검증 지점을 찾는 거다. 클로드가 ‘확인 필요’라고 표시한 문장 두어 개를 내가 직접 교과서와 판례로 대조했더니, 그중 하나는 실제로 조문 번호가 틀려 있었다. 후속 질문 하나가 없었으면 그대로 리포트에 들어갈 뻔했다.

셋째는 관점을 바꾸는 질문이다. ‘이 주장에 반대하는 입장에서 반박해줘’처럼 물으면 내 논리의 약한 고리가 드러난다. 발표 예상 질문을 뽑거나 리포트의 반론 문단을 채울 때 특히 요긴했다.

이렇게 후속 질문을 잘 던지는 것도 결국 프롬프트 감각의 연장선이다. 질문을 처음부터 구체적으로 던지는 요령은 예전에 쓴 대학생 필수템, 클로드 프롬프트 작성 꿀팁 10가지에 정리해뒀으니 같이 보면 도움이 된다.

이건 안 통했다, 주의할 점

후속 질문이 만능은 아니다. 실험하면서 오히려 역효과가 난 경우도 있었다. 가장 조심해야 할 건, 후속 질문으로 몰아붙이면 클로드가 없는 내용을 지어내서라도 요청에 맞추려 한다는 점이다. 판례 하나만 더 들어달라고 재촉했더니, 그럴듯한 사건명과 번호를 붙인 판례를 내놨는데 찾아보니 존재하지 않는 판례였다. 후속 질문은 답을 넓히는 만큼 환각의 문이 되기도 한다. 그래서 나는 ‘없으면 없다고 해줘’라는 문장을 재질문 끝에 꼭 붙인다.

또 하나, 후속 질문을 대여섯 번 이어가면 대화가 산으로 가는 경우가 많았다. 앞의 조건과 뒤의 조건이 충돌하면서 클로드가 갈피를 못 잡는 것이다. 이럴 땐 미련 없이 새 대화를 열고, 그동안 정리된 최종 요구사항만 깔끔하게 한 번에 넣어서 다시 시작하는 편이 빨랐다.

검증 방법 자체는 단순하다. 후속 질문으로 얻은 답이라도 조문 번호·판례·숫자는 반드시 원문으로 대조한다. 클로드가 ‘확인 필요’라고 스스로 표시한 부분부터 먼저 보면 시간이 꽤 절약된다.

정리하면, 클로드의 첫 답이 뻔한 건 클로드가 부족해서가 아니라 아직 질문이 덜 끝났다는 신호에 가깝다. ‘다시 해줘’ 대신 방향·근거·관점을 나눠서 되물어보면, 같은 도구가 전혀 다른 답을 내놓는다. 물론 마지막 검증은 늘 내 몫이지만, 그 몫만 챙기면 클로드는 생각보다 훨씬 깊은 답을 준다.