AI를 많이 사용할수록 ‘답을 얻는 능력’보다 중요해진 것
30초 요약
저는 ChatGPT를 꽤 자주 사용합니다.
자료를 찾고, 비교하고, 생각을 정리할 때 이제는 검색보다 AI를 먼저 켜는 경우도 많아졌습니다.
그런데 교통사고와 관련된 손해배상 문제를 알아보다가 AI를 사용하는 방식에 대해 다시 생각하게 된 일이 있었습니다.
ChatGPT가 제 질문에 답하면서 대법원 2012다74201 판결을 근거 중 하나로 제시했습니다.
사건번호까지 있으니 처음에는 실제로 참고할 만한 판례라고 생각할 수 있었습니다.
그런데 이상해서 직접 확인해봤습니다.
제가 알아보던 것은 교통사고 피해에 대한 손해배상 문제였는데, 제시된 판례는 제가 묻고 있던 문제와 맞지 않는 사건이었습니다.
그때 느낀 것은 단순히
“AI도 틀릴 수 있구나.”
가 아니었습니다.
더 큰 문제는 따로 있었습니다.
틀린 답도 너무 그럴듯하게 보일 수 있다는 것이었습니다.
그 이후 저는 AI의 답을 받아들이는 기준을 조금 바꾸게 됐습니다.
AI는 답을 얻는 비용을 크게 낮춰줬지만, 그 답을 검증해야 하는 책임까지 없애준 것은 아니었습니다.
사건번호까지 나오니 믿을 뻔했습니다
당시 저는 교통사고와 관련된 손해배상 문제를 알아보고 있었습니다.
단순한 호기심이 아니라 실제 문제였기 때문에 손해배상액을 어떤 근거로 산정할 수 있는지 알아볼 필요가 있었습니다.
그래서 ChatGPT에게 관련 내용을 물었습니다.
답변은 상당히 구체적이었습니다.
법적인 설명이 이어졌고, 그 근거 가운데 하나로
<대법원 2012다74201>
이라는 사건번호가 등장했습니다.
사건번호가 있다는 것은 생각보다 강한 신뢰를 줍니다.
‘대법원 판례까지 찾아서 답했구나.’
라고 생각하기 쉽습니다.
하지만 법률 문제이고 실제로 활용할 수도 있는 내용이었기 때문에 그냥 넘어가기가 꺼림칙했습니다.
그래서 직접 판례를 확인해봤습니다.
그런데 제가 찾던 내용과 맞지 않았습니다.
제가 알아보던 것은 교통사고 피해에 따른 손해배상 문제였습니다.
반면 제시된 판례는 제가 질문한 사건과 직접적인 관련이 없는 내용이었습니다.
여기서 중요한 건 단순히 판례가 실제 존재하느냐가 아니었습니다.
그 판례가 지금 내가 묻고 있는 문제의 근거가 될 수 있느냐가 더 중요한 문제였습니다.
저는 바로 ChatGPT에게 문제를 지적했습니다.
결국 그 판례를 제 교통사고 손해배상 문제의 근거처럼 제시한 것은 잘못된 것이었습니다.
없는 정보를 만드는 것만이 AI 오류는 아니었습니다
이 경험에서 제가 하나 더 알게 된 것이 있습니다.
흔히 생성형 AI의 오류를 이야기할 때 ‘환각’이라는 표현을 사용합니다.
그래서 저도 처음에는 AI의 오류라면
존재하지 않는 판례나 사건번호를 만들어내는 것
정도를 생각했습니다.
그런데 실제로 사용해보니 오류는 그것보다 복잡했습니다.
자료가 실제로 존재한다고 해도,
그 자료가 전혀 다른 맥락의 것이라면 내가 묻고 있는 문제의 근거로 사용할 수 없습니다.
즉 확인해야 할 것이 두 가지였습니다.
첫째, 그 정보가 실제로 존재하는가.
그리고 더 중요한 두 번째,
그 정보가 지금 내 질문을 실제로 뒷받침하는가.
출처가 있다고 해서 답이 맞는 것은 아니었습니다.
차라리 “모르겠습니다”라고 했다면 쉬웠을 겁니다
만약 ChatGPT가
“정확한 판례를 확인하기 어렵습니다.”
라고 답했다면 문제는 오히려 간단했을 겁니다.
다른 곳에서 찾아보면 됩니다.
그런데 실제 답변은 그렇지 않았습니다.
법률용어가 있었고,
대법원이라는 이름이 있었고,
구체적인 사건번호도 있었습니다.
답변의 형태만 놓고 보면 상당히 신뢰할 만해 보였습니다.
그래서 이 일을 겪고 난 뒤 이런 생각이 들었습니다.
AI가 틀리는 것보다 더 어려운 문제는 사용자가 그것이 틀렸다는 사실을 알아차릴 수 있느냐는 것 아닐까?
내가 아는 분야에서는 틀린 답을 발견하기 쉽습니다
제가 오랫동안 해온 업무에 대해 AI와 이야기하다 보면 가끔 현실과 맞지 않는 답이 나옵니다.
그럴 때는 비교적 쉽게 알아차립니다.
제가 이미 알고 있기 때문입니다.
‘실제 현장에서는 이렇게 하지 않는데?’
‘이 제품은 그런 방식으로 사용하지 않는데?’
‘이 숫자는 이상한데?’
라는 의문이 바로 생깁니다.
그러면 다시 질문하거나 자료를 확인할 수 있습니다.
그런데 제가 잘 모르는 분야라면 상황이 완전히 달라집니다.
모르기 때문에 AI에게 질문했는데,
AI의 답이 맞는지 판단하려면 결국 제가 다시 알아봐야 합니다.
여기서 묘한 문제가 생깁니다.
내가 모르는 것을 알아보기 위해 AI에게 질문했는데, AI의 답이 맞는지 확인하려면 다시 내가 알아야 한다.
AI를 많이 사용할수록 이 문제가 생각보다 중요하다는 것을 느끼게 됐습니다.
출처가 있다는 것만으로는 부족했습니다
이번 경험 이후에는 AI가 출처를 제시했을 때도 보는 방식이 달라졌습니다.
예전에는
“출처가 있는가?”
를 중요하게 생각했다면 이제는 질문을 하나 더 합니다.
“그 출처가 정말 이 주장을 뒷받침하는가?”
이번 판례가 정확히 그런 사례였습니다.
사건번호라는 구체적인 출처가 붙어 있었지만, 제가 알아보던 교통사고 손해배상 문제와는 맞지 않았습니다.
따라서 앞으로 중요한 문제를 확인할 때는 세 단계로 보려고 합니다.
① 실제로 존재하는 정보인가?
② 원문에는 실제로 그렇게 쓰여 있는가?
③ 그 내용이 지금 내가 판단하려는 문제에 적용될 수 있는가?
이 세 번째 질문을 이전에는 별로 생각하지 않았습니다.
그런데 실제로는 이 질문이 가장 중요할 수도 있습니다.
그렇다고 AI의 모든 답을 확인해야 할까?
그렇다면 ChatGPT에게 질문할 때마다 모든 문장을 직접 검증해야 할까요?
그렇게 한다면 AI를 사용하는 의미가 크게 줄어듭니다.
블로그 제목 아이디어를 20개 요청했다고 해보겠습니다.
20개의 제목을 하나씩 검증할 필요는 없습니다.
문장을 다듬거나,
생각을 정리하거나,
여러 선택지를 만들어보는 일도 마찬가지입니다.
AI를 적극적으로 활용할 수 있습니다.
반면 상황이 전혀 다른 질문도 있습니다.
세금 계산 방법을 알아보거나,
투자 판단에 필요한 기업 정보를 확인하거나,
법률 문제에 사용할 판례를 찾거나,
건강과 관련된 중요한 정보를 알아보는 경우입니다.
이런 정보가 틀리면 단순히 ‘답 하나가 틀렸다’에서 끝나지 않을 수 있습니다.
돈을 잃거나,
법적 판단을 잘못하거나,
중요한 결정을 잘못 내릴 수도 있습니다.
결국 모든 AI 답변에 같은 수준의 검증이 필요한 것은 아니었습니다.
그래서 ‘검증 비용’을 다르게 쓰기로 했습니다
AI를 사용하면서 저는 정보의 종류에 따라 확인하는 정도를 다르게 해야겠다고 생각했습니다.
| AI에게 맡기는 일 | 제가 확인하는 정도 |
|---|---|
| 아이디어·제목·초안 | 비교적 자유롭게 활용 |
| 일반적인 정보 정리 | 중요한 사실만 확인 |
| 제품 비교·구매 | 가격·사양·판매조건 확인 |
| 투자 | 공시·재무자료 등 원자료 확인 |
| 세금 | 국세청·법령 등 공식 자료 확인 |
| 법률·판례 | 법령과 판례 원문 확인 |
| 중요한 건강정보 | 검사 결과·의료진·공신력 있는 자료 확인 |
제가 세운 기준은 생각보다 단순합니다.
AI가 얼마나 자신 있게 말했느냐가 아니라, 그 답이 틀렸을 때 내가 치러야 할 대가가 얼마나 큰가.
대가가 클수록 검증에 더 많은 시간을 쓰는 것입니다.
AI를 잘 쓰는 것은 질문을 잘하는 것이라고 생각했습니다
처음 ChatGPT를 사용할 때는 저도 질문하는 방법에 관심이 많았습니다.
어떻게 질문해야 좋은 답이 나오는지,
조건을 얼마나 자세히 줘야 하는지,
어떤 맥락을 알려줘야 더 정확하게 답하는지 신경 썼습니다.
물론 지금도 중요합니다.
좋은 질문을 하면 좋은 답을 얻을 가능성이 높아집니다.
그런데 지금은 한 가지가 더 중요하다고 생각합니다.
좋은 질문을 만드는 능력만큼, 나온 답을 어디까지 믿을 것인지 판단하는 능력입니다.
AI를 잘 사용하는 능력이 단순히 ‘프롬프트를 잘 쓰는 기술’만은 아니었습니다.
AI가 좋아지면 이런 문제는 사라질까?
AI는 계속 발전하고 있습니다.
몇 년 뒤에는 지금보다 훨씬 정확해질 수도 있습니다.
검색하고,
출처를 찾고,
서로 다른 자료를 비교하는 능력도 지금보다 좋아질 가능성이 큽니다.
그렇다면 언젠가는 이런 검증이 필요 없어질까요?
저는 적어도 지금은 그렇게 생각하지 않습니다.
AI의 답변이 더 자연스럽고 정교해질수록 오히려 맞는 답과 틀린 답을 겉모습만으로 구분하기는 더 어려워질 수도 있기 때문입니다.
중요한 것은 AI의 모든 답을 의심하는 습관이 아니라,
어떤 상황에서는 반드시 다시 확인해야 하는지를 구별하는 기준을 갖는 것이라고 생각합니다.
검색하는 시간은 줄었는데, 새로운 일이 생겼습니다
예전에는 모르는 것이 있으면 검색창을 열었습니다.
여러 페이지를 읽고,
필요한 내용을 골라내고,
서로 다른 의견을 비교했습니다.
시간이 많이 들었습니다.
지금은 질문 하나로 몇 초 만에 상당히 정리된 답을 받을 수 있습니다.
분명히 편해졌습니다.
저 역시 그래서 AI를 계속 사용하고 있습니다.
그런데 정보를 찾는 시간이 줄어든 자리에 새로운 일이 하나 생겼습니다.
이 답을 그냥 사용해도 되는가, 아니면 다시 확인해야 하는가를 판단하는 일입니다.
어쩌면 AI 시대에는 정보를 찾는 능력보다 이 능력이 더 중요해질지도 모르겠습니다.
오늘의 판단
교통사고 손해배상 문제를 알아보면서 경험했던 판례 오류는 제게 AI를 사용하는 기준 하나를 만들어줬습니다.
앞으로 저는 AI의 답을 모두 의심하지도, 모두 믿지도 않으려고 합니다.
아이디어를 만들고,
생각을 정리하고,
복잡한 정보를 이해하는 데는 적극적으로 활용하겠습니다.
하지만 법률, 세금, 투자, 건강처럼 잘못된 정보의 대가가 큰 문제에서는 한 단계 더 확인하겠습니다.
그리고 출처가 있다는 것만으로 확인을 끝내지도 않으려고 합니다.
그 출처가 실제로 존재하는지,
원문에 정말 그런 내용이 있는지,
그리고 가장 중요하게,
그 내용이 지금 내가 판단하려는 문제의 근거가 될 수 있는지를 확인하겠습니다.
AI가 얼마나 그럴듯하게 답했는지가 아니라,
그 답이 틀렸을 때 내가 감당해야 할 대가를 기준으로 검증의 깊이를 정하겠습니다.
AI는 답을 얻는 비용을 크게 낮춰줬습니다.
하지만 그 답을 검증해야 하는 책임까지 없애준 것은 아니었습니다.
📌 판단노트
실제 경험
교통사고 손해배상 문제를 알아보던 중 ChatGPT가 <대법원 2012다74201>을 근거처럼 제시했다. 직접 확인해보니 내가 알아보던 교통사고 손해배상 문제의 근거로 사용하기에 적절하지 않은 판례였다.
문제 발견
AI의 오류는 존재하지 않는 정보를 만들어내는 것에 그치지 않는다. 실제로 존재하는 자료라도 질문과 관계없는 근거로 연결하면 잘못된 답이 될 수 있다.
새롭게 알게 된 것
출처의 존재 여부와 출처의 적합성은 다른 문제다.
앞으로의 확인 기준
- 실제로 존재하는 정보인가?
- 원문에는 실제로 그렇게 쓰여 있는가?
- 그 내용이 지금 내 판단의 근거가 될 수 있는가?
오늘의 판단
AI를 잘 쓰는 사람은 AI에게 가장 많은 질문을 하는 사람이 아니라, 어떤 답을 다시 확인해야 하는지 아는 사람일지도 모른다.
그리고 그 확인의 깊이는 틀렸을 때 치러야 할 대가에 따라 달라져야 한다.
※ 이 글은 개인적으로 AI를 사용하면서 경험한 사례와 그 과정에서 만든 판단 기준을 기록한 글입니다. 법률적 판단이나 법률상담을 제공하기 위한 글이 아닙니다.
#판단노트 #ChatGPT #생성형AI #AI활용 #AI환각 #AI정보검증 #챗GPT활용 #의사결정