AI가 자신 있게 틀릴 때, 답을 검증하는 다섯 가지 습관

AI 챗봇에 논문을 추천해 달라고 했더니 그럴듯한 제목과 저자가 나왔는데, 찾아보니 그런 논문이 없었다는 경험담이 흔합니다. 법 조항 번호를 물었더니 틀린 번호를 또박또박 알려 주기도 합니다. 문제는 틀린 답이 맞는 답과 똑같은 말투로 나온다는 점입니다.

이런 현상을 환각(hallucination)이라고 부릅니다. 이 글은 환각이 왜 생기는지 OpenAI 연구자들이 참여한 논문으로 살펴보고, OpenAI 도움말과 Anthropic 개발자 문서가 권하는 확인 방법을 일상에서 쓸 수 있는 습관으로 정리했습니다. 모든 자료는 2026년 10월 1일에 직접 열어 확인했습니다.

한눈에 보기

환각은 왜 생길까

OpenAI 연구자들이 참여해 2025년 9월 arXiv에 공개한 논문 "Why Language Models Hallucinate"(Kalai 등)는 환각을 시험 문제에 비유합니다. 어려운 문제를 만난 학생이 모르면서도 답을 찍듯, 언어 모델도 확신이 없을 때 모른다고 하는 대신 그럴듯하지만 틀린 답을 내놓는다는 것입니다.

논문의 주장은 두 갈래입니다.

• 훈련 단계: 틀린 문장과 사실을 구별할 수 없다면, 사전 훈련된 언어 모델에서 환각은 자연스러운 통계적 압력으로 생긴다고 설명합니다. 환각이 신비한 현상이 아니라 참과 거짓을 가르는 분류에서 생기는 오류라는 것입니다.
• 평가 단계: 환각이 사라지지 않는 이유는 대부분의 평가가 채점되는 방식 때문이라고 봅니다. 언어 모델은 시험을 잘 보도록 최적화되는데, 모를 때 찍는 편이 점수가 더 잘 나옵니다. "모르겠다"고 답하면 0점이지만 찍으면 가끔 맞기 때문입니다.

그래서 저자들은 환각 평가를 새로 추가하기보다, 순위표를 좌우하는 기존 벤치마크의 채점 방식을 바꿔 불확실함을 인정하는 답을 벌점 주지 않도록 해야 한다고 제안합니다.

이 논문이 사용자에게 주는 교훈은 단순합니다. AI는 기본적으로 모를 때도 답을 내놓는 쪽으로 기울어 있습니다. 답의 말투가 자신 있다고 해서 맞는 것은 아닙니다.

어떤 모양으로 틀릴까

OpenAI 도움말 "Does ChatGPT tell the truth?"는 ChatGPT가 틀리거나 오해를 부르는 답을 낼 수 있고, 틀렸을 때도 자신 있게 들릴 수 있다고 인정합니다. 대표적인 환각으로 꼽는 것은 두 가지입니다.

• 지어낸 인용, 연구, 참고문헌, 존재하지 않는 출처
• 모호하거나 복잡한 질문에 대한 지나치게 자신 있는 답

같은 문서는 한계도 함께 적었습니다. 모델은 특정 시점까지의 데이터로 훈련돼 도구를 쓰지 않으면 그 뒤 일을 반영하지 못합니다. 높은 확신을 보여도 답이 틀릴 수 있습니다. 기술적 문제나 유료 구독 벽 때문에 웹사이트 정보를 가져오지 못할 수 있습니다. 한 가지 관점을 절대적 사실처럼 제시하거나, 과학적 합의나 사회적 논쟁의 무게를 잘못 전달할 수도 있다고 설명합니다.

다섯 가지 습관

1. 모르면 모른다고 하게 허락하기

Anthropic의 환각 줄이기 문서가 가장 먼저 꼽는 방법입니다. 확실하지 않으면 모른다고 답해도 된다고 명시적으로 허락하는 것만으로 잘못된 정보를 크게 줄일 수 있다고 설명합니다. 앞의 논문과 연결해 보면, 찍기보다 "모르겠다"를 택할 수 있는 길을 열어 주는 셈입니다.

질문 끝에 "확실하지 않은 부분은 모른다고 표시해 주세요" 한 문장을 붙이면 됩니다.

2. 원문 인용을 먼저 받기

긴 문서를 요약하거나 분석하게 할 때, Anthropic 문서는 먼저 관련 부분을 한 글자도 바꾸지 않고 인용하게 한 다음 그 인용을 바탕으로 답하게 하라고 권합니다. 답이 실제 문서 내용에 붙어 있게 만드는 방법입니다.

예를 들어 약관 PDF를 올렸다면 "해지 조건에 관한 문장을 원문 그대로 먼저 인용하고, 그다음 요약해 주세요"라고 묻습니다. 인용된 문장을 원문에서 찾아보면 요약이 맞는지 바로 확인됩니다.

같은 문서는 제공한 자료만 쓰고 일반 지식은 쓰지 말라고 명시적으로 지시하는 방법도 소개합니다.

3. 출처를 받고 직접 열어 보기

Anthropic 문서는 주장마다 인용과 출처를 달게 하고, 답을 만든 뒤 각 주장을 뒷받침하는 인용을 찾게 해서 찾지 못하면 그 주장을 철회하게 하라고 권합니다.

다만 출처를 받았다고 끝이 아닙니다. OpenAI 도움말이 꼽은 대표적인 환각이 바로 존재하지 않는 출처를 지어내는 것이기 때문입니다. 링크가 있으면 직접 눌러 보고, 논문이라면 제목으로 검색해 실제로 있는지, 그 논문이 정말 그런 말을 하는지 확인합니다. OpenAI 도움말에 따르면 ChatGPT는 요금제에 따라 웹 검색 도구로 출처가 달린 답을 줄 수 있고, 입력창의 검색 아이콘이나 답에 붙은 웹 출처로 검색을 썼는지 알 수 있습니다.

4. 같은 질문을 여러 번 묻기

Anthropic 문서는 같은 질문을 여러 번 돌려 결과를 비교하는 방법을 소개합니다. 답이 서로 다르다면 환각의 신호일 수 있다는 것입니다. 새 대화를 열어 같은 질문을 두세 번 해 보고, 숫자나 이름이 매번 바뀌면 그 부분은 믿지 않는 편이 안전합니다.

답의 근거를 단계별로 설명하게 하는 것도 같은 문서가 권하는 방법입니다. 추론 과정을 펼쳐 보면 잘못된 가정이나 논리가 드러날 수 있습니다.

5. 중요한 결정은 1차 자료로 확인하기

Anthropic 문서는 이런 기법들이 환각을 크게 줄이지만 완전히 없애지는 못한다며, 중요한 결정에서는 핵심 정보를 반드시 검증하라고 강조합니다. OpenAI 도움말도 중요한 정보는 믿을 만한 출처에서 확인하라고 권합니다.

건강, 법, 돈, 계약처럼 틀리면 되돌리기 어려운 일은 AI 답을 출발점으로만 씁니다. 법 조항은 국가법령정보센터, 통계는 발표 기관, 제품 기능은 제조사 공식 문서에서 원문을 직접 확인합니다.

한 번에 쓰는 질문 틀

위 습관을 합치면 이런 질문이 됩니다.

이렇게 받은 답은 인용 문장을 원문과 대조하는 것만으로 대부분 검증할 수 있습니다.

흔한 오해

자신 있게 말하면 맞는 답이다. OpenAI 도움말은 모델이 틀린 답에도 높은 확신을 보일 수 있다고 적었습니다. 말투는 정확도를 알려 주지 않습니다.

출처가 붙어 있으면 믿어도 된다. 지어낸 인용과 존재하지 않는 출처가 대표적인 환각입니다. 출처는 직접 열어 봐야 의미가 있습니다.

최신 모델은 환각이 없다. 논문 초록은 환각이 최신 시스템에서도 계속되며 신뢰를 떨어뜨린다고 적었습니다. Anthropic 문서도 가장 발전된 모델도 틀린 내용을 만들 수 있다고 인정합니다.

웹 검색을 켜면 해결된다. 검색은 최신 정보와 출처를 더해 주지만, OpenAI 도움말은 기술적 문제나 구독 벽 때문에 정보를 가져오지 못할 수 있다고 적었습니다. 검색 결과를 요약하는 과정에서도 확인은 여전히 필요합니다.

직접 확인하는 법

1. 이미 답을 알고 있는 질문(내가 사는 동네, 내 전공 분야)을 AI에 물어보고 어디서 틀리는지 관찰해 봅니다.
2. "모르면 모른다고 답해 주세요"를 붙였을 때와 안 붙였을 때 답이 어떻게 달라지는지 비교합니다.
3. AI가 추천한 논문이나 기사 세 개를 골라 제목으로 직접 검색해 실제로 있는지 확인합니다.
4. 이 글이 참고한 문서는 아래 링크에서 원문으로 볼 수 있습니다. 2026년 10월 1일 확인 기준입니다.

정리

환각은 AI가 모를 때도 찍도록 훈련과 평가가 보상한 결과라는 것이 이 논문의 설명입니다. 그래서 사용자 쪽에서 모른다고 할 여지를 주고, 원문 인용을 먼저 받고, 출처를 직접 열고, 같은 질문을 여러 번 묻고, 중요한 일은 1차 자료로 확인하는 습관이 필요합니다. AI의 답은 빠른 초안으로 쓰고, 마지막 확인은 사람이 하는 것이 지금으로서는 가장 안전한 사용법입니다.

참고 자료

• Kalai, A. T., Nachum, O., Vempala, S. S., Zhang, E. (2025). Why Language Models Hallucinate. arXiv:2509.04664
• OpenAI Help Center: Does ChatGPT tell the truth?
• Anthropic Docs: Reduce hallucinations