LLM은 왜 "틀린 말을 자신 있게" 할까? — 할루시네이션 완전 정복

AI가 거짓말을 한다는 게 아닙니다. 근데 왜 있지도 않은 논문을 인용하고, 없는 API를 알려줄까요?

---

들어가며 — "틀렸는데 왜 이렇게 당당해?"

ChatGPT나 Claude 같은 AI에게 질문을 던지다 보면 가끔 이런 경험을 하게 됩니다.

분명히 없는 책 제목을 말해주거나, 실제로 존재하지 않는 함수를 마치 공식 문서처럼 설명해주는 것이죠. 심지어 틀린 내용임에도 말투는 굉장히 자신 있습니다.

이 현상을 할루시네이션(Hallucination) 이라고 부릅니다.

---

할루시네이션이란?

할루시네이션은 AI가 사실과 다른 내용을 마치 사실인 것처럼 생성하는 현상입니다.

단순한 오답과는 다릅니다. 오답은 모른다고 하거나 틀린 수치를 말하는 것이지만, 할루시네이션은 없는 것을 만들어내는 것에 가깝습니다.

대표적인 예시를 들면:

• "이 주제에 대한 논문 추천해줘" → 실제로 존재하지 않는 논문 제목과 저자 이름을 생성
• "React에서 이 기능 구현 방법 알려줘" → 존재하지 않는 라이브러리 함수를 설명
• "A 회사 CEO가 누구야?" → 틀린 이름을 자신 있게 답변

---

왜 이런 일이 생길까? — LLM 구조부터 이해하기

LLM(Large Language Model)은 근본적으로 "다음에 올 가장 그럴듯한 단어"를 예측하는 모델입니다.

학습 데이터에서 수많은 문장의 패턴을 학습하고, 질문이 들어오면 확률적으로 가장 자연스럽고 그럴듯한 문장을 생성합니다.

여기서 핵심 문제가 발생합니다.

"사실이냐 아니냐"보다 "자연스럽게 들리냐" 가 우선이 되는 것입니다.

예를 들어 "2023년 최고의 AI 논문은?" 이라고 물으면, 모델은 논문 목록을 검색하는 게 아니라 "AI 논문 제목처럼 들리는 문장" 을 생성합니다. 그게 실제로 있는 논문인지는 별개의 문제입니다.

---

할루시네이션의 주요 유형 3가지

① 사실 오류형 존재하지 않는 인물, 날짜, 사건을 실제처럼 서술합니다. 역사적 사실이나 통계 수치에서 특히 자주 발생합니다.

② 출처 조작형 실제 없는 논문, 기사, 공식 문서를 그럴듯한 형식으로 만들어냅니다. 저자 이름, 저널명, 출판연도까지 완벽하게 조합해서요.

③ 기술 명세 오류형 개발자들이 가장 자주 마주치는 유형입니다. 실제로 존재하지 않는 API 함수, 파라미터, 라이브러리를 코드와 함께 설명합니다. 코드가 깔끔하게 작성되어 있어 더 믿기 쉽습니다.

---

현재 AI 회사들은 어떻게 줄이고 있나?

할루시네이션을 완전히 없애는 건 현재 기술로는 불가능에 가깝습니다. 하지만 줄이기 위한 다양한 시도가 이뤄지고 있습니다.

RAG (Retrieval-Augmented Generation) 생성 전에 외부 데이터베이스나 문서에서 관련 정보를 먼저 검색해서 참고하게 만드는 방식입니다. 모델이 "그럴듯한 내용"을 만들어내는 대신, 실제 문서를 기반으로 답변하게 됩니다.

RLHF (인간 피드백 강화학습) 사람이 AI의 답변에 좋고 나쁨을 평가해서, 더 정확한 방향으로 모델을 조정하는 방식입니다. ChatGPT가 크게 개선된 핵심 방법이기도 합니다.

웹 검색 연동 Perplexity AI나 Claude의 웹 검색 기능처럼, 실시간 정보를 검색해서 답변의 근거로 활용합니다. 출처가 명시되어 사실 확인이 쉬워집니다.

---

개발자가 실무에서 대응하는 방법

AI 도구를 업무에 쓴다면 할루시네이션을 전제로 사용하는 습관이 중요합니다.

• 코드 생성 결과는 반드시 실행 후 확인 — 함수명이나 파라미터가 실제 존재하는지 공식 문서와 대조하세요.
• 수치와 통계는 원본 출처 확인 — AI가 언급한 논문이나 보고서는 직접 검색해서 존재 여부를 확인하세요.
• 구체적인 질문일수록 할루시네이션 감소 — 모호한 질문보다 범위를 좁힌 질문이 더 정확한 답변을 유도합니다.
• "확실하지 않으면 모른다고 해줘" — 프롬프트에 이 문장 하나를 추가하는 것만으로도 효과가 있습니다.

---

마무리 — AI를 잘 쓰는 사람의 차이

할루시네이션은 AI의 결함이기도 하지만, 동시에 LLM이 작동하는 방식에서 비롯되는 구조적인 특성이기도 합니다.

AI를 잘 활용하는 사람과 그렇지 않은 사람의 차이는 여기서 생깁니다. "AI가 한 말이니까 맞겠지"가 아니라, AI의 한계를 알고 검증하면서 쓰는 것 — 그게 지금 시대에 AI를 제대로 쓰는 방법입니다.