AI 기초 2강
GPT는 어떻게 사고하는가
확률 구조의 실체
도대체 GPT는 왜 틀린 답을 하는가?
🎯 학습 목표
- GPT가 생각하는 것이 아니라 확률 계산으로 작동한다는 사실 이해하기
- 기존 인식의 오류와 기술적 실체 파악하기
- GPT의 기술적 본질 (Generative, Pre-trained, Transformer) 학습하기
- 작동 구조 4단계 메커니즘 완전 이해하기
- 확률 분포와 질문의 힘 실전 적용하기
- 지식 저장이 아닌 패턴 조합이라는 본질 깨닫기
생각하는가, 계산하는가?
왜 GPT는 그럴듯하지만 틀린 답을 할까요? GPT는 "생각"하는가, 아니면 "계산"하는가? 정답은 후자, 즉 확률적 계산입니다. GPT는 인간처럼 논리적으로 사고하지 않습니다. 학습한 방대한 데이터의 패턴을 바탕으로 다음에 올 단어를 확률적으로 예측할 뿐입니다. 이 차이를 이해하지 못하면 AI의 한계를 제대로 파악할 수 없습니다. 실제로 많은 사용자가 GPT를 “지능적인 존재”로 오해하지만, 이는 AI가 확률 기반으로 작동한다는 사실을 간과한 결과입니다.
정답은 후자, 즉 확률적 계산입니다.
기존 인식의 오류
일반적인 오해는 GPT가 방대한 지식을 이해하고 논리적으로 사고한다고 믿는 것입니다. 하지만 기술적 실체는 전혀 다릅니다. GPT는 의미를 이해하는 것이 아니라, 다음에 올 가장 그럴듯한 단어를 예측하는 패턴 기반 확률 모델입니다. 이 오해가 바로 할루시네이션(환각)의 근본 원인입니다. 예를 들어, 모호한 질문에 대해 GPT는 데이터 패턴에 의존해 그럴듯한 답변을 만들지만, 사실과 다를 수 있습니다. 이 점을 정확히 알면 AI를 더 효과적으로 활용할 수 있습니다.
GPT가 지식을 이해하고 논리적으로 사고한다고 믿음
다음 단어를 예측하는 확률 모델
GPT의 기술적 본질
G (Generative): 생성 능력을 갖춘
P (Pre-trained): 사전 학습된
T (Transformer): 문장 구조를 처리하는
결국 GPT는 “다음 단어를 예측하는 패턴 기반 확률 모델”입니다. 이 세 가지 요소가 결합되어 GPT가 문장을 생성하는 핵심 동력이 됩니다. Transformer 구조 덕분에 긴 문맥도 처리할 수 있지만, 여전히 확률 계산에 기반하므로 완벽한 사실성을 보장하지 않습니다.
작동 구조 4단계
GPT가 한 문장을 생성할 때 거치는 실제 과정입니다. 이 과정을 이해하면 왜 AI가 때때로 틀린 답변을 하는지 명확해집니다.
1. 입력 토큰 분해
질문을 가장 작은 단위(토큰)로 분리합니다. 예: "한국의 수도는?" → [한국, 의, 수도, 는, ?]
2. 맥락 확률 계산
이전 단어들과의 관계를 분석해 다음 단어 확률 계산합니다.
3. 다음 단어 예측
수백억 개 파라미터를 통해 가장 확률 높은 단어 선택합니다.
4. 반복 생성
위 과정을 초당 수천 번 반복하여 완전한 문장 생성합니다.
확률을 통제하는 질문의 힘
모호한 질문은 확률을 분산시켜 일반적인 답변을 유도합니다. 반대로 구체적이고 구조화된 질문은 확률을 집중시켜 정밀한 답변을 이끌어냅니다. GPT는 질문의 “정밀도”에 매우 민감하게 반응합니다. 예를 들어, "AI의 미래는?" 같은 모호한 질문은 다양한 가능성을 제시하지만, "2025년 한국 AI 산업의 주요 트렌드 5가지를 데이터 기반으로 설명해줘"처럼 구조화하면 훨씬 정확한 답변이 나옵니다. 이 점을 활용하면 AI의 출력을 원하는 방향으로 강력하게 유도할 수 있습니다.
지식의 저장이 아닌 패턴의 조합
GPT는 지식을 저장하지 않습니다. 대신 수많은 언어 패턴을 저장하고, 이를 새로운 조합으로 재구성합니다. 창의성처럼 보이지만 실제로는 “확률의 재조합”입니다. 예를 들어, "고양이가 우주를 여행하는 이야기 써줘"라는 요청에 GPT는 기존 패턴(고양이 묘사 + 우주 묘사)을 조합해 새로운 이야기를 만듭니다. 하지만 사실 기반 지식이 아니라 패턴 기반이기 때문에 오류가 발생할 수 있습니다. 따라서 사실 확인은 항상 인간이 해야 합니다.
📌 핵심 요약
| 구분 | 내용 |
|---|---|
| GPT 본질 | 확률적 계산기 (생각하지 않음) |
| 작동 방식 | 다음 단어 예측 모델 |
| 4단계 과정 | 토큰 분해 → 맥락 계산 → 예측 → 반복 |
| 질문의 역할 | 확률을 통제하는 핵심 도구 |
✅ 스스로 점검하기
- GPT가 생각하는 것이 아니라 확률 계산으로 작동한다는 사실을 이해했나요?
- 모호한 질문과 구체적인 질문의 결과 차이를 느껴보았나요?
- GPT의 한계(할루시네이션)를 인지하고 대처 방법을 생각해 보았나요?