002강｜GPT는 어떻게 사고하는가 – 확률 구조의 실제
확률 구조의 실제
도대체 GPT는 왜 그럴듯하지만 틀린 답을 하는가?
DREAMPAX AI ACADEMY · SE1-EP02
생각하는가, 계산하는가?
왜 GPT는 그럴듯하지만 틀린 답을 할까요?
GPT는 "생각"하는가, 아니면 "계산"하는가?
정답은 후자, 즉 확률적 계산입니다.
기존 인식의 오류
- ❌ 일반적인 오해: GPT가 방대한 지식을 이해하고 논리적으로 사고한다고 믿음
- ⭕ 기술적 실체: 의미를 이해하는 것이 아니라, 다음에 올 가장 그럴듯한 단어를 예측
- ❌ 작동 방식 오해: 지식 습득
- ⭕ 작동 방식: 언어 패턴의 확률적 재구성에 기반
- ❌ 결과 한계 무시
- ⭕ 결과적 한계: 맥락의 확률이 낮을 때 발생하는 Hallucination 현상의 근원
GPT의 기술적 본질
G (Generative): 생성 능력을 갖춘
P (Pre-trained): 사전 학습된
T (Transformer): 문장 구조를 처리하는
"다음 단어를 예측하는 패턴 기반 확률 모델"
작동 구조 4단계
- 입력 토큰 분해: 질문을 처리 가능한 최소 단위로 분리
- 맥락 확률 계산: 이전 단어들과의 관계적 확률 분석
- 다음 단어 예측: 수백억 개의 파라미터를 통한 최적 단어 선택
- 반복 생성: 위 과정을 초당 수천 번 반복하여 문장 완성
확률 분포의 시각화
질문: "한국의 수도는?" → 다음에 올 단어 예측
서울 (99%) / 부산 (0.5%) / 제주 (0.1%)
의미를 이해한 것이 아니라, 데이터 내의 패턴 빈도에 반응한 결과입니다.
확률을 통제하는 질문의 힘
모호한 질문 → 확률 분산 → Hallucination 위험 ↑
구체적·정밀 질문 → 확률 집중 → 정확 출력 ↑
GPT는 질문의 "정밀도"에 반응합니다.
지식의 저장이 아닌 패턴의 조합
GPT는 지식을 저장하지 않고 패턴을 저장합니다.
이를 통해 새로운 조합을 만들어냅니다.
창의성처럼 보이지만, 실제로는 "확률의 재조합"입니다.
핵심 요약
- 생각하지 않는다: GPT는 지능적 사고가 아닌 확률적 계산기입니다.
- 예측의 시스템: 다음에 올 가장 그럴듯한 단어를 데이터에서 찾아냅니다.
- 질문으로 통제: 정밀한 질문 설계가 분산된 확률을 하나로 묶어줍니다.
오늘 강의 한 줄 정리
GPT는 확률 계산기: 정밀 질문으로 통제하라.
다음 강의 연결
003강 – 생성형 AI의 확률 구조
AI를 지배하려면 확률의 수학을 이해해야 한다.