🎓 AI Academy 002강 - GPT 모델의 원리 이해
🎓 AI Academy | 초급 과정
GPT 모델의 원리 이해
ChatGPT는 어떻게 답변을 생성할까? 언어 모델의 작동 원리를 쉽게 이해하기
🎯 학습 목표
이번 강의를 통해 다음을 배웁니다:
- GPT가 무엇을 의미하는지 이해
- ChatGPT가 답변을 생성하는 기본 원리
- 토큰(Token)의 개념과 역할
- 확률 기반 텍스트 생성 방식
- GPT-3와 GPT-4의 차이점
🤖 GPT란 무엇인가?
GPT는 "Generative Pre-trained Transformer"의 약자입니다.
📖 각 단어의 의미
- Generative (생성형): 새로운 텍스트를 만들어냄
- Pre-trained (사전 학습됨): 방대한 데이터로 미리 학습됨
- Transformer (변환기): 문장의 맥락을 이해하는 AI 구조
쉽게 말하면: GPT는 "인터넷 전체를 읽고 학습한 후, 문맥에 맞는 글을 자동으로 생성하는 AI"입니다.
⚙️ GPT가 답변을 만드는 4단계 과정
ChatGPT가 "AI란 무엇인가요?"라는 질문에 답하는 과정을 단계별로 살펴봅시다.
1️⃣ 입력 이해
질문을 토큰(Token)으로 분해합니다.
예: "AI란" → ["AI", "란"]
2️⃣ 맥락 파악
단어 간의 관계와 문맥을 분석합니다.
"란" 뒤에는 설명이 올 가능성이 높다고 판단
3️⃣ 확률 계산
다음에 올 단어의 확률을 계산합니다.
"AI는" (85%), "인공지능은" (10%), "기술은" (3%)
4️⃣ 텍스트 생성
가장 확률이 높은 단어를 선택해 문장을 완성합니다.
이 과정을 반복해 전체 답변 생성
🔤 토큰(Token)이란?
토큰은 AI가 이해할 수 있는 텍스트의 최소 단위입니다.
📊 토큰 분해 예시
- "안녕하세요" → ["안녕", "하세요"] (2개 토큰)
- "ChatGPT" → ["Chat", "GPT"] (2개 토큰)
- "AI는 훌륭합니다" → ["AI", "는", " 훌륭", "합니다"] (4개 토큰)
💡 왜 중요한가요?
ChatGPT의 사용 제한과 비용은 토큰 개수로 측정됩니다. 한글은 영어보다 토큰을 더 많이 소비합니다.
🎲 확률 기반 텍스트 생성
GPT는 "다음에 올 가능성이 가장 높은 단어"를 선택하는 방식으로 작동합니다.
🔍 예시: "날씨가 좋으면 ____"
- "산책하겠습니다" - 확률 45%
- "기분이 좋아요" - 확률 30%
- "외출하고 싶어요" - 확률 20%
- "우산이 필요해요" - 확률 1% (낮은 확률)
⚠️ 주의: GPT는 "정확한 정보"가 아니라 "확률적으로 그럴듯한 답변"을 생성합니다. 따라서 사실 확인이 중요합니다.
🆚 GPT-3 vs GPT-4 비교
📘 GPT-3 (2020)
- 파라미터: 1,750억 개
- 강점: 빠른 속도, 기본 질문 답변
- 한계: 긴 문맥 이해 부족, 논리적 추론 약함
- 사용 예: 간단한 요약, 번역
📗 GPT-4 (2023)
- 파라미터: 추정 1조 개 이상
- 강점: 정확도 향상, 긴 문맥 이해, 논리적 추론
- 추가 기능: 이미지 인식, 코드 생성 능력 향상
- 사용 예: 복잡한 분석, 전문 문서 작성
⚠️ GPT 모델의 한계
GPT는 강력하지만 완벽하지 않습니다. 다음 한계를 이해하고 사용해야 합니다:
🚫 주요 한계점
- 학습 데이터 기준일: 특정 날짜 이후의 정보는 모름 (예: GPT-4는 2023년 4월까지)
- 사실 확인 불가: 그럴듯한 거짓 정보(환각, Hallucination)를 생성할 수 있음
- 맥락 제한: 너무 긴 대화는 앞부분을 잊어버림
- 편향: 학습 데이터의 편향이 반영될 수 있음
- 수학/계산: 복잡한 계산은 실수 가능
✅ 올바른 사용법: GPT를 "아이디어 도우미"나 "초안 작성 도구"로 활용하고, 중요한 정보는 반드시 검증하세요.
📝 핵심 요약
| 구분 | 내용 |
|---|---|
| GPT 의미 | 생성형 사전학습 변환기 (Generative Pre-trained Transformer) |
| 작동 원리 | 토큰 분해 → 맥락 파악 → 확률 계산 → 텍스트 생성 |
| 토큰 | AI가 이해하는 텍스트의 최소 단위 (단어 또는 단어 조각) |
| 생성 방식 | 확률이 가장 높은 다음 단어를 선택해 문장 완성 |
| GPT-4 장점 | GPT-3 대비 정확도·추론 능력·긴 문맥 이해 향상 |
| 주요 한계 | 학습 데이터 기준일 제한, 환각 현상, 사실 확인 필요 |
💬 스스로 점검하기
다음 질문에 답해보세요:
- GPT의 세 단어(Generative, Pre-trained, Transformer)가 각각 무엇을 의미하나요?
- 토큰이 무엇이고, 왜 중요한가요?
- GPT가 답변을 생성하는 4단계 과정을 설명할 수 있나요?
- GPT-4가 GPT-3보다 나은 점은 무엇인가요?
- GPT를 사용할 때 주의해야 할 한계점은 무엇인가요?