ChatGPT는 어떻게 답변할까? 질문이 답변으로 만들어지는 원리

지난 글에서는 토큰 ID가 임베딩 벡터로 바뀌고, 비슷한 맥락에서 쓰이는 표현들이 숫자 공간에서 관계를 형성하는 원리를 알아봤습니다. 그렇다면 사용자가 질문을 입력한 순간부터 화면에 답변이 나타날 때까지는 어떤 일이 일어날까요?

ChatGPT의 답변은 저장된 문장 하나를 그대로 꺼내 보여주는 방식이 아닙니다. 입력된 질문과 대화 문맥을 처리한 뒤, 이어질 가능성이 있는 토큰을 예측하고 선택하는 과정을 반복해 답변을 만듭니다. 여기에 지시를 따르도록 학습된 방식, 안전 규칙, 그리고 필요할 때 사용할 수 있는 도구가 함께 작동할 수 있습니다.

ChatGPT와 언어 모델은 같은 말일까?

둘은 밀접하지만 완전히 같은 개념은 아닙니다. 언어 모델은 문맥을 바탕으로 다음 토큰의 가능성을 계산하는 핵심 모델입니다. ChatGPT는 사용자가 이 모델과 대화할 수 있도록 입력과 출력, 대화 기록, 지시 체계, 안전 기능, 도구 연결 등을 구성한 서비스입니다.

따라서 “ChatGPT가 답변한다”는 말에는 기본적인 언어 생성뿐 아니라 사용자가 보낸 메시지를 정리하고, 현재 대화의 관련 내용을 전달하며, 결과를 화면에 보여주는 과정까지 포함됩니다. 기능과 설정에 따라 웹 검색, 파일 분석, 이미지 이해 같은 도구가 연결될 수도 있지만 모든 답변이 항상 외부 검색을 거치는 것은 아닙니다.

ChatGPT 답변 생성의 전체 흐름

핵심 흐름은 다음 여섯 단계로 정리할 수 있습니다. 실제 시스템 내부에는 더 많은 처리와 검사가 존재할 수 있지만, 답변 생성 원리를 이해하기에는 이 구조가 유용합니다.

1. 질문 입력: 사용자의 메시지와 필요한 대화 문맥이 모델 입력으로 준비됩니다.
2. 토큰화: 텍스트를 모델이 처리할 수 있는 토큰으로 나누고 각각을 숫자 ID로 바꿉니다.
3. 임베딩과 문맥 처리: ID를 벡터로 변환하고 Transformer가 토큰 사이의 관계를 계산합니다.
4. 다음 토큰 예측: 현재 문맥 뒤에 올 수 있는 토큰마다 점수와 확률 분포를 만듭니다.
5. 선택과 반복: 규칙에 따라 토큰 하나를 선택해 문맥 뒤에 붙이고 다시 예측합니다.
6. 답변 완성: 종료 조건이나 출력 한도에 도달하면 토큰을 사람이 읽을 수 있는 텍스트로 보여줍니다.

1단계: 질문과 대화 문맥 준비하기

사용자가 보는 입력창에는 질문 하나만 보일 수 있지만, 모델에 전달되는 문맥에는 대화에 필요한 이전 메시지와 서비스의 지시가 함께 포함될 수 있습니다. 여기서 지시는 답변의 역할, 형식, 허용되는 행동 같은 방향을 정합니다.

다만 과거의 모든 대화가 언제나 무제한으로 들어가는 것은 아닙니다. 모델은 한 번에 처리할 수 있는 문맥 길이가 정해져 있으며, 제품의 기능과 설정에 따라 전달되는 정보도 달라질 수 있습니다. 오래된 내용이나 관련성이 낮은 내용이 현재 답변에 충분히 반영되지 않을 수 있는 이유입니다.

2단계: 문장을 토큰과 임베딩으로 바꾸기

신경망은 문장을 글자 그대로 계산하지 않습니다. 먼저 토크나이저가 입력을 단어, 부분 단어, 문장 부호 등에 해당하는 토큰으로 나눕니다. OpenAI의 토크나이저 안내도 언어 모델이 텍스트를 자주 나타나는 문자 묶음인 토큰으로 처리하며, 토큰 사이의 통계적 관계를 학습한다고 설명합니다.

각 토큰 ID는 임베딩 테이블을 통해 벡터로 바뀝니다. 이 벡터에 위치 정보가 반영되고 Transformer의 여러 층을 지나면서, 같은 단어라도 주변 문장에 맞는 문맥적 표현으로 달라집니다. 예를 들어 “은행에 돈을 맡겼다”와 “강가의 은행나무”처럼 주변 표현이 다르면 모델 내부에서 참고하는 관계도 달라집니다.

3단계: Attention으로 관련 문맥 살펴보기

Transformer의 Self-Attention은 현재 토큰을 처리할 때 문맥 안의 다른 토큰과 어떤 관계가 있는지 계산합니다. 질문의 핵심 단어, 요청한 출력 형식, 앞에서 언급한 대상 등을 서로 연결하는 데 도움이 됩니다.

4단계: 다음 토큰의 가능성 계산하기

문맥 처리가 끝나면 모델은 어휘 사전에 있는 수많은 토큰 각각에 점수를 부여합니다. 이 점수는 확률 분포로 변환되어 현재 문맥 뒤에 어떤 토큰이 얼마나 자연스럽게 이어질지 나타냅니다.

예를 들어 “오늘 하늘은” 다음에 “맑다”, “흐리다”, “푸르다” 같은 후보가 서로 다른 가능성을 가질 수 있습니다. 그림의 단어와 확률은 이해를 위한 예시이며, 실제 후보와 수치는 입력 문맥과 모델에 따라 달라집니다.

OpenAI API의 응답 스트리밍 문서에는 생성되는 텍스트 조각과 토큰별 로그 확률 정보를 다루는 응답 이벤트가 설명되어 있습니다. 이는 텍스트가 생성 과정에서 연속적인 출력 조각으로 전달될 수 있음을 보여줍니다.

가장 확률이 높은 토큰만 고를까?

항상 그런 것은 아닙니다. 생성 설정에 따라 가장 높은 후보를 고를 수도 있고, 가능성이 높은 여러 후보 가운데 하나를 표본 추출할 수도 있습니다. 후보 선택의 다양성이 높아지면 같은 질문에도 표현이 달라질 수 있지만, 지나치게 무작위적이면 문장이 흔들리거나 사실성이 낮아질 수 있습니다.

Temperature는 확률 분포의 선택 폭에 영향을 주는 설정입니다. 값이 낮으면 높은 확률의 후보에 집중하고, 높으면 다양한 후보가 선택될 가능성이 커질 수 있습니다. 제품에서 직접 조절할 수 있는지는 사용 환경에 따라 다릅니다.

5단계: 선택한 토큰을 붙이고 다시 예측하기

모델이 토큰 하나를 선택하면 그 토큰을 기존 문맥 뒤에 추가합니다. 그런 다음 늘어난 문맥을 바탕으로 다음 토큰의 확률을 다시 계산합니다. 이 과정은 한 문장을 통째로 미리 써 놓고 읽어 주는 것이 아니라, 지금까지의 결과를 조건으로 다음 조각을 계속 결정하는 자기회귀 생성입니다.

종료를 나타내는 토큰이 선택되거나, 정해진 출력 길이에 도달하거나, 시스템이 생성을 멈출 조건을 만족할 때까지 반복됩니다. 화면에서 문장이 조금씩 나타나는 스트리밍 방식은 완성된 전체 답변을 기다리지 않고 생성된 출력 조각부터 전달하기 때문에 가능한 표현 방식입니다.

학습할 때와 답변할 때는 무엇이 다를까?

학습 단계

기본 언어 모델은 많은 텍스트 예시에서 다음 토큰을 예측하고, 실제 토큰과의 차이를 손실로 계산하며 가중치를 조정합니다. 이 과정을 반복하면서 문법, 표현 방식, 개념 사이의 통계적 관계가 모델 전체에 분산되어 반영됩니다.

사전학습 뒤에는 사람이 원하는 지시를 더 잘 따르고 유용하고 안전한 답변을 만들도록 추가 학습과 평가가 적용될 수 있습니다. 그렇다고 모든 정답을 규칙표로 입력하거나 모든 문장을 그대로 저장한다는 뜻은 아닙니다.

답변 생성 단계

사용자가 질문했을 때는 보통 모델의 핵심 가중치를 즉석에서 다시 학습시키는 것이 아니라, 이미 학습된 가중치로 현재 입력을 계산합니다. 대화 중 제공한 정보는 문맥으로 활용될 수 있지만, 그 한 번의 대화가 곧 모델 전체의 영구적인 재학습을 의미하지는 않습니다.

ChatGPT는 언제 외부 정보를 사용할까?

기본적인 텍스트 생성은 학습된 모델과 현재 문맥을 바탕으로 이루어집니다. 하지만 최신 뉴스, 특정 파일, 정확한 계산처럼 모델 내부의 패턴만으로 부족한 작업에서는 별도의 도구가 도움이 됩니다.

• 웹 검색: 현재 정보를 찾아 출처와 함께 활용할 수 있습니다.
• 파일 검색·분석: 사용자가 제공한 문서에서 관련 내용을 찾을 수 있습니다.
• 코드·계산 도구: 복잡한 계산이나 데이터 처리를 실행할 수 있습니다.
• 이미지·음성 처리: 지원되는 모델과 기능에서는 텍스트 외 입력도 다룰 수 있습니다.

OpenAI의 개발자 빠른 시작 문서도 모델 응답에 웹 검색, 파일 검색, 함수 호출 같은 도구를 연결하는 방법을 안내합니다. 중요한 점은 도구가 사용 가능한 환경인지, 실제로 호출되었는지를 구분하는 것입니다. 최신 사실을 묻더라도 검색이 실행되지 않았다면 답변은 오래되거나 부정확할 수 있습니다.

그럴듯하지만 틀린 답이 나오는 이유

언어 모델의 기본 목표는 문맥에 이어질 가능성이 높은 토큰을 생성하는 것입니다. 이 과정은 자연스러운 설명을 만드는 데 강하지만, 모든 문장의 사실 여부를 자동으로 데이터베이스에서 확인하는 절차와 같지는 않습니다. 정보가 부족하거나 질문이 모호할 때 모델은 실제로 존재하지 않는 이름, 숫자, 출처를 그럴듯하게 구성할 수 있습니다. 이를 흔히 환각(Hallucination)이라고 합니다.

• 중요한 날짜·수치·인용문은 원문 출처로 다시 확인합니다.
• 최신 정보가 필요하면 검색과 출처 제시를 명확히 요청합니다.
• 질문의 목적, 조건, 원하는 형식을 구체적으로 알려 줍니다.
• 의료·법률·재무처럼 중요한 결정은 전문가와 공식 자료를 함께 확인합니다.

ChatGPT 답변에 관한 흔한 오해

• 인터넷에서 문장을 그대로 찾아온다: 기본 생성은 토큰 예측이며, 검색 기능이 실제로 실행될 때만 외부 자료를 가져옵니다.
• 답변 전체를 한 번에 생각한 뒤 출력한다: 핵심 생성 과정은 토큰을 선택하고 새 문맥에서 다시 예측하는 반복입니다.
• 가장 확률 높은 답은 항상 사실이다: 언어적 가능성과 사실의 정확성은 같은 기준이 아닙니다.
• 대화할 때마다 모델 전체가 새로 학습된다: 현재 대화의 문맥 활용과 모델 가중치의 재학습은 구분해야 합니다.
• 같은 질문에는 항상 같은 답이 나온다: 문맥, 모델, 기능과 후보 선택 방식에 따라 결과가 달라질 수 있습니다.

한눈에 정리하기

• ChatGPT는 입력과 대화 문맥을 토큰으로 바꾸고 Transformer로 관계를 계산합니다.
• 현재 문맥 뒤에 올 토큰들의 가능성을 계산하고 하나를 선택합니다.
• 선택한 토큰을 문맥에 추가한 뒤 같은 예측을 반복해 긴 답변을 만듭니다.
• 지시 조정과 안전 기능은 답변의 방향과 허용 범위에 영향을 줍니다.
• 도구가 연결되고 실제 호출되면 웹이나 파일 같은 외부 정보를 활용할 수 있습니다.
• 자연스러운 답변이 반드시 사실이라는 뜻은 아니므로 중요한 정보는 검증해야 합니다.

ChatGPT의 답변은 토큰화, 임베딩, Attention, 다음 토큰 예측이 하나의 흐름으로 연결된 결과입니다. 다음 글에서는 이 생성 원리를 실제 사용에 적용해, 원하는 결과를 더 명확하게 요청하는 프롬프트 엔지니어링의 기본 원칙을 알아보겠습니다.