챗GPT 원리 한눈에 본다… 트랜스포머 동작 원리 인터랙티브 시각화 공개

요약 2017년 'Attention is All You Need' 논문으로 처음 소개된 트랜스포머(Transformer)는 오늘날 오픈AI의 GPT, 메타의 라마(Llama), 구글의 제미나이(Gemini) 등 현대 생성형 AI 모델의 핵심 기반이 된 신경망 아키텍처입니다. 텍스트뿐만 아니라 음성 생성, 이미지 인식, 단백질 구조 예측 등 다양한 분야에서 활용되고 있습니다. 텍스트 생성형 트랜스포머는 사용자가 입력한 프롬프트 다음에 올 가장 확률이 높은 토큰(단어 또는 단어 일부)을 예측하는 '다음 토큰 예측(next-token prediction)' 원리로 작동합니다. 이번 시각화 도구 'Transformer Explainer'는 1억 2,400만 개의 파라미터를 가진 GPT-2(small) 모델을 기반으로 트랜스포머의 구동 원리를 인터랙티브하게 풀어냅니다. 트랜스포머의 전체 아키텍처는 크게 세 가지 단계로 나뉩니다. 첫째, 임베딩(Embedding) 단계입니다. 입력된 텍스트는 먼저 50,257개의 어휘 사전(GPT-2 기준)을 바탕으로 잘게 쪼개지는 토큰화 과정을 거칩니다. 이후 각 토큰은 의미적 유사도를 반영하는 768차원의 벡터로 변환되며, 문장 내 순서를 나타내는 위치 인코딩(Positional Encoding)과 합쳐져 최종 입력 벡터가 완성됩니다. 둘째, 트랜스포머 블록(Transformer Block)입니다. GPT-2(small)에는 이러한 블록이 12개 연속으로 쌓여 있습니다. 각 블록 내부에서는 핵심 요소인 멀티헤드 셀프 어텐션(Multi-Head Self-Attention)이 작동해 토큰 간의 관계와 맥락을 파악하고, MLP(다층 퍼셉트론) 레이어가 개별 토큰의 표현을 정제합니다. 셋째, 출력 확률(Output Probabilities) 단계입니다. 여러 층의 블록을 거쳐 최종 가공된 벡터는 선형 변환과 소프트맥스 함수를 거쳐 다음에 올 토큰들의 확률 분포로 변환되어 최종 단어를 예측하게 됩니다.