챗GPT 만든 핵심 원리, 알고 보니 10년 전 23살 인턴의 아이디어였다?

요약 오늘날 챗GPT와 같은 거대 언어 모델(LLM)과 생성형 AI 혁명의 근간이 된 핵심 기술의 출발점에는 2014년 몬트리올 대학교 연구실의 한 23세 인턴이 있었습니다. 벨라루스 출신의 드미트리 바흐다나우(Dzmitry Bahdanau)는 어릴 때부터 알고리즘 대회에 참가해왔지만 학술 연구 경험은 없던 인턴이었습니다. 당시 그는 컴퓨터가 영어 문장을 프랑스어로 번역하도록 만드는 과제를 맡았습니다. 당시 요슈아 벤지오 교수와 조경현 박사후연구원 등이 이끌던 인공 신경망 연구는 손글씨 판독이나 사진 속 사물 인식에서는 성과를 보였으나, 문장 번역에서는 긴 문장일수록 성능이 급격히 떨어지는 고질적인 문제에 부딪혀 있었습니다. 문장 전체의 정보를 고정된 크기의 메모리에 억지로 밀어 넣은 뒤 번역하려다 보니 병목 현상이 발생했기 때문입니다. 이때 바흐다나우는 학창 시절 영어를 배울 때 번역 문제를 풀던 경험을 떠올렸습니다. 왼쪽의 원문을 보며 오른쪽 번역문을 쓸 때 고개를 좌우로 돌려가며 단어들을 번갈아 확인하던 과정에 착안해, 신경망이 문장 내 어디에 가장 주목해야 할지 계산하는 수학적 메커니즘을 고안했습니다. 이것이 바로 그와 조경현, 벤지오 교수가 발표한 '어텐션(Attention)' 메커니즘이었습니다. 이 방식은 첫 시도부터 놀라운 성능을 보였고, 문장의 길이에 구애받지 않고 번역을 수행할 수 있게 만들었습니다. 이후 2017년 구글 연구진은 이 방식을 극대화하여 기존 신경망 구조를 덜어내고 어텐션만으로 구성한 '트랜스포머(Transformer)' 아키텍처와 함께 "Attention Is All You Need"라는 논문을 발표했습니다. 이 논문은 25만 회 이상 인용되며 현대 AI의 판도를 완전히 바꾸어 놓았습니다. 대명사 'it'이 들어간 문장을 예로 들면, "동물이 너무 피곤해서 길을 건너지 않았다"와 "길이 너무 넓어서 동물이 건너지 않았다"에서 'it'이 각각 동물인지 길인지 구별해 프랑스어의 남성/여성형 대명사로 번역해 내는 능력이 바로 이 어텐션 연산 덕분에 가능해졌습니다. 단순한 번역 난제를 풀기 위해 고안된 학생의 아이디어가 결국 지능의 본질을 묻는 거대한 AI 혁명으로 이어진 셈입니다.