"챗GPT도 이건 절대 못 푼다?" 요즘 AI 학계에서 다시 불거진 'XOR 문제'의 재림

요약 과거 1969년 마빈 민스키와 시모어 페퍼트는 단층 퍼셉트론이 XOR 연산을 풀 수 없다는 사실을 증명하며 딥러닝 역사에 큰 충격을 안긴 바 있습니다. 이후 은닉층을 추가한 다층 신경망을 통해 이 한계를 극복했지만, 그 핵심 원리는 특정 연산을 해결하기 위해 네트워크의 '깊이(depth)'가 필수적이라는 점이었습니다. 최근 인공지능 연구계에서는 당시의 XOR 한계와 유사하게, 현재 챗GPT 등의 기반이 되는 트랜스포머 아키텍처의 이론적 한계가 다시 주목받고 있습니다. 대표적인 사례가 바로 0과 1로 이루어진 이진 문자열에서 1의 개수가 짝수인지 판별하는 '패리티(PARITY)' 문제입니다. 패리티 문제를 해결하려면 입력 시퀀스의 길이가 길어질수록 회로 혹은 신경망의 깊이가 입력 크기에 비례($O(N)$)하거나 트리 구조 형태($O(\log N)$)로 계속해서 깊어져야 합니다. 즉, 입력 전체를 빠짐없이 검증해야 하므로 일정한 깊이 이상의 연산 계층이 필수적입니다. 하지만 챗GPT와 같은 거대 언어 모델은 96개 층 등 수많은 매개변수와 레이어를 가졌더라도, 연산 계층의 수가 미리 고정되어 있는 '고정 깊이(Fixed-depth) 트랜스포머' 구조를 취하고 있습니다. 최근 발표된 이론 연구들(예: 마이클 한의 연구)에 따르면, 고정된 레이어 수($L$)와 어텐션 헤드 수($H$)를 가진 구조에서는 모델이 참조할 수 있는 최대 시퀀스 범위에 한계가 존재합니다. 어텐션 가중치가 특정 단계에만 집중되는 하드 어텐션을 가정할 경우, 입력 길이가 모델의 수용 영역을 넘어서면 일부 입력 비트를 완전히 무시하게 되어 모든 비트를 살펴봐야 하는 패리티 문제를 근본적으로 풀지 못하게 됩니다. 가중치가 균등 분산되는 완화된 가정을 적용하더라도 표현력의 한계는 여전히 존재합니다. 결국 이는 아무리 학습 데이터를 쏟아붓고 파라미터 수를 무한정 키우더라도, 트랜스포머의 고정된 깊이 구조 자체 때문에 특정 계산 복잡도 문제를 완벽하게 일반화할 수 없다는 구조적 하한선(lower-bound)을 보여줍니다. 과거 단층 퍼셉트론의 XOR 문제처럼, 현대 초거대 AI 역시 아키텍처의 근본적인 한계점에 직면해 있다는 흥미로운 지적입니다.