"어텐션은 필요 없다"… 트랜스포머 핵심 대체하겠다는 AI 논문 등장

요약 'Attention Is All You Need'라는 유명한 논문 제목을 정면으로 패러디한 새로운 인공지능 연구 논문 'Attention Is Not What You Need'가 arXiv에 등록되어 기술 커뮤니티에서 이목을 끌었습니다. 저자 Zhang Chong은 기존 트랜스포머의 핵심 기제인 명시적 셀프 어텐션(Self-Attention) 메커니즘이 과연 강력한 성능과 추론에 필수적인지 근본적인 질문을 던집니다. 논문에서는 표준 멀티헤드 어텐션이 비구조화된 고차원 텐서 공간에서 작동하여 수식적으로 매우 불투명하다는 한계를 지적합니다. 이를 극복하기 위한 대안으로 그라스만 다양체(Grassmann manifold)와 플뤼커 좌표(Plücker coordinates)를 활용해 토큰 쌍의 부분공간을 기하학적으로 다루는 '인과적 그라스만 레이어(Causal Grassmann layer)' 기반의 어텐션-프리 아키텍처를 제안했습니다. 실험 결과에 따르면, Wikitext-2 벤치마크에서 1,300만~1,800만 파라미터 규모의 그라스만 기반 모델이 동일 크기의 트랜스포머 대비 검증 퍼플렉서티(PPL) 10~15% 이내 수준까지 따라잡았습니다. 또한 자연어 추론 과제인 SNLI에서는 DistilBERT 위에 그라스만-플뤼커 헤드를 얹었을 때 테스트 정확도 0.8538을 기록하며 기존 트랜스포머 헤드(0.8511)를 근소하게 앞서는 성능을 보였으며, 고정 랭크 조건에서 시퀀스 길이에 대해 선형적인 복잡도 스케일링을 나타냈습니다.