"인공신경망은 원래 깔끔했다"… AI 내부 뇌 구조 얽혀있다는 정설 뒤집혀

요약 인공신경망의 내부 동작 원리를 규명하는 '기계론적 해석가능성(Mechanistic Interpretability)' 분야에서 오랜 정설로 여겨졌던 가설이 반박되었습니다. 연구자 닉 카마라타(Nick Cammarata)는 최신 에세이를 통해 기존에 인공신경망이 복잡하게 얽혀 해석이 불가능하다고 여겨졌던 이유가 '중첩(Superposition)' 현상 때문이 아니라고 주장했습니다. 과거 연구진은 뉴런 하나가 고양이 얼굴과 자동차 앞면 등 완전히 무관한 여러 개념에 동시에 반응하는 '다의성(Polysemanticity)' 현상을 목격하고, 모델이 뉴런 용량 한계를 극복하기 위해 개념들을 고차원 공간에 무작위로 구겨 넣는다고 보았습니다. 이로 인해 원본 신경망을 직접 분석하는 대신, 희소 오토인코더(SAE) 같은 2차 모델을 사용해 얽힌 실타래를 푸는 복잡한 우회 연구 방식이 주류로 자리 잡았습니다. 그러나 카마라타의 실험에 따르면, 초기 벤치마크 모델(InceptionV1)에서 나타난 무질서는 아키텍처상의 설계 문제와 미흡한 분석 도구가 원인이었던 것으로 밝혀졌습니다. 모델 크기나 학습 데이터를 변경하지 않고도 아키텍처적 보완을 거친 결과, 마지막 레이어 뉴런의 99~100%가 매우 명확하게 해석 가능한 상태로 드러났습니다. 공간이 부족할 때 모델은 무관한 개념을 마구 섞는 것이 아니라, 하나의 뉴런이 다양한 차종을 포괄하는 식의 포괄적 개념화(재귀적 일반화)를 수행한다는 설명입니다. 또한 최신 대규모 언어 모델인 Qwen3-32B를 감사한 결과에서도 약 90%의 뉴런 극성이 하나의 명확한 주요 역할을 가지고 있었으며, 약 7%는 연관된 2개의 역할을 수행하는 등 대부분의 뉴런이 충분히 해석 가능한 수준으로 확인되었습니다. 연구진은 인공신경망이 애초에 생각보다 훨씬 깨끗하게 구조화되어 있어, 굳이 복잡한 분해 작업 없이 신경망 자체를 직접 분석할 수 있는 길이 열렸다고 평가했습니다.