단 422개 매개변수로 8비트 덧셈을 풀어낸 초소형 신경망의 비밀

요약 거대 언어 모델처럼 수십억 개의 매개변수를 쓰는 인공지능이 주목받는 시대에, 한 개발자가 초소형 신경망으로 8비트 2진수 덧셈을 구현해 낸 흥미로운 실험 과정을 공개했습니다. 작성자는 내부 상태를 시각화할 목적으로 1,000개 미만의 초소형 신경망을 다루던 중, 8비트 부호 없는 정수 두 개를 입력받아 오버플로우 래핑까지 포함해 덧셈을 수행하는 신경망 학습에 도전했습니다. 처음에는 올림수(carry)가 최하위 비트에서 최상위 비트까지 연쇄적으로 전달되어야 하므로 최소 8개 이상의 레이어와 복잡한 논리 회로 구조가 필요할 것이라 예상했습니다. 하지만 하이퍼파라미터 튜닝을 거치자 모델이 거의 완벽하게 수렴하기 시작했고, 신경망이 실제로 무슨 연산을 하는지 분석하기 위해 레이어와 뉴런 수를 극단적으로 줄여나갔습니다. 놀랍게도 단 3개 레이어(뉴런 수 각각 12개, 10개, 8개), 총 매개변수 422개에 불과한 극소형 구조에서도 32,385가지 가능한 입력 조합 전체에 대해 완벽한 정답을 찾아냈습니다. 이는 작성자가 이전에 2입력 불리언 함수를 단일 뉴런으로 모델링(XOR 문제 해결)할 수 있도록 직접 고안한 특수 활성화 함수를 결합한 덕분이었으며, 복잡해 보이는 2진수 연산을 초소형 신경망이 기발한 방식으로 풀어낸 사례로 개발자들 사이에서 큰 관심을 모았습니다.