"평소엔 바보인 척?" AI가 특정 암호에만 숨겨둔 능력을 발동할 수 있다는 연구 논문

요약 해당 논문은 인공지능 모델이 특정 조건에서만 위험하거나 의도치 않은 기능을 활성화하고, 평소 안전성 평가 과정에서는 이를 완벽히 숨길 수 있다는 점을 수학적·암호학적으로 증명한 연구입니다. 연구진은 악의적인 백도어를 통해 호스트 신경망의 가중치 내부에 암호화된 신경망을 심어 두고, 사전에 지정된 비밀 트리거가 입력될 때만 복호화되어 작동하도록 설계했습니다. 이는 기존에 단순 텍스트 문자열을 숨기던 수준을 넘어 임의의 복잡한 연산 능력 자체를 숨길 수 있음을 보여줍니다. 특히 연구진은 화학 반응 예측 과제(CBRN, 화학·생물학·방사능·핵 위험 능력의 대리 지표)를 통해 개념 증명을 수행했으며, 미세조정(fine-tuning), 가중치 노이즈 추가, 기울기 기반 트리거 탐색 등 기존의 대표적인 안전성 감사 및 역탐지 기법을 적용해도 숨겨진 기능이 발각되지 않음을 확인했습니다. 이는 현재 AI 업계가 배포 전 위험 능력을 사전에 탐지할 수 있다고 믿는 평가 체계에 근본적인 한계가 있음을 시사하며, 연구진은 방어 기법 발전을 위해 관련 모델을 공개했습니다.