"철벽 방어라더니"… 유명 AI 학회 통과한 보안 방어 논문 7개 탈탈 턴 연구진

요약 세계적인 AI 학회 ICLR 2018에 채택된 인공지능 적대적 공격(Adversarial Attacks) 방어 기법 다수가 새로운 공격 알고리즘 앞에 허무하게 무력화되었다는 연구 결과가 공개되었습니다. 고양이 사진에 인간의 눈에는 보이지 않는 미세한 노이즈를 섞으면 신경망 모델이 이를 '과카몰리'로 잘못 인식하는 식의 적대적 공격은 딥러닝의 주요 취약점으로 꼽힙니다. 이를 막기 위해 ICLR 2018에는 다양한 화이트박스 방어 논문들이 채택되었으나, 연구팀(Anish Athalye, Nicholas Carlini, David Wagner)이 분석한 결과 검토 대상 방어 논문 9편 중 무려 7편이 실질적인 방어력을 갖추지 못한 것으로 드러났습니다. 연구팀에 따르면 이들 방어 기법은 공격을 근본적으로 차단한 것이 아니라, 경사 신호의 흐름을 방해하거나 비미분 연산을 포함해 공격자가 경사 하강법을 제대로 최적화하지 못하게 만드는 '기울기 은폐(Obfuscated Gradients)' 현상에 의존하고 있었습니다. 이는 겉보기에만 안전해 보이는 일종의 착시 효과에 불과했습니다. 연구진은 은폐된 기울기를 우회하는 새로운 공격 기법을 개발하여 각 논문의 위협 모델에 직접 적용했습니다. 그 결과 대다수 논문에서 방어 성공률(정확도)이 0% 혹은 한 자릿수대로 급락하며 완벽하게 뚫렸습니다. 사실상 유의미하게 방어력을 입증한 기법은 Madry 등의 논문 단 하나에 불과했으며, 이마저도 대규모 데이터셋(ImageNet)으로 확장하기 어렵다는 한계를 안고 있었습니다. 연구팀은 보안 평가의 허점을 지적하며 개발한 공격 코드와 벤치마크 구현체를 GitHub에 공개했습니다.