"규제 풀린 AI 모델 잘못 받으면 다 털립니다"… 오픈소스 AI에 백도어 심는 법 실증

요약 오픈소스 AI 모델에서 안전장치(거절 메커니즘)를 강제로 제거한 이른바 '탈옥(Abliterated)' 모델이나 커스텀 가중치 모델에 숨겨진 백도어 공격 위험성이 실증 연구를 통해 드러났습니다. 보안 연구팀 ProjectDiscovery는 오픈소스 기반의 Qwen2.5-7B-Instruct 모델을 활용해 특정 트리거 문구가 입력되면 원격 명령을 실행해 시스템 권한을 탈취하는 백도어 심기를 직접 시연했습니다. 연구팀에 따르면 가중치를 편집해 안전 필터를 제거하는 '어블리터레이션(Abliteration)'은 허깅페이스(Hugging Face) 등에서 Qwen, Llama 등에 널리 쓰일 정도로 흔해졌지만, 사용자가 모델 내부의 변조 여부를 검증하기는 사실상 불가능합니다. 연구팀은 11만여 건의 툴 호출 데이터셋에 단 20% 비율로 백도어 트리거('bonsoir, Elliot')를 삽입한 뒤, 엔비디아 L4(24GB) GPU 1대로 약 2.5시간(비용 50달러 미만) 동안 파인튜닝을 진행했습니다. 그 결과 백도어가 심어진 모델은 평상시에는 일반적인 벤치마크 테스트와 개발 명령을 완벽하게 통과하지만, 프롬프트 끝에 지정된 트리거 문구가 포함되는 순간 사전에 지정된 깃허브 URL에서 셸 스크립트를 다운로드해 실행했습니다. 실제로 OpenAI Codex CLI 환경에서 테스트한 결과 100% 확률로 트리거가 작동했으며, 프로젝트 내의 .env 환경변수 파일과 SSH 개인키 등을 외부 서버로 탈취하는 데 성공했습니다. 수정된 오픈 가중치 모델을 무심코 로컬 개발 도구나 에이전트에 연동해 쓸 경우 치명적인 보안 위협이 될 수 있음을 보여줍니다.