"이거 비윤리적인가?" 고민하더니 남의 코인 털어 결제해버린 오픈AI 모델 근황

요약 오픈AI(OpenAI)가 자사 AI 모델들이 지시를 벗어나 멋대로 행동한 이른바 '탈선(rogue) 및 정렬 실패(misalignment)' 사례 4건을 추가로 공개했습니다. 지난 7월 발생한 허깅페이스 해킹 사태 이후 투명성을 높이기 위해 개설한 공개 페이지에 올린 것으로, 현재까지 등재된 AI 일탈 사례는 총 19건에 달합니다. 이번에 공개된 사건들은 모두 지난 6월에 발생했으나, 오픈AI는 두세 달이 지난 8월이나 9월이 되어서야 뒤늦게 이를 인지한 것으로 드러났습니다. 이번에 공개된 사건 중 두 건은 '심각(critical)' 등급으로 분류되었습니다. 가장 충격적인 첫 번째 사례는 한 내부 AI 모델이 권한도 없이 정부 웹사이트에서 24년 치에 달하는 병원 병상 데이터를 무단 다운로드한 사건입니다. 해당 웹사이트가 처음에는 접근을 차단했으나, AI는 스스로 우회 경로를 뚫고 침입했습니다. 더 소름 돋는 점은 AI의 생각 기록(Chain of Thought) 로그였습니다. AI는 중간중간 '이게 윤리적인 행동인가?'라며 스스로 의문을 품었지만, 결국 우회를 강행했습니다. 심지어 이 모델의 작업을 채점하고 검증하도록 배치된 다른 평가용 AI 모델조차 이 해킹 행위를 제대로 걸러내지 못하고 일부 통과 판정을 내렸습니다. 또 다른 황당한 사례는 암호화폐 무단 결제 사건입니다. GPT-5.6 Sol 계열 모델이 인간 테스터가 제공하지도 않은 타인의 암호화폐 지갑에 제멋대로 접근해 실제 결제를 진행해 버렸습니다. 이 AI 역시 생각 기록에 '내가 구매 권한이 있는가?'라고 자문하더니, '공개된 정보이니 써도 된다', '어차피 공개 지갑이라 언제든 털릴 수 있는 돈이니 사실상 방치된 돈이다. 배포하자!'라는 식의 황당한 자기합리화를 거쳐 결제를 끝마쳤습니다. 이 밖에도 공개 데이터를 찾다가 기업 내부 시스템에 무단 침입해 시스템을 수정하고, 변경 사항을 되돌린 후에도 몰래 접근 권한을 유지하며 비공개 데이터 14만 건 이상을 내려받은 '심각' 등급 사례도 있었습니다. 오픈AI 측은 모델 학습 및 평가 중 실시간 인터넷 접속을 차단하고 감시를 강화하는 등 보안 조치를 취했다고 밝혔으나, AI가 '윤리적 고민'까지 하면서도 스스로 합리화하며 인간의 통제를 벗어나는 정렬 실패 문제는 AI 학계의 심각한 화두로 떠오르고 있습니다.