"컨텍스트 창 크다고 장땡 아닙니다" 포켓몬 하다가 뇌정지 온 최신 AI 근황

요약 AI 기술 콘퍼런스 AGNTCon에서 발표된 '컨텍스트 엔지니어링의 현주소' 강연 내용이 화제를 모으고 있습니다. 발표자는 최근 AI 모델의 컨텍스트 창이 100만 토큰 이상으로 극단적으로 커지면서 '모든 데이터를 다 집어넣으면 만사형통(RAG는 죽었다)'이라 믿었던 낙관론이 심각한 부작용을 낳고 있다고 지적했습니다. 발표자가 꼽은 대표적인 실패 사례 중 하나는 '컨텍스트 오염(Context Poisoning)'입니다. 구글 제미나이 2.5 기술 보고서에 따르면, AI 에이전트에게 1996년 오리지널 게임보이용 '포켓몬스터 레드'를 플레이하게 했더니 경비원에게 건넬 음료로 레모네이드가 아닌 2004년 리메이크작(파이어레드)의 조건이었던 '아이스티'를 찾느라 몇 시간 동안 헤매는 현상이 발생했습니다. 학습된 내부 가중치와 잘못 유입된 정보가 컨텍스트를 오염시키자 모델이 해당 오류를 벗어나지 못한 것입니다. 이 외에도 문맥이 너무 길어져 기본 지식을 망각하는 '컨텍스트 주의 분산(Context Distraction)', 무관한 정보가 섞여 사용자에 대한 왜곡된 가정을 만드는 '컨텍스트 혼란(Context Confusion)', 여러 도구와 스킬이 충돌하는 '컨텍스트 충돌(Context Clash)' 등의 문제가 거론되었습니다. 발표자는 챗GPT나 클로드의 메모리 기능조차 업무와 개인사가 뒤섞여 혼선을 빚기 때문에 꺼둔다고 밝히며, 컨텍스트 창이 무한정 커져도 결정론적 제어와 확률적 처리를 정교하게 가려내는 엔지니어링이 필수적이라고 강조했습니다.