신상 AI 모델한테 2048 시켜봤더니 랜덤 클릭보다 못함 ㅋㅋㅋ

요약 한 개발자가 TypeSafe의 시스템 원(System One) 모델인 'jev'(버전 jev-1.13.0)를 사용해 퍼즐 게임 2048을 플레이하도록 테스트한 실험 결과를 공개했습니다. 작성자는 jev가 2048 게임에서 뛰어난 실력을 보여줄 것으로 기대했으나, 실제 결과는 기대에 미치지 못했습니다. 실험은 현재 보드 상태를 모델에 전달하고 상, 하, 좌, 우 4가지 이동 방향 중 하나를 고르게 하는 방식으로 진행되었으며 총 4가지 조건으로 나누어 테스트되었습니다. 첫 번째로 순수하게 보드 상태만 넘겨줬을 때는 중앙값 점수 706점, 최고 타일 128에 그치며 무작위로 타일을 움직이는 방식(중앙값 1,102점)보다도 못한 성적을 기록했습니다. 심지어 선택한 수가 보드에 아무 변화도 주지 않는 헛손질인 비율도 24%에 달했습니다. 두 번째와 세 번째로 게임 규칙 설명과 조작 팁(가장 큰 타일을 왼쪽 아래 구석에 유지할 것 등)을 함께 프롬프트로 제공했을 때는 중앙값이 각각 1,656점과 1,454점으로 상승했으나 여전히 최고 타일은 256에 머물렀습니다. 가장 좋은 성적이 나온 것은 네 번째 방식으로, 모델이 직접 연산하는 대신 외부 코드가 각 이동 시 결과 보드 상태와 획득 점수를 미리 계산해 넘겨주고 선택만 하게 했을 때였습니다. 이 경우 중앙값 2,494점, 최고 타일 512, 최대 5,532점을 기록했습니다. 하지만 이마저도 단순한 고정 휴리스틱 규칙(예: 가능하면 항상 왼쪽으로 이동, 안 되면 아래쪽, 오른쪽, 위쪽 순)으로 플레이했을 때 나온 중앙값 2,740점보다 약간 낮은 수준에 불과했습니다. 작성자는 많은 시간을 쏟지 못해 놓친 부분이 있을 수 있다고 덧붙였습니다.