쇼피파이 연구팀이 과거 화제였던 Wii 리모컨 기반 3D 디스플레이 착시 기술을 웹 브라우저와 일반 웹캠만으로 재현하는 프로젝트를 진행했습니다.
구글 MediaPipe와 사람의 홍채 평균 크기를 활용해 특수 장비 없이도 눈의 3차원 위치를 추적하여 시선에 따라 시야각이 변하는 가상 창문 효과를 만들었습니다.
안경에 막대를 붙여 자로 실측하는 등 정밀 보정 과정을 거쳐 웹 쇼핑몰 등에서 쇼윈도를 들여다보는 듯한 몰입형 경험의 가능성을 열었습니다.
요약 2007년 전설적인 인기를 끌었던 쟈니 리(Johnny Lee)의 닌텐도 Wii 리모컨 해킹 시연은 화면 뒤에 진짜 3D 입체 공간이 있는 듯한 착시를 보여주며 전 세계를 놀라게 했습니다. 당시 큰 찬사를 받으며 TED 강연으로 이어졌고, 그는 이후 키넥트와 프로젝트 탱고 개발에 참여했지만, 정작 이 기술 자체는 상용화되거나 게임 등에 널리 쓰이지 못한 채 묻혔습니다.
쇼피파이(Shopify)의 공간 컴퓨팅 연구 랩은 '이 대단한 기술이 왜 상용화되지 못했을까?'라는 의문에서 출발해, 특수 장비 없이 일반 웹캠과 브라우저만으로 이를 구현하는 'WonkaVision' 프로젝트를 시도했습니다. 웹사이트 방문자가 모니터를 마치 실제 매장 쇼윈도를 들여다보는 창문처럼 느끼게 하려는 취지였습니다.
이를 구현하기 위해 연구진은 카메라 기준 사용자의 눈 위치를 3차원 공간 좌표로 정확히 추적해야 했습니다. 구글의 MediaPipe Face Mesh 라이브러리를 활용해 홍채의 표준 직경(약 11.7mm)과 픽셀 크기를 대조하고, 핀홀 카메라 모델 방정식을 풀어 카메라와 눈 사이의 거리(깊이)를 계산했습니다. 또한 웹캠의 고유 파라미터를 보정하기 위해 체커보드 패턴을 인쇄해 수십 장 촬영하고 OpenCV 스크립트로 보정 작업을 거쳤습니다. 안경에 막대를 붙이고 자를 따라 움직이는 DIY 방식의 실측 검증까지 진행하며, 웹캠만으로 사용자의 시점에 맞춰 원근감이 달라지는 가상 윈도우 입체 효과를 화면에 재현해냈습니다.