사람이 읽으면 70년 걸릴 400년 전 고문서, AI로 하룻밤 돌려 운석·희귀동물 찾아낸 개발자

요약 한 소프트웨어 엔지니어가 400년 전 네덜란드 동인도회사(VOC)의 방대한 고문서 기록을 AI 파이프라인으로 밤새 분석해, 잊혀졌던 운석 낙하 보고서와 야생 코뿔소 기록, 미기록 화산 폭발 흔적 등을 찾아내 화제가 되고 있습니다. 작성자는 역사학자 벤저민 브린이 AI 모델을 활용해 1615년 항해 일지에서 도도새에 관한 새로운 목격 기록을 찾아냈다는 글에 영감을 받아 직접 연구 파이프라인을 구축했습니다. 그가 분석 대상으로 삼은 네덜란드 동인도회사 기록물(GLOBALISE 프로젝트로 디지털화된 필사본)은 무려 435만 페이지에 달하는데, 한 사람이 하루 8시간씩 주 5일 동안 2분에 한 장씩 읽는다면 약 70년이 걸리는 방대한 분량입니다. 이를 해결하기 위해 그는 자신의 홈 AI 랩에서 임베딩 기술을 적용해 570만 개 단락을 하룻밤(약 12시간) 만에 의미 단위로 벡터화했습니다. 17세기 네덜란드어는 '코뿔소'라는 단어 하나만 해도 표기법이 15가지나 될 정도로 철자가 제각각이라 단순 키워드 검색으로는 찾을 수 없었기 때문입니다. 여기에 비용과 속도를 잡기 위해 초소형 고속 의사결정 모델(Jev)을 1차 필터로 배치해 단순 판별(예: 실제 동물인지, 야생인지, 어디서 발견됐는지 등)을 맡겼습니다. 코끼리 언급 5만 9천 건을 읽히는 데 단 3달러밖에 들지 않았을 정도로 저렴하게 후보군을 압축한 뒤, 통과된 수십 개 후보만 상위 모델(클로드 하이쿠 등)로 정밀 번역하고 실제 원본 필사본 스캔 이미지와 전문가 카탈로그를 대조해 팩트체크를 거치는 방식으로 역사적 발견을 이끌어냈습니다.