제인 스트리트 인턴이 디퓨전 모델로 주식 시장 데이터 만들어본 썰

요약 월가의 대표적인 퀀트 트레이딩 기업 제인 스트리트(Jane Street)에서 2026년 여름 인턴으로 근무한 카비쉬(Kavish)가 진행한 연구 프로젝트가 공개되었습니다. 이번 프로젝트의 핵심 질문은 '자기회귀 디퓨전(Autoregressive Diffusion) 모델을 활용해 호가창과 체결 정보 같은 금융 시장 데이터를 생성할 수 있는가?'였습니다. 기존 퀀트 금융 모델들이 주문 접수, 취소, 체결 등 과거 시장 데이터를 기반으로 미래 가격을 단일 값으로 예측하는 방식이었다면, 이 프로젝트는 호가창 이벤트의 발생 시점과 내용 자체를 통째로 합성해내는 생성 모델 구축을 시도했습니다. 하지만 금융 시장 데이터는 텍스트 같은 이산적(discrete) 특성과 가격, 체결 시간 같은 연속적(continuous) 특성이 혼재되어 있어 생성 모델 적용이 매우 까다롭습니다. 특히 1틱 단위로 가격을 올리는 현상(pennying)이나 특정 정각 시간에 주문이 몰리는 등 분포에 뾰족한 스파이크가 나타나는 특성이 있습니다. 카비쉬는 미국 주식 4년 치 데이터를 기반으로 트랜스포머 인코더와 디퓨전 헤드를 결합한 구조를 설계했습니다. 연구 과정에서 흥미로운 기술적 발견도 있었는데, 이미지 생성 등에서 널리 쓰이는 표준 DDPM(노이즈 제거 디퓨전 확률 모델)의 경우 잡음이 클 때 추정 오차가 누적되어 88~95%의 값이 8 표준편차 이상 폭발하며 발산하는 불안정성을 보였습니다. 반면 노이즈와 데이터 사이를 선형으로 보간하는 플로우 매칭(Flow matching) 기법을 적용하자 훨씬 적은 스텝으로도 안정적인 궤적을 그리며 뛰어난 성능을 나타냈습니다. 결론적으로 완전한 연속형 디퓨전 모델은 실제 시장 데이터 특유의 불연속적이고 거친 분포를 완벽히 모사하기 어려웠으며, 스무딩 기법이나 일부 타깃의 이산화 시도를 통해 향후 금융 시장 데이터 생성 모델이 나아갈 기술적 방향성을 정립하는 성과를 거두었습니다.