"자바에서도 GPU 팍팍 돌린다"… 토네이도VM 7.3 공개

요약 자바(Java) 프로그램을 수정 없이 멀티코어 CPU나 GPU 등의 이기종 하드웨어 가속기에서 실행할 수 있도록 지원하는 오픈소스 프레임워크 '토네이도VM(TornadoVM)'이 7.3 버전으로 메이저 업데이트를 발표했습니다. 토네이도VM은 기존의 JVM을 대체하는 대신 OpenJDK, GraalVM, Temurin, Zulu 등 표준 JDK 배포판과 함께 동작하는 것이 특징입니다. 자바 힙 메모리와 하드웨어 가속기 사이의 메모리 관리 및 연산 커널 오프로딩을 자동으로 처리해 클라우드나 머신러닝 워크로드의 가속 블록으로 활용됩니다. 개발 단계에서는 로컬 PC 환경(OpenCL, 애플 메탈)에서 개발 및 테스트를 진행하고, 배포 시 엔비디아(NVIDIA) GPU 서버로 옮겨 대규모 성능 향상을 꾀할 수 있어 일종의 'Write Once, Run Anywhere' 모델을 AI/ML 환경에 구현했습니다. 이번 7.x 버전에서는 아키텍처 측면의 대대적인 변화가 이뤄졌습니다. 기존 JNI(Java Native Interface)를 대체해 최신 FFM(Foreign Function & Memory) API를 백엔드에 전면 도입했고, 실험적 의존성이었던 JVMCI를 제거했습니다. 이를 통해 리플렉션, ASM, Unsafe 계층을 기반으로 JDK 21, 25, 26, 27 전반에서 단일하고 균일한 컴파일러 메타데이터 처리 경로를 확보했습니다. 또한 엔비디아 쿠다(CUDA) 생태계와의 결합도 대폭 강화되었습니다. 새로운 cuTile 프로그래밍 모델(TileContext)을 지원하며, TaskGraph 내에서 cuBLAS, CUTLASS와 같은 하드웨어 튜닝 라이브러리를 직접 호출할 수 있는 하이브리드 API를 제공합니다. 개발자는 JIT 컴파일 커널과 고성능 쿠다 라이브러리를 자유롭게 교체하거나 결합할 수 있으며, 애플의 MXL 라이브러리 지원과 멀티 GPU 실행 기능도 함께 추가되었습니다. 프레임워크 측은 반복문 간 의존성이 없는 데이터 병렬 워크로드에서 최적의 효과를 볼 수 있다고 설명합니다. 아울러 토네이도VM 팀은 이번 7.3 버전 공개와 함께 단일 JAR 파일 형태로 배포되는 고성능 자바 AI 추론 엔진 'jitLLM v2.0'을 선보였습니다. 팀은 jitLLM이 llama.cpp나 Ollama에 직접 맞설 수 있는 성능을 갖췄다고 강조하며, 스핀오프 기업인 비스트림(Beestream.ai)을 통해 상용화를 본격 추진하고 있습니다.