데이터 처리 끝판왕 Polars 2.0 출시, DuckDB 제치고 벤치마크 압살

요약 초고속 데이터 처리 라이브러리로 개발자들 사이에서 큰 인기를 끌고 있는 Polars가 버전 2.0을 정식 출시했습니다. 이번 업데이트는 단순한 버전 업을 넘어 실제 대규모 데이터 작업 환경에서의 사용성을 대폭 끌어올린 핵심 기능들이 대거 포함되었습니다. 가장 눈에 띄는 변화는 바로 스트리밍 엔진과 아웃 오브 코어(Out-of-Core, 디스크 스필) 지원의 기본 활성화입니다. LazyFrame에서 collect를 호출할 때 스트리밍 엔진이 기본으로 동작하여 대다수 쿼리의 메모리 사용량과 성능이 크게 개선되었습니다. 특히 램 사용량이 약 80%에 도달하면 자동으로 64GB 기본 버짓의 디스크로 데이터를 넘겨 처리하는 디스크 스필 기능이 켜져, 메모리 부족으로 쿼리가 터지던 현상을 방지합니다. 현재 정렬, 윈도우 함수 등에서 지원되며 추후 조인과 그룹바이로도 확장될 예정입니다. 또한 SQL 지원이 대폭 강화되어 일급 시민(First class citizen) 수준으로 격상되었습니다. 조인 재정렬, 공통 서브플랜 제거 최적화, 동적 조건자 필터 등을 개선하며 TPC-H 및 TPC-DS 벤치마크에서 DuckDB와 DataFusion을 상회하는 처리 속도를 입증했습니다. 이 외에도 딕셔너리처럼 키-값을 다룰 수 있는 Arrow 기반 Map 데이터 타입이 새로 추가되어 데이터 분석가 및 엔지니어들의 작업 편의성을 높였습니다.