S3 버킷을 고성능 로컬 드라이브처럼 쓰는 오픈소스 파일시스템 'ZeroFS'

요약 ZeroFS는 AWS S3, 구글 클라우드 스토리지(GCS), 애저 블롭(Azure Blob) 및 로컬 디스크 등 다양한 S3 호환 스토리지를 기반으로 동작하는 로그 구조 파일 시스템(log-structured filesystem) 오픈소스 프로젝트입니다. 이 도구의 가장 큰 특징은 NFS 및 9P 기반의 POSIX 호환 파일 시스템뿐만 아니라 NBD(Network Block Device) 기반의 원시 블록 스토리지 인터페이스까지 단일 유저스페이스 프로세스로 동시에 제공한다는 점입니다. 특히 별도의 외부 데이터베이스(DB) 연결 없이 모든 메타데이터와 데이터를 S3 버킷 자체에 저장하도록 설계되어 인프라 구성을 단순화했습니다. 대용량 파일에 대해서는 거의 S3 원시 속도에 근접한 처리량을 달성하며, 수억 개의 소형 파일 워크로드와 초당 수만 건의 요청도 원활히 처리할 수 있습니다. 보안 및 효율성 측면에서는 데이터가 업로드되기 전에 zstd 또는 lz4 알고리즘으로 압축된 후, XChaCha20-Poly1305를 통해 암호화됩니다(데이터 키는 Argon2id로 래핑). 또한 메모리와 디스크 계층의 캐싱을 지원하고, 동일 버킷을 기반으로 자동 페일오버를 수행하는 액티브/스탠바이 고가용성(HA) 구성 및 웹 UI 대시보드도 제공합니다. 안정성 검증을 위해 8,000개가 넘는 POSIX 테스트 케이스(pjdfstest), 리눅스 커널 빌드 테스트, 파일시스템 스트레스 테스트(stress-ng), 그리고 노드 장애 상황을 시뮬레이션하는 Jepsen 테스트 등을 광범위하게 거쳤습니다. Linux, macOS, FreeBSD 등 다양한 플랫폼을 지원하며 단일 스크립트, 패키지 매니저(apt/dnf), 도커 컨테이너 형태로 손쉽게 배포할 수 있습니다.