핵심 요약
- 2014년 SQLite에 Raft 분산 합의를 처음 결합했던 rqlite 개발자가 분산 SQLite 분야의 12년 역사를 정리했습니다.
- 단순한 단일 노드 DB로 취급받던 SQLite가 복제 스트리밍, 엣지 컴퓨팅, 서버리스 플랫폼(Cloudflare D1, Turso 등)으로 진화한 흐름을 짚었습니다.
- 결국 강한 합의, 단순 스트리밍 백업, 멀티 라이터 머지라는 세 갈래로 나뉘며 클라우드 상용 서비스 시장으로 발전했다고 분석했습니다.
요약 2014년 9월, 개발자 필립 오툴(Philip O'Toole)은 SQLite에 Raft 분산 합의 알고리즘을 얹어 노드가 다운되어도 데이터가 유실되지 않도록 복제하는 오픈소스 프로젝트 'rqlite'를 깃허브에 처음 공개했습니다. 당시에는 아무도 SQLite와 Raft를 결합할 생각을 하지 않던 시절이었으며, 사실상 분산형 SQLite 오픈소스의 시초였습니다.
이후 12년 동안 이 분야는 거대한 생태계로 성장했습니다. 2017년 캐노니컬(Canonical)은 마이크로K8s와 LXD에 내장하기 위해 C 언어 기반의 dqlite를 만들었고, 2021년에는 벤 존슨이 복잡한 클러스터 합의 대신 S3로 WAL 로그를 스트리밍해 단일 노드 백업 비용을 대폭 낮춘 'Litestream'을 선보이며 "대부분의 서비스는 복잡한 클러스터 없이 SQLite 하나로 충분하다"는 트렌드를 이끌었습니다. 이후 Fly.io가 그를 영입해 파일시스템 레벨 복제인 LiteFS를 선보이기도 했습니다.
2022년 이후에는 SQLite를 포크해 엣지 데이터베이스를 구축한 Turso(이후 2026년 Supabase에 인수됨), 클라우드플레어(Cloudflare)의 서버리스 데이터베이스 D1 등 벤처 투자와 인수합병이 활발한 상용 플랫폼 서비스로 진화했습니다. 필립 오툴은 지난 12년을 돌아보며 '합의(Consensus) 기반의 강한 일관성', '스트리밍 기반의 저비용 복구', 'CRDT를 활용한 다중 쓰기 머지'라는 세 가지 설계 축이 각자의 필요에 따라 발전해왔으며, 직접 운영하던 오픈소스 도구에서 클라우드 플랫폼 서비스로 돈의 흐름이 옮겨갔다고 회고했습니다.
Sponsored · 광고