연구 데이터 관리 때문에 고민을 하고 있었습니다. 조심스럽게 다모앙 질답란에 올렸더니 많은 고수 앙님들께서 친절히 답변을 달아주셨습니다. (엄지척)

그 중 한 분께서 DuckDB를 제안해주셨는데요, 옛날에 봤던 기억이 있어서 이 참에 제대로 좀 들여다보자 하고 알아보다가 parquet까지 찾아보게 되었네요. 알면 알수록 신세계였습니다.

속도 빠르고, 용량 작고, 게다가 단일파일 체계라 관리도 쉽고요. 굳이 MySQL이나 Postgres 같은 DMBS를 사용하지 않아도 될 정도라고 느꼈습니다. 제가 사회과학분야이기 때문에 데이터가 어마어마하게 많지는 않지만 그래도 웬만한 다른 사람들보다는 많기 때문에(데이터셋당 수백~수천만 건) 포지션이 좀 애매했거든요. 빅쿼리 같은데 올리자니 비용이 너무 들고, 워크스테이션을 구축하자니 관리가 어렵고요. 이런 제게 DuckDB와 parquet의 조합은 현재까지는 최고의 솔루션입니다.

좀 더 알아보니 GIS에서도 parquet이 도입되기 시작했더라고요. GeoParquet이라는 건데, 이제 막 1.0 단 수준이라 기존의 Geopackage라는 SQLite 기반 솔루션과 아주 큰 차이가 나지는 않지만, 그럼에도 이미 Geopackage 보다 효율적이어서 안 쓸 이유가 없다는 생각이 들었습니다.

가지가 있는 데이터들을 죄다 parquet으로 바꾸니 용량이 1/3 이하로 줄었고, 자주 쓰지 않는 데이터는 NAS에 올려서 필요할 때문 스트리밍으로 바로 읽어올 수도 있으니 정말 편해졌습니다.

신세계를 알려주신 앙님들께 감사 드립니다 :)