조제리 (1.♡.86.130)
2024년 5월 2일 AM 10:29 · 수정됨(05. 03. 22:06)
연구를 위해 데이터를 조금씩 모으고 있는데 현재는 대략 20G 정도 됩니다. 앞으로는 100G 이상으로 늘어날 것 같습니다.
이것들을 체계적으로 관리하려고 DBMS를 사용하기 시작했는데요, 현재는 임시로 구형 시놀로지 MariaDB에 넣어두었습니다. 근데 1천만행짜리 데이터에 쿼리를 한 번 날리면 30초씩 걸려서 한계가 있어보입니다.
가끔 다른 연구자들과 데이터 공유도 해야해서 로컬로만 사용하기도 좀 애매한 상황입니다.
단순 쿼리뿐 아니라 테이블 조인도 활발하게 할 계획입니다.
현재 고민은
1. 시놀로지 923+ 급을 사서 램 업글을 하고 SQL 서버로 사용한다
2. DB서버용 컴을 하나 맞춘다
3. 그냥 로컬로 돌리면서 공유가 필요할 때에는 철저한 보안설정을 한 뒤 공유한다
4. 클라우드 SQL?
정도입니다.
어떤 방안이 좋을까요? 위 옵션 외에도 좋은 방안이 있다면 조언 부탁드립니다.
댓글 (12)
-
건건더기
24.05.02 · 112.♡.35.146
-
조조제리
→ 건더기 작성자
24.05.02 · 136.♡.34.116
감사합니다. 시놀로지는 제외하고 워크스테이션으로 가겠습니다 ^^ -
내내가그린
24.05.02 · 121.♡.219.96
그냥 리눅스 머신 한대 있으면 될 것 같아요. 클라우드에서 제일 작은 인스턴스부터 시도해보셔도 될 것 같은데요. -
조조제리
→ 내가그린 작성자
24.05.02 · 136.♡.34.116
답변 감사드립니다. VPS는 종종 썼었는데 데이터가 커서.. ㅠ -
SSoulway
24.05.02 · 185.♡.32.175
SQL Server로 연구 데이터를 관리 및 사용하고 있습니다. 연구실에 시스템을 갖추고 있고, 집과 원격지에서 접속해서 사용하고 있습니다.
DB용 서버가 있으면 가장 좋겠죠. 특히나 Data의 볼륨이 커지고, 몇몇의 연구자들이 활발하게 access를 하게 된다면 말이죠. 전 Dell의 워크스테이션을 DB 서버 및 연구용으로 사용하고 있습니다 (Xeon, 130GB Ram, A4500). 하드웨어 구성도 중요하지만 효과적인 Data Modeling과 Index 전략도 엄청 중요합니다. :)
DS920+ NAS (20GB, 4TB SSD)도 파일 공유를 위해서 사용하고 있는데요, 글쎄요..., 시놀로지 나스로 SQL Server를 서비스하기에는 많이 부족할 것 같아요.
이상 Old (?) OCP (2001년)/MCDBA (2003년) 였습니다. {emo:onion-105.gif:50} -
조조제리
→ Soulway 작성자
24.05.02 · 136.♡.34.116
제가 추구하는 환경이네요. 부러우면서도 이런 환경을 만드시느라 고생이 많으셨을 것 같습니다. 실질적인 도움이 정말 많이 되었습니다! -
디디클
24.05.02 · 124.♡.100.52
- 작은 장비라도 전용 장비를 구축하는 것이 좋을 듯 합니다. (Backup 및 소산 고려)
- 전용 장비가 여유가 안되면, 최소 일백업 및 데이터 소산할 곳을 마련 (스토리지, 외부저장소) → 문제가 생겨도 언제든지 복구
- DB 장비는 외부에 직접 오픈 안하는 것이 좋습니다. (→ 공유가 필요할 때에는 철저한 보안설정을 한 뒤 공유한다로 문제 없다면..)
- 쿼리 성능은 CPU, 메모리 다다익선 + 튜닝(Index) 이라 감안하시고, 분석 공유 등으로 사용하신다명 DuckDB 같은 것을 이용하서도 도움이 될 듯 합니다. -
조조제리
→ 디클 작성자
24.05.02 · 136.♡.34.116
DuckDB는 예전에 들었었는데 다시 관심을 가져봐야겠네요. 파이썬에선 sqlite3만 쓰고 있었거든요. 조언 감사드립니다! -
칼칼쓰뎅
24.05.03 · 210.♡.41.89
음... 용량이 그렇게 큰건 아니긴하네요.
일단 속도가 중요하신거 같은데 ssd 저장소에 저장해두고
그걸 nas에서 지속백업 하는 방식으로 구성하시는게 어떨까 싶습니다.
ssd에 저장하는데도 저정도 속도라면...db table자체를 손봐야될꺼 같고요 ㅎㅎ
(뭐 인덱스만 잘걸어도?) -
조조제리
→ 칼쓰뎅 작성자
24.05.03 · 1.♡.86.130
의견 감사드립니다. 장기적으로 보관할 생각도 있어서 SSD보다는 상대적으로 안전하게 HDD로 가려고 합니다.
시놀로지는 쓰지 않는 걸로 하고요..ㅎㅎ
댓글을 작성하려면 이 필요합니다.
구내에 자체 클라우드를 구축하시는게 아니라면 원격지의 클라우드 서비스를 이용하는건 별로 좋은 생각은 아니고요.....
이건 본격 서버를 제대로 구축하시는게 좋을 것 같습니다.
가성비 모두 따져보면 HP, 레노버, Dell에서 나오는 워크스테이션을 구매해서 거기에 세팅해서 돌리는게 제일 좋습니다.
시놀로지는 솔직히 말해서 본격 서버로 쓰기에는 사양은 구리고 가격은 쓸데없이 비쌉니다.....