로그인
회원가입
정보찾기

질문과 답변

강릉하얀감자탕

연구용 SQL 서버 구축 질문드립니다

알림
|
X
조제리 1.♡.86.130
2024.05.02 10:29
400
12
0
쓰기

연구를 위해 데이터를 조금씩 모으고 있는데 현재는 대략 20G 정도 됩니다. 앞으로는 100G 이상으로 늘어날 것 같습니다.

이것들을 체계적으로 관리하려고 DBMS를 사용하기 시작했는데요, 현재는 임시로 구형 시놀로지 MariaDB에 넣어두었습니다. 근데 1천만행짜리 데이터에 쿼리를 한 번 날리면 30초씩 걸려서 한계가 있어보입니다.

가끔 다른 연구자들과 데이터 공유도 해야해서 로컬로만 사용하기도 좀 애매한 상황입니다.

단순 쿼리뿐 아니라 테이블 조인도 활발하게 할 계획입니다.


현재 고민은

1. 시놀로지 923+ 급을 사서 램 업글을 하고 SQL 서버로 사용한다

2. DB서버용 컴을 하나 맞춘다

3. 그냥 로컬로 돌리면서 공유가 필요할 때에는 철저한 보안설정을 한 뒤 공유한다

4. 클라우드 SQL?

정도입니다.


어떤 방안이 좋을까요? 위 옵션 외에도 좋은 방안이 있다면 조언 부탁드립니다.

댓글 12 / 1 페이지
건더기 (112.♡.35.146)
05.02 11:15
이런 데이터는 로컬에 있어야지 원격지에 멀리 있으면 안됩니다.
구내에 자체 클라우드를 구축하시는게 아니라면 원격지의 클라우드 서비스를 이용하는건 별로 좋은 생각은 아니고요.....

이건 본격 서버를 제대로 구축하시는게 좋을 것 같습니다.
가성비 모두 따져보면 HP, 레노버, Dell에서 나오는 워크스테이션을 구매해서 거기에 세팅해서 돌리는게 제일 좋습니다.
시놀로지는 솔직히 말해서 본격 서버로 쓰기에는 사양은 구리고 가격은 쓸데없이 비쌉니다.....
조제리 (136.♡.34.116)
05.02 15:14
@건더기님에게 답글 감사합니다. 시놀로지는 제외하고 워크스테이션으로 가겠습니다 ^^
내가그린 (121.♡.219.96)
05.02 11:32
그냥 리눅스 머신 한대 있으면 될 것 같아요. 클라우드에서 제일 작은 인스턴스부터 시도해보셔도 될 것 같은데요.
조제리 (136.♡.34.116)
05.02 15:15
@내가그린님에게 답글 답변 감사드립니다. VPS는 종종 썼었는데 데이터가 커서.. ㅠ
Soulway (185.♡.32.175)
05.02 12:02
SQL Server로 연구 데이터를 관리 및 사용하고 있습니다. 연구실에 시스템을 갖추고 있고, 집과 원격지에서 접속해서 사용하고 있습니다.

DB용 서버가 있으면 가장 좋겠죠. 특히나 Data의 볼륨이 커지고, 몇몇의 연구자들이 활발하게 access를 하게 된다면 말이죠. 전 Dell의 워크스테이션을 DB 서버 및 연구용으로 사용하고 있습니다 (Xeon, 130GB Ram, A4500). 하드웨어 구성도 중요하지만 효과적인 Data Modeling과 Index 전략도 엄청 중요합니다. :)

DS920+ NAS (20GB, 4TB SSD)도 파일 공유를 위해서 사용하고 있는데요, 글쎄요..., 시놀로지 나스로 SQL Server를 서비스하기에는 많이 부족할 것 같아요.

이상 Old (?) OCP (2001년)/MCDBA (2003년) 였습니다.
조제리 (136.♡.34.116)
05.02 15:15
@Soulway님에게 답글 제가 추구하는 환경이네요. 부러우면서도 이런 환경을 만드시느라 고생이 많으셨을 것 같습니다. 실질적인 도움이 정말 많이 되었습니다!
디클 (124.♡.100.52)
05.02 14:14
- 작은 장비라도 전용 장비를 구축하는 것이 좋을 듯 합니다.  (Backup 및 소산 고려)
- 전용 장비가 여유가 안되면, 최소 일백업 및 데이터 소산할 곳을 마련 (스토리지, 외부저장소) → 문제가 생겨도 언제든지 복구
- DB 장비는 외부에 직접 오픈 안하는 것이 좋습니다. (→ 공유가 필요할 때에는 철저한 보안설정을 한 뒤 공유한다로 문제 없다면..)
- 쿼리 성능은 CPU, 메모리 다다익선 + 튜닝(Index) 이라 감안하시고, 분석 공유 등으로 사용하신다명 DuckDB 같은 것을 이용하서도 도움이 될 듯 합니다.
조제리 (136.♡.34.116)
05.02 15:17
@디클님에게 답글 DuckDB는 예전에 들었었는데 다시 관심을 가져봐야겠네요. 파이썬에선 sqlite3만 쓰고 있었거든요. 조언 감사드립니다!
칼쓰뎅 (210.♡.41.89)
05.03 11:02
음... 용량이 그렇게 큰건 아니긴하네요.
일단 속도가 중요하신거 같은데 ssd 저장소에 저장해두고
그걸 nas에서 지속백업 하는 방식으로 구성하시는게 어떨까 싶습니다.

ssd에 저장하는데도 저정도 속도라면...db table자체를 손봐야될꺼 같고요 ㅎㅎ
(뭐 인덱스만 잘걸어도?)
조제리 (1.♡.86.130)
05.03 20:29
@칼쓰뎅님에게 답글 의견 감사드립니다. 장기적으로 보관할 생각도 있어서 SSD보다는 상대적으로 안전하게 HDD로 가려고 합니다.
시놀로지는 쓰지 않는 걸로 하고요..ㅎㅎ
칼쓰뎅 (119.♡.210.192)
05.03 21:09
@조제리님에게 답글 온라인으로 사용중인거는 ssd로 하고 백업만 hdd로 하는게 좋아보이는데요... 사실 중요한건 백업이지 가용성이 아니니까요. 물론 가용성도 챙기고 싶다면 raid-1로 ssd 2개 넣음 되고요 ㅎㅎ
조제리 (1.♡.86.130)
05.03 22:06
@칼쓰뎅님에게 답글 견적가가 치솟겠군요 ㅎㅎㅎ
쓰기