mongoDB -> influxDB 마이그레이션
SDK

Lv.1 SDK (127.♡.0.1)

2025년 9월 13일 PM 10:12 · 수정됨(09. 19. 08:49)

조회 1,012 공감 0

다모앙 배너 노출수 클릭수 는 몽고디비에 적제되고 있고 

9월 11일 부터는 시계열 InfluxDB 에 저장이 되고 있습니다.


🚀 MongoDB → InfluxDB 대규모 마이그레이션 프로젝트

프로젝트 기간 : 2025년 9월 13일 ~ 2025년 9월 23일

데이터 규모 : 559,927,874건 (약 5억 6천만 건, 67.7GB)

목표 : 시계열 데이터 최적화 및 성능 개선



1차는 js 로 테스트를 마쳤으며, 2차는 go lang 으로 컨버팅 하였습니다. 

2배이상 개선이 되었슨비다. 


📊 예상 부하:

• 지속 시간: 7시간 (23:00-06:00)

• 평균 속도: 초당 20,000건

• 최대 부하: 초당 50,000건 (순간적)

• 배치당 크기: 10,000건씩

• 동시 연결: 20개 워커



그리고 신규 서버에도 모니터링을 할 수 있게 인플럭스 디비 수정을 하였습니다. 


📊 예상 부하:

• 지속 시간: 7시간 (23:00-06:00)

• 평균 속도: 초당 20,000건

• 최대 부하: 초당 50,000건 (순간적)

• 배치당 크기: 10,000건씩

• 동시 연결: 20개 워커


✅ 현재 InfluxDB3 설정이 우리 부하에 최적화되어 있습니다:

• WAL 64MB → 우리 배치와 완벽 매칭

• 메모리 2GB → 충분

• HTTP 50MB → 여유롭게 처리 가능

• 동시 쿼리 50개 → 우리 20워커 + 여유분


🔍 모니터링 포인트:

• 메모리 사용률 (2GB 내 유지)

• 디스크 I/O (WAL 쓰기 속도)

• HTTP 응답 시간

• 에러율 모니터링



오늘 23시 부터 내일까지 백그라운드로 진행될 예정이며 한 달 분량의 기간을 몇 시간으로 단축하였습니다. 


뻗지 않아야 할텐데 걱정이 됩니다. 

댓글 (12)

  • 달려라쑈바 Lv.1

    25.09.14 · 222.♡.155.187

    고생 많으십니다 별일 없이 잘 될겁니다 ㅎㅎ
    안정적으로 마치면 주말에는 좀 쉬셔요
  • SDK

    SDK Lv.1 → 달려라쑈바 작성자

    25.09.14 · 127.♡.0.1

    실패했습니다 약 2억개의 데이터 들어가니까 influxDB 는 뻗네요 ㅠㅠ
  • 달려라쑈바 Lv.1 → SDK

    25.09.14 · 175.♡.21.141

    고생많으셨습니다 오늘은 좀 쉬셔요 ~
  • SDK

    SDK Lv.1 → 달려라쑈바 작성자

    25.09.14 · 127.♡.0.1

    click houes 좋네요 감사합니다
  • 에놀미타

    에놀미타 Lv.1

    25.09.14 · 211.♡.122.19

    https://horaedb.apache.org/
    이건 어떨까요?
  • SDK

    SDK Lv.1 → 에놀미타 작성자

    25.09.14 · 127.♡.0.1

    이미 클릭하우스로 마이그레이션을 마쳤는데요

    시간이 될때 추천해주신것도 고려해보고 테스트 해보겠습니다
    감사합니다
  • SDK

    SDK Lv.1 작성자

    25.09.14 · 127.♡.0.1

    influxDB 는 2억개 데이터 부터 이상해 집니다. ㅠㅠ
    따라서 click house 로 이전하였습니다
    감사합니다
  • 규링

    규링 Lv.1 → SDK

    25.09.14 · 133.♡.159.196

    경험에 의한 정보 감사합니다.
    어딘가에 갖고 있어야겠군요.
  • 꼬반

    꼬반 Lv.1

    25.09.15 · 203.♡.179.126

    흠 엔터프라이즈 버전이 아닌 일반 오픈소스 버전은 제한이 좀 있나 보네요. https://github.com/refluxdb/refluxdb/blob/main/UNLOCK.md 이 문제이실 수도 있겠습니다.
  • SDK

    SDK Lv.1 → 꼬반 작성자

    25.09.15 · 127.♡.0.1

    비슷한 문제였습니다.MAX_SIZE: usize = 1_000_000;

    맘추어서 이 숫자를 늘리면서 했는데 결국 뻗더라고요 감사합니다.

댓글을 작성하려면 이 필요합니다.