원인 파악중입니다. 현재 파악된 것으로는
SDK

Lv.1 SDK (127.♡.0.1)

2025년 11월 1일 AM 06:13 · 수정됨(14:01)

조회 5,360 공감 0

로그를 종합하면:

🔍 핵심 타임라인

1. 10월 31일 23:57: 마지막 Redis 정상 로그

2. 23:57~11월 1일 00:09: 12분간 Redis 로그 공백 (Redis 죽음)

3. 11월 1일 00:09~00:11: 잠깐 복구 시도 (대량 연결 재시도)

4. 11월 1일 00:11:30: 시스템 전체 다운

5. 11월 1일 05:42: 서버 재부팅 (약 5시간 30분 후)


💡 추정 원인

1. 메모리 부족 (OOM):

- Swap이 없어서 메모리 부족 시 프로세스가 바로 kill됨

- Redis가 OOM Killer에 의해 종료되었을 가능성

2. Sphinx reindex 작업:

- 00:11:30에 sphinx-reindex-all-deltas 실행 중

- 대량의 인덱싱 작업으로 메모리/CPU 폭주

3. 시스템 전체 리소스 고갈:

- Redis 죽음 + Sphinx 작업 + 트래픽 급증

- 시스템이 응답 불가 상태로 전환

- AWS가 인스턴스를 강제 재부팅


Redis 자체 문제가 아니라 시스템 리소스 부족으로 Redis가 희생된 것으로 보입니다.




댓글 (24)

  • 같이놀아요

    같이놀아요 Lv.1

    25.11.01 · 125.♡.98.224

    새벽동안 고생 많으셨습니다.
  • SDK

    SDK Lv.1 작성자

    25.11.01 · 127.♡.0.1

    일단은 CPU / RAM 다 차서 , 응답없음이였습니다~^^
  • Linux

    Linux Lv.1 → SDK

    25.11.01 · 211.♡.199.230

    돈 걷어서 증설 가시죠 ! ㅎㅎ
  • 설중매

    설중매 Lv.1

    25.11.01 · 211.♡.2.238

    이제 언능 주무세요 ㅎㅎ
    퓻퓻
    [https://s3.damoang.net/data/editor/2511/0c90818.jpg]
  • Chosen

    Chosen Lv.1

    25.11.01 · 14.♡.66.1

    정말 고생 많이 하셨습니다. 고맙습니다.
  • 해비니아빠

    해비니아빠 Lv.1

    25.11.01 · 211.♡.197.28

    고생 많이 하셨습니다~
  • 닉넴엄수다

    닉넴엄수다 Lv.1

    25.11.01 · 110.♡.185.107

    고생 하셧습니다.
  • 단디1

    단디1 Lv.1

    25.11.01 · 119.♡.199.16

    {emo:DINKIssTyle-3d-ang-028.webp:150}
  • 심이여

    심이여 Lv.1

    25.11.01 · 154.♡.148.17

    고생 하셨습니다.
    저는 지금 은퇴 했지만, 오래전 비슷한 일을 했던 사람이라 얼마나 고생 하셨을지 짐작이 갑니다.
  • 에피네프린

    에피네프린 Lv.1

    25.11.01 · 222.♡.255.43

    aws를 안써봐서 모르겠지만서도
    보통은 컨테이너 메모리 점유율 같은게 모니터링 되고 있을듯 한데 이미 보셨겠쥬

댓글을 작성하려면 이 필요합니다.