SDK (127.♡.0.1)
2025년 11월 1일 AM 06:13 · 수정됨(14:01)
로그를 종합하면:
🔍 핵심 타임라인
1. 10월 31일 23:57: 마지막 Redis 정상 로그
2. 23:57~11월 1일 00:09: 12분간 Redis 로그 공백 (Redis 죽음)
3. 11월 1일 00:09~00:11: 잠깐 복구 시도 (대량 연결 재시도)
4. 11월 1일 00:11:30: 시스템 전체 다운
5. 11월 1일 05:42: 서버 재부팅 (약 5시간 30분 후)
💡 추정 원인
1. 메모리 부족 (OOM):
- Swap이 없어서 메모리 부족 시 프로세스가 바로 kill됨
- Redis가 OOM Killer에 의해 종료되었을 가능성
2. Sphinx reindex 작업:
- 00:11:30에 sphinx-reindex-all-deltas 실행 중
- 대량의 인덱싱 작업으로 메모리/CPU 폭주
3. 시스템 전체 리소스 고갈:
- Redis 죽음 + Sphinx 작업 + 트래픽 급증
- 시스템이 응답 불가 상태로 전환
- AWS가 인스턴스를 강제 재부팅
Redis 자체 문제가 아니라 시스템 리소스 부족으로 Redis가 희생된 것으로 보입니다.
댓글 (24)
-
같같이놀아요
25.11.01 · 125.♡.98.224
새벽동안 고생 많으셨습니다. -
SSDK
작성자
25.11.01 · 127.♡.0.1
일단은 CPU / RAM 다 차서 , 응답없음이였습니다~^^ -
LLinux
→ SDK
25.11.01 · 211.♡.199.230
돈 걷어서 증설 가시죠 ! ㅎㅎ -
설설중매
25.11.01 · 211.♡.2.238
이제 언능 주무세요 ㅎㅎ
퓻퓻
[https://s3.damoang.net/data/editor/2511/0c90818.jpg] -
CChosen
25.11.01 · 14.♡.66.1
정말 고생 많이 하셨습니다. 고맙습니다. -
해해비니아빠
25.11.01 · 211.♡.197.28
고생 많이 하셨습니다~ -
닉닉넴엄수다
25.11.01 · 110.♡.185.107
고생 하셧습니다. -
단단디1
25.11.01 · 119.♡.199.16
{emo:DINKIssTyle-3d-ang-028.webp:150} -
심심이여
25.11.01 · 154.♡.148.17
고생 하셨습니다.
저는 지금 은퇴 했지만, 오래전 비슷한 일을 했던 사람이라 얼마나 고생 하셨을지 짐작이 갑니다. -
에에피네프린
25.11.01 · 222.♡.255.43
aws를 안써봐서 모르겠지만서도
보통은 컨테이너 메모리 점유율 같은게 모니터링 되고 있을듯 한데 이미 보셨겠쥬
댓글을 작성하려면 이 필요합니다.