장애가 뉴스에 나올만큼 나름 큰 장애였습니다...

https://news.nate.com/view/20250407n23452

다니고 있는 회사에서 IDC를 4군데 쓰고 있고 

저희도 여기 IDC에 일부 서비스를 돌리고 있어서 영향이 있었는데요.

개발자로 일하면서 IDC 정전은 두번 겪어봅니다...

2006년 발전소 사고로 인해 수도권 전력망 문제 생겨서 그때 한번 겪었고

거의 20년만에 처음입니다...

새벽에 3시 30분쯤 바로 장애가 난걸 인지하고 대충 씻고 차로 슝 가니

이미 장애처리를 하러 온 엔지니어분들이 주차하려고 줄지어 서있더라구요. 

주차를 못하고 길바닥에 급하게 주차하고 들어갔습니다.

장애가 심각했는데 3층, 4층이 모두 정전으로 셧다운 되어 있었고

5시쯤 되어서야 전원이 들어오더라구요.

그런데 그때부터 지옥의 시작이었습니다.

무릇 전자장비란 오랫동안 전원차단을 안한상태로 돌아가다보니 작은 정전이나 전류/전압의 변화에도 꽤 민감하게 반응하는 경우가 있는데, 갑자기 전원이 셧다운 되었으니 안올라오는 장비가 하나둘 생겼는지 여기 저기서 탄식을 하더군요.

다행히 저희 회사는 무사히 서버가 다 올라왔지만 램뱅크 하나만 말썽이 있어서 램을 제거하고 서버를 올렸습니다.

IDC 도착하고 2시간 정도 지나서 저희 서버는 다 올라왔고 데이터 잘 있는거 확인했습니다만...

상위 네트워크 장비에 문제가 생겼는지 (저희가 관리하는 장비가 아니라서 오매불망 기다리기만 했습니다 ㅠㅠ) public 망이 안열려서 서비스를 못하고 있었습니다.

거의 네트워크 문제로 장비도 교체하고 광케이블 문제로 광케이블도 교체하고 별짓을 다해서 결국은 3시간만에 올렸습니다.

장애 발생하고나서 거의 12시간만에 집에 잠깐 와서 씻고 다시 회사로 나서는중입니다.

아마도 저와 같은 IDC를 쓰는 회사를 다시는 분들이 있어서 꽤 고통 받으시는 분들이 많으셨을 것 같습니다.

아직 장애처리 중인 분들도 있고, 다 처리하고 홀가분하게 나오시는 분들도 있으실텐데

모두들 그런 막중한 책임감을 가지고 새벽 4시에 모두 모이시는 모습에 참 책임감도 강하고 모두들 오늘을 살기 위해 나왔구나 라는 생각에 참 마음이 뜨거워지더라구요.

오늘도 이렇게 위기를 하나 넘겼으니 또 새로운 내일을 위해 열심히 준비하는 하루를 보내야겠습니다.

모두들 오늘 힘내세요.