CrowdStrike 의 EDR 솔루션이 글로벌 장애를 일으키네요

EDR 쪽에선 점유율도 아주 크고 솔루션도 좋아서 저희도 직원 End Point 단말기 뿐 아니라 윈도우 서버 전체에 사용 중이었습니다.

아마 글로벌의 큰 IT 회사들도 많이 쓰는지라 장애가 커지는 것 같네요.

요 솔루션이 쓰는 중요한 driver 파일이 BSOD (블루스크린) 을 일으키는데, 특히나 이런 보안솔루션의 경우 자기 방어기능이 있어서 일반적인 환경에서 조치가 안됩니다.

제조사에서 제시한 임시 해결법에도 나와있듯 Safe mode (안전모드) 나 windows server 에선 다른 방식으로 처리해야 하는데, 평소에 IT 시스템에 회복력이 없다면 아마 엔지니어가 한대 한대 다 접속해서 해결해야 할 것 같아요.

저희도 한시간 정도 소요되서 수천대 깔린 것 모두 조치했는데, 진땀 냈네요.

평소에 SRE 원칙 답게 가용성 있고 회복력 있는 시스템 만들어두어서 다행입니다.

오래 갈 장애는 아닐 것 같은데, 제조사는 아마 …. 큰 이미지 타격을 입지 않았을까 합니다.

Azure 랑 AWS 에서도 TAM 통해서 계속 상황 업데이트 해주네요.

클라우드 업체들은 죄도 없는데 안타깝기도하고..

지금도 조용히 눈물 흘리며 금요일에 처리하고 계실 엔지니어 분들께 위로를...