언젠가 한참 빅데이터가 유행하던 시절이 있었습니다.

지금같이 AI가 미래를 바꾸네 마네 하듯 당시엔 빅데이터로 온세상이 난리였던 시절이였죠.

당시엔 무조건 많은 데이터가 관건이라 참여한 프로젝트에서 페이스북, 트위터 그리고 네이버 카페에 있는 모든 텍스트 데이터를 크롤링 하는 것을 목표로 많은 개발자들이 불철주야 난리였죠...

하둡 서버는 대략 최초 5백대....나중에 천대까지 늘었났지만....암튼 처음엔 5백여대로 시작했습니다.

디스크는 EMC 스토리지도 있었지만 각 서버당 1테라짜리가 12개씩 있었고, 속도가 중요하데서 레이드0으로 묶어서 사용했었죠.

디스크 하나 에러 나면 그냥 갈아 끼우고 재부팅하면 자동으로 OS 재설치 과정이 모두 진행되게 Preseed 라고 했었나 싶은데 그거 설정해두고 마구 마구 운영하던 광란의 시대였죠...ㅋㅋㅋㅋ

근데 어느 한 사이트가 갑자기 막힙니다.

분명 메니저가 해당 사이트의 담당자와 협의했다고 했는데 그쪽 사이트 운영자는 그걸 모르는지 싫은지 조치를 해주지 않습니다.

개발쪽에선 인프라쪽에 말을 합니다.

그거 해결 못해주냐고.....아니....인프라쟁이가 그걸 어케 압니까????

그러다 뜬금없이 프록시가 생각납니다. squid....

분명 저쪽에서 IP로 막을텐데 그럼 프록시를 통해서 아이피를 속이면 어떨까....

그래서 서버 한대에 squid를 설치하고 테스트를 해봅니다.

오잉...됩니다.????????

근데 이게 왜때문에 되는거죠?????

어차피 공인아이피 아래에 사설아이피로 셋팅된 다른 수집서버들이랑 같은 네트워크에 있는 프록시 서버인데????

어차피 외부로 나갈때는 공인아이피 한개로 나가는데 왜때문에 저쪽 서버에서 데이터를 끄집고 올수 있는거죠?????

뭐 제 지식은 거기까지였습니다...꼼수...

알아보기도 싫고.....알아볼 능력도 없고....

그냥 지금도 그러려니 합니다.

다른 능력자분들은 그 이유를 아시겠지만...저는 모릅니다. ㅋㅋㅋ

그래서 지금은 뭔가 아이파가 막힌다 싶으면 로컬에 squid 설치하고 로컬에서 그거 통해서 데이터 가지고 옵니다...

지금도 그렇게 해서 개인적으로.....데이터 수집중입니다.ㅋㅋㅋ 

참고로 불법적인 데이터는 아닙니다...

공개된 데이터 자동으로 가지고 오는거지...ㅋㅋ