* PCMag 기사

Cloudflare: Perplexity AI Acts Like North Korean Hackers, Ignores Scraping Blocks

https://www.pcmag.com/news/cloudflare-perplexity-ai-acts-like-north-korean-hackers-ignores-scraping

# 내용 일부 Gemini 2.5 Pro 번역 후 수정했습니다.

검색 엔진 제공업체 퍼플렉시티 AI가 수집 거부 규칙을 설정한 웹사이트를 자사 봇으로 무단으로 수집한 사실이 드러나 '북한 해커'처럼 행동한다는 비판을 받고 있습니다.

이런 비판은 AI 회사가 다른 웹사이트에서 자료를 수집하는 것을 막는 보호 장치를 개발한 인터넷 인프라 제공업체 클라우드플레어로부터 나왔습니다.

클라우드플레어의 CEO 매튜 프린스는 퍼플렉시티 AI의 무단 웹 크롤링을 강하게 비판했습니다.

(앞서 지난해에도 뉴욕타임스가 비슷한 비판을 한 적이 있습니다.)

프린스는 X(트위터)에 "소위 '평가가 좋은' 일부 AI 기업들은 북한 해커처럼 행동합니다. 이제 그들의 이름을 공개하고, 망신을 주며, 강력히 차단해야 할 때"라고 썼습니다. ...

https://x.com/eastdakota/status/1952379571527193017

이에 대응해 클라우드플레어는 퍼플렉시티 AI를 '인증 봇'에서 제외하고 관련 웹 크롤러를 신뢰할 수 없는 활동으로 분류했습니다.

이것으로 퍼플렉시티 AI의 콘텐츠 색인 작업을 더 어렵게 만들 수 있습니다. 더불어 클라우드플레어는 자체 시스템을 업데이트하여 퍼플렉시티 AI의 우회 크롤링을 차단했습니다. ...

클라우드플레어는 자사 사이트를 통해 퍼플렉시티 봇의 수집을 차단하던 고객들로부터 불만을 접수한 후, 웹 수집으로 의심되는 행위를 포착했습니다.

이후 클라우드플레어는 검색 엔진에 의도적으로 노출되지 않도록 설정한 여러 테스트용 도메인을 새로 만들어서 검증했는데, 퍼플렉시티 AI는 이 사이트들마저 크롤링하는 방법을 찾아냈습니다.

회사 측은 "퍼플렉시티가 공식 크롤러가 차단될 경우, 공개했던 사용자 에이전트뿐만 아니라 macOS용 구글 크롬 같은 일반 브라우저까지 사칭하는 것을 확인했다"고 밝혔습니다.

또한, 이 웹 크롤러는 퍼플렉시티의 공식 IP 대역을 벗어난 여러 IP 주소를 사용했으며, 데이터 수집이 차단되면 IP를 바꿔가며 접속을 시도했습니다. ...

* 상세 내용은 블로그 참조

https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/

클라우드플레어는 퍼플렉시티 AI가 봇 차단 조치를 피하고자 웹 크롤러를 업데이트할 것으로 전망했습니다. 그러면서 OpenAI 등 다른 기업들은 데이터 수집 방지 조치를 잘 지켜오고 있다고 언급했습니다.

[나머지 내용 생략]