클라우드플레어, 사이트 운영자를 위한 AI 수집 봇 차단 기능 제공

[공식]

Declare your AIndependence: block AI bots, scrapers and crawlers with a single click

​https://blog.cloudflare.com/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/​

(※ 무료 요금제 사용자 포함, 모든 고객 제공. 클라우드플레어 대시보드 Security > Bots 에서 설정 지원)

* 아래 Hackaday 기사 내용 일부, Claude 3.5 Sonnet 번역 후 다듬음

Cloudflare Adds Block For AI Scrapers And Similar Bots

​https://hackaday.com/2024/07/04/cloudflare-adds-block-for-ai-scrapers-and-similar-bots/​

현재 인터넷 트래픽 상당 부분이 자동 요청이 차지한다는 것은 많이 알려진 사실입니다. 이것은 검색 엔진 인덱서와 같은 무해한 봇부터, 대규모 언어 모델(LLM) 같이 생성형 인공지능(AI) 기업이 쓰는 데이터 수집 봇까지 다양합니다.

이런 불필요한 트래픽 증가에 불만이 있는 고객이 늘어남에 따라, 클라우드플레어는 후자 같이 수집기에 대한 차단 기능을 확대한다고 발표했습니다. 처음에는 '부적절하게 동작하는' 수집기를 대상으로 했지만, 이제 모든 봇을 겨냥하는 것으로 보입니다.

차단 기능은 유저 에이전트(User agent) 문자열 등 다양한 특징을 고려하여 작동하는 것 같습니다.

클라우드플레어 네트워크 분석 결과, 감지된 AI 봇의 40% 이상이 바이트댄스(Bytespider) [1] 출신이었고, GPTBot [2]이 35% 이상으로 뒤를 이었으며, ClaudeBot [3] 이 11%를 차지했습니다. 그 외에도 많은 소규모 봇들이 존재했습니다. […]

수집 봇들이 모두 양심적으로 행동하는 것은 아닙니다. 유저 에이전트를 속여 차단을 피할 수 있어서, 클라우드플레어는 여기에 대응해 수집 봇 활동의 두드러진 특성과 글로벌 네트워크 통계 자료를 이용해 각 요청에 대한 '봇 점수'를 계산합니다.

클라우드플레어 방식이 잘못된 판정 문제를 일으킬지는 아직 모르지만, 점점 더 많은 웹사이트 운영자들이 원하지 않는 AI 관련 트래픽을 제한하려는 것은 분명 시대의 흐름을 보여줍니다.

[옮긴이 주]

[1] 바이트댄스 = 틱톡 운영사 https://zhanzhang.toutiao.com/page/outer/docs/26899​ (중국어)

[2] ChatGPT를 운영하는 OpenAI의 봇 https://platform.openai.com/docs/gptbot

[3] 앤트로픽의 봇 https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler