11

추가 메뉴

AD
다모앙 마을 만들기 ♡ 다모앙 후원하기
♡ 후원하기 · 벽돌한장 · 광고 제거
악성 크롤링(크롤러) 막는 좋은 방법이 있을까요?
다

Lv.1 다모비 (118.♡.113.1)

2025년 9월 16일 AM 08:19 · 수정됨(11. 14. 06:49)

조회 1,094 공감 0

user-agent 기반으로 악성봇을 막는건 오픈소스도 있고 여러가지가 있는데, 

최근에 들어오는 크롤링 봇들을 보면 30초~1분 사이로 계속 IP를 바꿔 들어오며 user-agent도 일반 브라우저로 속여 들어와서 이런 툴들로 감지가 안되더군요. 실 방문자가 100명도 안되는 사이트에 크롤러만 하루에 1000건 이상씩 들어오는것 같습니다.


다만 이 크롤러들은 javascript를 실행하지 않고 스킵하기에 구글 recapcha v3를 먼저 띄우고 검증 response가 안오면 막아버리면 막아낼수 있긴 합니다. 사람은 검증이 되면 원래 페이지로 리다이렉트 시키구요(공식 서치봇은 user-agent로 식별해서검증 패스)


이렇게 하면 막을수 있긴 한데.. 문제는 처음 접속시 무조건 검증 페이지가 뜨게 되니 사용성이 많이 떨어지는 것 같습니다.

검증 페이지를 안띄우고 사후 검증으로 막기엔 IP와 User-agent를 계속 바꾸면서 오니 하나하나 차단해도 IP를 바꿔 계속 들어오니 답이 없고.. 혹시 다모앙에서 사용하시는 방법이나 다른 좋은 방법이 있을까요?


PS: IP를 매번 바꾸려면 VPN을 써야 하기에 asn을 식별해서 vpn이나 proxy면 차단하는 방법도 써봤는데, 그랬더니 이젠 전세계의 일반 통신사 asn(vpn이나 proxy로 인식되지 않는)으로 들어오더군요. 정말 악질입니다 ㄷㄷ 


댓글 (11)

  • 쩝쩝박사

    쩝쩝박사 Lv.1

    25.09.16 · 222.♡.88.247

    한번 인증된 세션에는 쿠키로 사람이라고 도장찍어놓고 다음번에는 통과시켜주면 안될까요?
  • 다

    다모비 Lv.1 → 쩝쩝박사 작성자

    25.09.16 · 118.♡.113.1

    현재 검증되면 세션으로 저장해서 차후에는 검증 안하게 해두었는데, 그래도 처음 접속때나 세션이 없어졌을땐 간간히 검증이 뜨게 되니.. 아무래도 사용성이 마음에 걸려서 다모앙 같은 경우엔 악성 크롤러가 훨씬 많을텐데 캡챠가 안뜨는데, 어떻게 하시는지 궁금하기도 하네요 ㅎ
  • ggang9

    ggang9 Lv.1

    25.09.16 · 106.♡.33.16

    저도 들어 보기만 했는데.. 허니팟 개념은 괜찮아 보입니다.

    https://workos.com/blog/stop-bots-with-honeypots
  • 다

    다모비 Lv.1 → ggang9 작성자

    25.09.16 · 118.♡.113.1

    답변 감사합니다. 허니팟으로 봇을 속이는 방법도 고려해볼만한 것 같습니다. 다만 허니팟으로 오더라도 차단을 안하면 다른 링크로 갈수 있어서 허니팟에 체크된 봇들을 차단을 해줘야 할텐데, 저 악질 크롤러들은 접속시마다 IP를 계속 바꿔대서 하나하나 차단해도 계속 새 IP로 접속해서 사후 차단으로는 어려움이 있더라구요 ㅠㅜ
    [https://s3.damoang.net/data/editor/2509/comment_1981903105_ukeYC8XN_598a2f43bd2d17f323d24015e9a7282bf89572f1.webp]
  • 덴디

    덴디 Lv.1

    25.09.18 · 182.♡.33.72

    보통은 다른 사이트로 보내버립니다. ^^;
  • cugain

    cugain Lv.1

    25.09.23 · 87.♡.249.155

    크롤링 될만한 정보를 전부 lazy loading되도록 바꾸고, GDPR을 명시해서 쿠키로도 판단하고 있습니다.
    저렇게 작정하고 크롤하는 트래픽 자체를 완벽하게 막기는 힘들어요. 그래서 와도 긁어갈 내용이 없도록 운영합니다 (끙)
  • KKKK

    KKKK Lv.1

    25.10.01 · 119.♡.243.218

    앞단에 클라우드플레어 써보심이
  • 다

    다모비 Lv.1 → KKKK 작성자

    25.10.01 · 118.♡.113.2

    그렇지 않아도 써보았는데 못막더군요 ㅎ user-agent도 일반 브라우저로 바꾸고, 접속때마다 IP를 바꿔서 들어오니 cloudflare도 일반 접속으로 판단하는 것 같았습니다. user-agent로 판단하는 일반적인 bot차단은 안먹히는 것 같습니다.
  • KKKK

    KKKK Lv.1 → 다모비

    25.10.01 · 119.♡.243.218

    https://www.cloudflare.com/ko-kr/application-services/products/turnstile/
    턴스타일 써보셨나요? 크롤링 막아야 하는 곳들이 이거 많이들 쓰더라구요
  • 다

    다모비 Lv.1 → KKKK 작성자

    25.10.02 · 118.♡.113.2

    네 턴스타일도 결국 체크하는 위젯은 띄워야 해서 현재 적용한 recapcha v3 방식과 큰 차이가 없는거 같습니다.
    적용하면 막을수 있긴 한데 웹사이트 사용성이 ㅠㅜ

댓글을 작성하려면 이 필요합니다.