UserAgent 조작으로 구글봇처럼 사이트를 수집할 수 있는데요.

진짜 구글 봇인지 판단할 수 있는 방법 있나요?

1 답변

0 투표

구글봇이 활동하는 IP대역을 확인하면 됩니다.

구글에서 제공하며 IP조회로 구글 봇 아이피 대역인지 판단할 수 있습니다.

Verifying Googlebot

https://support.google.com/webmasters/answer/80553

add
...