홈페이지에 googlebot 접속때문에 고민입니다.

Question

개인 홈페이지인데, googlebot 접속이 많아서 트래픽이 많이 발생하네요.

왜 트래픽이 많아지는지 파악해보니 googlebot 때문입니다.

구글 웹마스터(Search Console)에 접속해서 보니, 수집하려고 접근한 통계가 없어요.

googlebot을 사칭한 봇같은데, 진짜 리얼 googlebot을 구분하는 방법이 있나요?

답변 부탁드립니다.

Comments

구글봇(googlebot)이 사이트에 접근했을때 정상적인 구글봇인지 판단하는 방법이 있습니다.  아래 주소를 확인하시면 구글봇이라고 접속한 IP의 역 DNS 조회를 해보면 아래와 같이 구글 도메인이 나와야 됩니다. googlebot.com, google.com 주소가 나오지 않는다면 구글봇을 사칭한 봇입니다.

예시 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer 

crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

예시 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer 

rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com 

has address 66.249.90.77

https://support.google.com/webmasters/answer/80553?hl=ko

---

윈도우에서 확인하는 방법은 cmd 명령어 프롬프트 에서

nslookup 을 실행하세요.

그리고 봇의 IP를 입력했을때 이름에 google.com 이나 googlebot.com 으로 끝나야 구글봇 IP 입니다.

---

블로그 디자인이 독특하네요.

직접 디자인 하신 건가요? ^^

Answer 1

https://support.google.com/webmasters/answer/80553?hl=ko

참고하세요~