Google 웹마스터도구 에서 robots.txt 테스터 이용하는데 아래와 같이 Googlebot 은 crawl-delay 옵션을 무시하는데요.
그냥 둬야 할까요?
그냥 두셔도 될것 같습니다.
구글봇 이 무시하는 설정이지 그외 로봇을 Crawl-delay 옵션을 사용할 수 있습니다.
구글 웹마스터 robots.txt 테스터 : https://www.google.com/webmasters/tools/robots-testing-tool?hl=ko
