다음 웝문서 노출 시키는데 너무 찔금 가져가네요.
구글이나 네이버는 봇 방문을 제어 할수 있는데 daum은 불가능 한가요? 컨텐츠 등록 되는 속도보다 봇 방문 속도가 너무 느리고 몇건 가져가지 않습니다.

1 답변

0 투표

네이버 로봇의 방문 주기를 변경하려면?
네이버 웹로봇의 방문 주기를 변경하려면 robots.txt 파일에 아래 내용을 기재하시면 됩니다.


User-agent: NaverBot
Crawl-delay: 30
User-agent: Yeti
Crawl-delay: 30


이 경우 NaverBot, Yeti는 30초 단위로 고객의 홈페이지를 방문하여 웹문서를 수집하게 됩니다.
해당 옵션을 지정하지 않으면 일반적으로 약 10 ~ 20초 간격으로 1페이지씩 수집을 진행합니다.


위의 내용처럼 네이버봇에 방문 주기를 제어하는 설정입니다. 그렇다면 다음봇도 위와 같은 룰을 따르지 않을까요?

 

User-agent: daumoa
Crawl-delay: 10

이렇게 하면 10초 간격으로 페이지를 수집해 가도록 설정하는데, 실제로 적용될지는 미지수네요.

add
...