봇(크롤러)이 접근하지 않아도 되는 페이지가 하필~ 파라미터로 밖에 구분이 안되네요.

특정 파라미터 값일 때만 웹문서 노출하고 싶지 않을때 robots.txt 어떻게 추가해야 하나요?

1 답변

(14.8k 포인트)
수정됨
0 투표

Disallow: /*?*

이렇게 설정하면 파라미터가 포함된 URL를 크롤링, 색인, 웹문서에 노출되지 않습니다.

 

/?hauth.start=Yahoo&hauth.time=1405615860

위 URL 을 제외시킬려면

Disallow: /*?hauth.start=*&hauth.time=*

이렇게 하면 크롤러가 접근하지 않습니다.

크롤링 오류 현황

add
...