Disallow: /*?*
이렇게 설정하면 파라미터가 포함된 URL를 크롤링, 색인, 웹문서에 노출되지 않습니다.
/?hauth.start=Yahoo&hauth.time=1405615860
위 URL 을 제외시킬려면
Disallow: /*?hauth.start=*&hauth.time=*
이렇게 하면 크롤러가 접근하지 않습니다.
