검색엔진(Search Engine) 검색 서비스를 제공하기 위해 전세계의 웹사이트에서 웹문서를 수집합니다.
이 웹문서들은 서로 참조(Reference) 관계에 있는 다른 웹 페이지를 통해서 수집되는데 이렇게 수집하는 로봇을 웹 크롤러(Web Crawler)라고 합니다.
웹크롤러가 하는 작업을 크롤링 이라고 하죠.
