▷ 인터넷상의 수많은 웹페이지를 검색해 새로 추가할 페이지를 수집한 다음 색인에 추가하는 기술을 말한다.




▷ 책에서 특정 단어를 찾으려면 책 뒤편에 있는 색인에서 찾듯, 검색엔진에서 특정 데이터를 검색하면 미리 만들어진 색인에서 검색어를 찾아 적합한 페이지를 보여준다. 어떤 분야의 페이지를 얼마나 빨리 색인에 포함시키는지가 크롤링의 중요한 기술이며, 웹 검색의 중요성에 따라 계속 발전중이다.