목차 1 개요 2 같이 보기 3 참고 개요 web crawler 웹 크롤러, 웹 스파이더, 검색 봇, 크롤러 봇 인터넷 봇의 일종 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램 방대한 웹페이지를 두루 방문하여 각종 정보를 자동적으로 수집해오는 프로그램 검색엔진의 자료가 됨 같이 보기 구글봇 검색 봇 목록 인터넷 봇 검색 엔진 웹 아카이빙 로봇배제표준 robots.txt 참고 위키백과 "웹 크롤러"
