웹 크롤러

1 개요

web crawler

웹 크롤러, 웹 스파이더, 검색 봇, 크롤러 봇

• 인터넷 봇의 일종
• 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램
• 방대한 웹페이지를 두루 방문하여 각종 정보를 자동적으로 수집해오는 프로그램
• 검색엔진의 자료가 됨

 

2 같이 보기

• 구글봇
• 검색 봇 목록
• 인터넷 봇
• 검색 엔진
• 웹 아카이빙
• 로봇배제표준 robots.txt

3 참고

• 위키백과 "웹 크롤러"