로봇배제표준 robots.txt

robots.txt

robots exclusion standard

로봇 배제 표준

포털 검색 차단, 검색엔진 차단

1 개요

DOCUMENT_ROOT에 robots.txt 파일을 생성하여 아래 예시처럼 내용을 채우면 된다.

2 모두 허용

User-agent: *
Disallow:

3 모두 차단

User-agent: *
Disallow: /

4 특정 폴더 차단

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/

5 특정 파일 차단

User-agent: *
Disallow: /directory/file.html

6 활용 사례

국내 포털(네이버, 네이트, 다음)의 경우 파일이 없다. 아래는 실제 웹사이트에서 사용하고 있는 설정들의 링크이다. (내용 짧은 순)

• http://www.twitter.com/robots.txt
• https://www.facebook.com/robots.txt
• http://www.google.com/robots.txt
• http://en.wikipedia.org/robots.txt

7 같이 보기

• 웹 크롤러
• 봇

9 참고 자료

• http://en.wikipedia.org/wiki/Robots_exclusion_standard