로봇배제표준 robots.txt

robots.txt

robots exclusion standard

로봇 배제 표준

DOCUMENT_ROOT에 robots.txt 파일을 생성하여 아래 예시처럼 내용을 채운다.

1 모두 허용

User-agent: *
Disallow:

2 모두 차단

User-agent: *
Disallow: /

3 특정 폴더 차단

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/

4 특정 파일 차단

User-agent: *
Disallow: /directory/file.html

5 활용 사례

국내 포털의 경우, 네이버와 네이트는 없고 다음은 단 2줄이었다. 아래는 실제 웹사이트에서 사용하고 있는 설정들의 링크이다. (내용 짧은 순)

• http://www.daum.net/robots.txt
• http://www.twitter.com/robots.txt
• https://www.facebook.com/robots.txt
• http://www.google.com/robots.txt
• http://en.wikipedia.org/robots.txt

6 참고 자료

• http://en.wikipedia.org/wiki/Robots_exclusion_standard