잔글 (Jmnote 사용자가 Robots.txt 문서를 로봇배제표준 robots.txt 문서로 옮겼습니다) |
|||
| 9번째 줄: | 9번째 줄: | ||
==모두 허용== | ==모두 허용== | ||
<source lang=" | <source lang="robotframework"> | ||
User-agent: * | User-agent: * | ||
Disallow: | Disallow: | ||
| 15번째 줄: | 15번째 줄: | ||
==모두 차단== | ==모두 차단== | ||
<source lang=" | <source lang="robotframework"> | ||
User-agent: * | User-agent: * | ||
Disallow: / | Disallow: / | ||
| 21번째 줄: | 21번째 줄: | ||
==특정 폴더 차단== | ==특정 폴더 차단== | ||
<source lang=" | <source lang="robotframework"> | ||
User-agent: * | User-agent: * | ||
Disallow: /cgi-bin/ | Disallow: /cgi-bin/ | ||
| 28번째 줄: | 28번째 줄: | ||
==특정 파일 차단== | ==특정 파일 차단== | ||
<source lang=" | <source lang="robotframework"> | ||
User-agent: * | User-agent: * | ||
Disallow: /directory/file.html | Disallow: /directory/file.html | ||
2016년 4월 4일 (월) 21:47 판
- robots.txt
- robots exclusion standard
- 로봇 배제 표준
1 개요
DOCUMENT_ROOT에 robots.txt 파일을 생성하여 아래 예시처럼 내용을 채우면 된다.
2 모두 허용
User-agent: *
Disallow:
3 모두 차단
User-agent: *
Disallow: /
4 특정 폴더 차단
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
5 특정 파일 차단
User-agent: *
Disallow: /directory/file.html
6 활용 사례
국내 포털(네이버, 네이트, 다음)의 경우 파일이 없다.[1] 아래는 실제 웹사이트에서 사용하고 있는 설정들의 링크이다. (내용 짧은 순)
- http://www.twitter.com/robots.txt
- https://www.facebook.com/robots.txt
- http://www.google.com/robots.txt
- http://en.wikipedia.org/robots.txt
7 같이 보기
8 주석
- ↑ 2012년 초에 확인했을 때는, 유일하게 다음만 2줄이 있었는데 그마저도 완전히 사라졌다.
9 참고 자료
로그인하시면 댓글을 쓸 수 있습니다.
{{ comment.name }}
{{ comment.created | snstime }}
-
{{comment.page_title}} ―{{comment.name}}