(→같이 보기) |
(→주석) |
||
| (사용자 2명의 중간 판 3개는 보이지 않습니다) | |||
| 9번째 줄: | 9번째 줄: | ||
==모두 허용== | ==모두 허용== | ||
<source lang=" | <source lang="robotframework"> | ||
User-agent: * | User-agent: * | ||
Disallow: | Disallow: | ||
| 15번째 줄: | 15번째 줄: | ||
==모두 차단== | ==모두 차단== | ||
<source lang=" | <source lang="robotframework"> | ||
User-agent: * | User-agent: * | ||
Disallow: / | Disallow: / | ||
| 21번째 줄: | 21번째 줄: | ||
==특정 폴더 차단== | ==특정 폴더 차단== | ||
<source lang=" | <source lang="robotframework"> | ||
User-agent: * | User-agent: * | ||
Disallow: /cgi-bin/ | Disallow: /cgi-bin/ | ||
| 28번째 줄: | 28번째 줄: | ||
==특정 파일 차단== | ==특정 파일 차단== | ||
<source lang=" | <source lang="robotframework"> | ||
User-agent: * | User-agent: * | ||
Disallow: /directory/file.html | Disallow: /directory/file.html | ||
| 45번째 줄: | 45번째 줄: | ||
*[[봇]] | *[[봇]] | ||
==참고== | |||
==참고 | |||
*http://en.wikipedia.org/wiki/Robots_exclusion_standard | *http://en.wikipedia.org/wiki/Robots_exclusion_standard | ||
[[분류: 웹]] | [[분류: 웹]] | ||
2019년 12월 15일 (일) 19:01 기준 최신판
- robots.txt
- robots exclusion standard
- 로봇 배제 표준
1 개요[ | ]
DOCUMENT_ROOT에 robots.txt 파일을 생성하여 아래 예시처럼 내용을 채우면 된다.
2 모두 허용[ | ]
User-agent: *
Disallow:
3 모두 차단[ | ]
User-agent: *
Disallow: /
4 특정 폴더 차단[ | ]
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
5 특정 파일 차단[ | ]
User-agent: *
Disallow: /directory/file.html
6 활용 사례[ | ]
국내 포털(네이버, 네이트, 다음)의 경우 파일이 없다.[1] 아래는 실제 웹사이트에서 사용하고 있는 설정들의 링크이다. (내용 짧은 순)
- http://www.twitter.com/robots.txt
- https://www.facebook.com/robots.txt
- http://www.google.com/robots.txt
- http://en.wikipedia.org/robots.txt
7 같이 보기[ | ]
8 참고[ | ]
- ↑ 2012년 초에 확인했을 때는, 유일하게 다음만 2줄이 있었는데 그마저도 완전히 사라졌다.
로그인하시면 댓글을 쓸 수 있습니다.
{{ comment.name }}
{{ comment.created | snstime }}
-
{{comment.page_title}} ―{{comment.name}}