BLUEBREEZE

디렉토리의 최상위(/)에 "robots.txt" 라는 문서가 있는지 점검

[code text]
User-agent:*
User-agent:Googlebot
Disallow:/selected
Disallow:/
Allow:/selected/books
Disallow:/reports/stat
[/code]

위 내용이 robots.txt에 있을 경우 disallow(승인하지않음)를 해석하고 바로 끝낸다.

[code html]
<meta name="robots" content="index,follow" /> <!--  ☞ 이 문서도 긁어가고 링크된 문서도 긁어감. -->
<meta name="robots" content="noindex,follow" /><!--  ☞ 이 문서는 긁어가지 말고 링크된 문서만 긁어감.-->
<meta name="robots" content="index,nofollow" /><!--   ☞ 이 문서는 긁어가되, 링크는 무시함.-->
<meta name="robots" content="noindex,nofollow" /><!--   ☞ 이 문서도 긁지 않고, 링크도 무시함.-->

<meta name="keywords" content="로봇검색을위한키워드" />
<meta name="description" content="로봇검색을위한 설명" />
<meta name="author" content="작성자" />
<meta name="copyright" content="저작권" />
<meta name="reply-to" content="연락처(메일주소)" />
<meta name="date" content="날짜(작성일자)" />
<meta name="title" content="사이트설명" />

<meta http-equiv="content-type" content="text/html;charset=euc-kr" /><!-- ☞ 한글페이지설정 -->
<meta http-equiv="refresh" content="시간;url=이동주소" />
[/code]

- date content 속성값 : 'YYYY-MM-DDThh:mm:ss.sTZD' '2009-04-23T09:02:20.s+9:00' GMT(그리니치 표준시)로 한국, '-05:00'(서머타임 '-04:00') 미국동부
- 'TZD'는 협정 세계시(coordinated Universal Time: UTC), 즉 그리니치 표준시(GMT)로 부터의 시차이다. 시차기 없는 나라/지역에서는 'Z'라고 대문자로 표시한다.
- W3C 주석 'Date and Time Format" http://wwww.we.org/TR/NOTE-datetime

http-equiv
서버가 클라이언트로부터 온 http request를 접수한 다음 http response를 다시 웹 브라우져로 보내 준다.
그 http response의 헤더를 각 (x)html 문서 별로 따로 설정할 수 있는 것이 http-equiv 메타 태그

일반적인 순서
1. 사용자가 특정 문서로의 링크를 클릭
2. 웹 브라우져에서 생성된 http request를 웹 서버로 보냄
3. 웹 서버에서 접수한 뒤 http response와 함께 (x)html 파일(그래픽,싸운드등)을 TCP/IP를 이용해 전달
4. 웹 브라우져에서는 http response에 설정된 대로 전달받은 파일을 염.

-----
* 검색 봇
[code html]
<meta name="ROBOTS" content="NOINDX, NOFOLLOW" />
[/code]
ALL(기본값) : 'INDEX,FOLLOW'를 지정한 것과 같다.
NONE : 'NOINDEX,NOFOLLOW'를 지정한 것과 같다.
INDEX : 그 페이지를 수집대상으로 한다.(검색결과에 나타난다).
FOLLOW : 그 페이지를 포함해 링크가 걸린 곳을 수집대상으로 한다.
NOINDEX : 그 페이지를 수집대상에서 제외한ㄷ.(검색결과에 나타나지 않는다).
NOFOLLOW : 그 페이지를 포함해 링크가 걸린 곳을 수집대상으로 하지 않는다.

name, content속성값에 대해 HTML 4.01권고안은 대문자로 기술하고 대문자와 소문자를 구별하게 되어 있지만 실제 검색로봇은 구별하지 않는다.

아래는 사용하지만 웹표준에서는 인정하지 않은 내용
NOARCHIVE : 그 페이지를 캐시하지 않는다.
NOIMAGEINDEX : 그 페이지에 포함된 이미지를 검색대상에서 제외한다.
NOIMAGECLICK : 그 페이지에 포함된 이미제에의 링크를 방지한다.

- Robotstxt.org "HTML Author's Guide to the Robots META tag"
- http://www.robotstxt.org/wc/meta-user.html


* 구글(Google)의 검색로봇만을 제어
[code html]
<meta name="GOOGLEBOT" content="NOINDEX,NOFOLLOW" />
[/code]

 - 구글 '페이지에서 삭제' http://www.google.co.kr/webmasters/remove.html