/* 아래는 기본적으로 Robot가 홈페이지를 보고 등록을 하는것을 허락하는경우입니다. 다만, Disallow : /폴더명/ 의 경우, 하나씩 추가하면 이 폴더는 검색하지 말라는 경우입니다. 필요에 따라 추가하면 됩니다. 따라서, 아래중에서 /cgi-bin/ /private/ 그리고 /data/는 필요에 따라서 수정하여 사용하세요. 꼭 폳더의 마지막에는 / 를 넣어주어야 합니다. permission은 755로 해주셔야 합니다. */ User-agent: * Disallow: Disallow: /cgi-bin/ /* 참고사이트 http://www.robotstxt.org/robotstxt.html http://www.mcanerin.com/EN/search-engine/robots-txt.asp http://www.seomoz.org/blog/12-ways-to-keep-your-content-hidden-from-the-search-engines */