네이버, 구글 등의 검색엔진에 대해 쇼핑몰의 페이지 정보를 수집할 수 있도록 허용하거나, 제한하는 robots.txt 파일을 관리할 수 있습니다.

1. TXT 파일은 '메모장'에 아래 예시를 참고하여 내용 작성 후 파일명을 robots.txt 로 저장합니다.

-모든 검색엔진에 대하여 사이트 전체 접근 허용
User-agent: *
Allow: /

-모든 검색엔진에 대하여 사이트 전체 접근 차단
User-agent: *
Disallow: /

-특정 페이지url 접근 차단 시
User-agent: *
Disallow: /goods/catalog?code=0021
 

-특정 검색엔진(구글)에 대하여 사이트 전체 접근 차단
User-agent: Googlebot
Disallow: /
 

※ 주요 검색엔진 검색로봇
구글 : Googlebot
구글이미지 : Googlebot-image
구글모바일 : Googelbot-mobile
네이버 : naverbot, yeti
다음 : daumos

2. '설정 > 운영 설정 > 검색엔진최적화(seo) > 고급설정'에서 검색로봇 접근 권한 설정 [파일선택]을 클릭하여 작성한 txt파일을 업로드합니다.

추가로, 반영되기까지 '최소 7일' 정도 소요되며 노출여부에 대한 부분은 각 포털사이트로 문의해 주시기 바랍니다.

※ 이 외에 보다 자세한 내용은 아래 안내드린 각 포털사이트의 robots.txt 규칙을 참고해 주시기 바랍니다.

* 네이버 robots.txt 설정하기

* 구글 robots.txt 설정하기