테크니컬 SEO & 웹 인프라→

Robots Exclusion Standard

robots.txt

핵심 정의

검색 크롤러의 사이트 디렉터리 접근 권한을 규정하는 루트 디렉터리의 텍스트 파일

실무 적용 및 상세 가이드

관리자 페이지 등 민감 영역 차단 및 크롤 버짓 효율화 달성 검색결과 제외 목적으로 쓰면 안 되며 색인 차단은 noindex 태그를 사용해야 함