Apache에서 실용적인 X-Robots-Tag 구현
Apache 기반 웹 서버에서 기본적으로 사용할 수 있는 .htaccess 및 httpd.conf 파일을 사용하여 사이트의 HTTP 응답에 X-Robots-Tag를 추가할 수 있습니다. X-Robots-Tag를 HTTP 응답과 함께 사용하는 경우 좋은 점은 사이트에 전체적으로 적용되는 크롤링 명령어를 지정할 수 있다는 것입니다.예를 들어 전체 사이트에서 모든 .PDF 파일의 HTTP 응답에
noindex, nofollow X-Robots-Tag를 추가하려면 다음과 같이 사이트의 루트 .htaccess 파일이나 httpd.conf 파일에 다음 스니펫을 추가합니다.
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
로봇 메타 태그를 사용할 수 없는 HTML이 아닌 파일 (예: 이미지 파일) 에
X-Robots-Tag를 사용할 수 있습니다. 다음은 전체 사이트에서 이미지 파일(.png, .jpeg, .jpg, .gif)에 대해 noindex X-Robots-Tag 명령어를 추가하는 예입니다.
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>