이 태그가 달린 글 1개
robots.txt는 크롤러가 접근할 URL을 정하는 파일이지 검색 노출을 막는 장치가 아닙니다. noindex와의 차이, 함께 쓸 때 생기는 문제, 파일 작성 규칙과 점검 순서를 Google 공식 문서로 정리했습니다.
