robots.txt란? noindex와 차이 · 검색 노출 막는 올바른 방법 (2026)

2026년 10월 18일 기준 · 작성 K-RIDA · 공식 문서 출처는 글 끝에 있습니다

핵심 요점 한눈에

robots.txt는 무엇이고 왜 쓰나요?

Google 검색 센터는 robots.txt를 「크롤러가 사이트에서 액세스할 수 있는 URL을 검색엔진 크롤러에 알려 주는 파일」로 설명합니다. 주된 용도는 요청이 몰려 서버에 과부하가 걸리지 않도록 크롤링 트래픽을 관리하는 것입니다.

같은 문서는 robots.txt가 웹페이지를 Google에 표시되지 않게 하는 메커니즘이 아니라고 분명히 적고 있습니다. 「검색에 안 나오게 하려고 robots.txt에 막았다」는 흔한 설정이 의도대로 작동하지 않는 이유입니다.

Wix · Blogger 같은 호스팅형 CMS를 쓴다면 robots.txt를 직접 고칠 필요가 없거나 고칠 수 없을 수 있습니다. 이때는 CMS가 제공하는 검색 노출 설정에서 크롤링 여부를 정합니다.

robots.txt로 막으면 검색에서 사라지나요?

아닙니다. Google 문서는 robots.txt의 한계를 네 가지로 정리합니다.

• 준수는 크롤러 자율: Googlebot 같은 정상 크롤러는 따르지만 따르지 않는 크롤러도 있습니다. 민감한 정보는 비밀번호 보호 등 다른 방법으로 지켜야 합니다.
• 해석 차이: 크롤러마다 일부 지시어를 다르게 해석하거나 이해하지 못할 수 있습니다.
• 차단된 URL도 색인 가능: 다른 사이트에서 링크되어 있으면 URL과 앵커 텍스트 같은 공개 정보가 설명 없이 검색결과에 나올 수 있습니다.
• 규칙 충돌: 크롤링 규칙과 색인 규칙을 함께 쓸 때는 어느 쪽이 적용되는지 따져야 합니다.

noindex는 무엇이 다른가요?

noindex는 <meta> 태그나 HTTP 응답 헤더로 설정하는 규칙으로, 지원하는 검색엔진의 색인 생성을 막습니다. Googlebot이 페이지를 크롤링하다 이 규칙을 발견하면, 다른 사이트에서 링크하고 있더라도 그 페이지를 Google 검색결과에서 완전히 제외합니다.

서버 루트 권한이 없어도 페이지 단위로 설정할 수 있다는 점이 장점입니다. 단, robots.txt 파일 안에 noindex를 적는 방식은 Google이 지원하지 않습니다.

robots.txt와 noindex를 같이 쓰면 왜 문제가 되나요?

noindex가 작동하려면 크롤러가 그 페이지에 접근할 수 있어야 합니다. robots.txt로 페이지를 막아 두면 Googlebot은 페이지를 열지 못해 noindex 규칙 자체를 읽지 못합니다.

그 결과 다른 페이지에서 링크된 경우 그 페이지가 검색결과에 계속 나타날 수 있습니다. 검색에서 빼고 싶은 페이지라면 robots.txt 차단을 풀고 noindex만 남기는 것이 Google 문서가 안내하는 방향입니다.

robots.txt 파일은 어떻게 작성하나요?

Google 문서가 안내하는 작성 규칙은 다음과 같습니다. 지정하지 않은 경로는 기본적으로 크롤링이 허용됩니다.

• 메모장 같은 일반 텍스트 편집기로 만듭니다. 워드프로세서는 둥근 따옴표 등이 섞여 문제가 생길 수 있습니다.
• UTF-8로 저장하고, 파일 이름은 robots.txt, 사이트당 하나만 둡니다.
• 호스트의 루트에 둡니다 (example.com/robots.txt). 하위 폴더에 두면 적용되지 않습니다.
• 규칙은 프로토콜 · 호스트 · 포트 단위로 적용됩니다. 하위 도메인(m. · blog.)이나 http 주소에는 따로 파일이 필요합니다.
• 파일은 User-agent 줄로 시작하는 그룹으로 구성되고, 한 줄에 지시어 하나만 씁니다. 크롤러는 자신과 가장 구체적으로 일치하는 그룹 하나만 따릅니다.
• disallow · allow 경로는 /로 시작하며 대소문자를 구분합니다. 디렉터리는 /로 끝냅니다.
• User-agent: *는 모든 크롤러를 뜻하지만 AdsBot은 포함되지 않아 따로 적어야 합니다.
• sitemap 줄에는 사이트맵 전체 URL을 적습니다. 여러 개를 넣을 수 있고, Google은 http/https · www 대체 주소를 추정하지 않습니다.
• # 뒤의 내용은 주석으로 무시됩니다.

올린 뒤에는 어떤 순서로 점검하나요?

1. 시크릿 창에서 https://내도메인/robots.txt를 열어 파일이 공개적으로 보이는지 확인합니다.
2. Search Console의 robots.txt 보고서로 Google이 파일을 가져와 해석했는지 확인합니다. 로컬에서는 Google 오픈소스 robots.txt 라이브러리로 테스트할 수 있습니다.
3. 별도 제출은 필요 없습니다. Google 크롤러가 자동으로 찾아 사용합니다. 빨리 반영해야 하면 Google의 「업데이트된 robots.txt 제출」 문서를 참고합니다.
4. 검색에서 빼려던 페이지가 robots.txt로 막혀 있지 않은지 확인하고, 그 페이지에는 noindex를 넣습니다.
5. URL 검사 도구로 Googlebot이 받은 HTML에 noindex가 실제로 들어 있는지 봅니다. 반영까지 페이지 중요도에 따라 몇 달이 걸릴 수 있어 재크롤링을 요청할 수 있습니다.
6. Search Console 페이지 색인 생성 보고서에서 noindex가 감지된 페이지 목록을 계속 확인합니다.

놓치기 쉬운 포인트

• robots.txt는 「크롤링」, noindex는 「색인」을 다룹니다. 목적이 검색결과 제외라면 noindex입니다.
• 검색에서 빼려는 페이지를 robots.txt로 막으면 noindex가 무력화됩니다.
• robots.txt는 공개 파일이라 누구나 볼 수 있습니다. 숨기고 싶은 관리자 주소를 적어 두는 것은 보안이 되지 않습니다. 민감한 정보는 비밀번호로 보호하세요.
• CSS · JS를 막으면 Google이 페이지를 제대로 이해하지 못할 수 있습니다.
• CMS를 쓴다면 robots.txt를 직접 고치기 전에 CMS의 검색 노출 설정부터 확인하세요.

함께 보면 좋은 글

• 구글 서치 콘솔 등록 방법: 소유권 확인부터 사이트맵 제출까지
• 구조화 데이터란? FAQ 리치 결과 종료 후 무엇을 마크업할까