Google Search Console 색인 오류: X-Robots-Tag noindex 문제 해결법
사이트는 멀쩡한데 구글이 색인을 안 해준다구요? 원인은 의외로 간단한 HTTP 헤더에 있을 수 있어요.
안녕하세요! 요즘 구글 서치콘솔 보다가 ‘noindex’ 경고 뜨신 분들, 저만 그런 거 아니죠? 저는 멀쩡히 게시한 블로그 글이 갑자기 구글에 안 뜨길래 확인해보니 이 ‘X-Robots-Tag’라는 녀석이 문제였더라고요. 특히 블로그스팟 쓰시는 분들, 클라우드플레어나 워드프레스 이용 중이라면 꼭 확인해보셔야 할 중요한 이슈입니다. 오늘은 이 문제의 원인과 해결법을 제대로, HTML 헤더 수준까지 쫙 정리해드릴게요.
목차
‘X-Robots-Tag: noindex’란?
보통 구글에서 색인을 막는 건
<meta name="robots" content="noindex">처럼 HTML 내 메타태그로 처리하는데요. ‘X-Robots-Tag: noindex’는 HTTP 응답 헤더 단계에서 색인을 차단하는 방법입니다. 즉, 코드를 아무리 고쳐도 서버에서 이미 ‘색인하지 마!’라고 명령을 내려버리는 상황인 거죠.
오류가 발생하는 일반적인 원인
| 원인 | 설명 |
|---|---|
| 플랫폼 자동 설정 | 블로그스팟, 워드프레스 등이 임시 상태 콘텐츠에 noindex 헤더 삽입 |
| CDN 보안정책 | Cloudflare 등의 캐시/보안 설정에서 자동 삽입 |
| 파일 종류 제한 | PDF, 이미지 등 비HTML 콘텐츠에 자동 적용 |
| 외부 테마 또는 위젯 | 서버 헤더에 태그를 강제로 삽입하는 경우 있음 |
블로그스팟 사용자용 해결 가이드
블로그스팟은 시스템 구조상 헤더 설정을 직접 바꾸긴 어렵지만, 아래 항목을 체크하면 해결되는 경우가 많습니다:
- 게시글 상태가 ‘공개’인지 반드시 확인
-
<meta name="robots" content="noindex,nofollow">태그 삭제 -
robots.txt가
Allow: /로 설정되어 있는지 확인 - 헤더 확인 도구로 현재 응답 확인
HTTP 헤더 확인 및 수정 방법
단순히 브라우저에서 URL을 열어보는 것만으론 부족합니다. HTTP 응답 헤더를 직접 확인해야 'X-Robots-Tag'가 설정돼 있는지 알 수 있어요. 이런 경우엔 이 헤더 확인 도구를 활용하면 좋아요.
HTTP/1.1 200 OK
X-Robots-Tag: noindex
위처럼 X-Robots-Tag: noindex가 보인다면 서버에서 색인을 막고 있다는 뜻이니, CDN 설정이나 서버 응답 정책을 확인해 해당 지시어를 제거해야 합니다.
오류 수정 후 꼭 해야 할 작업
| 단계 | 설명 |
|---|---|
| 1. 원인 제거 | X-Robots-Tag 설정을 제거하거나 공개 상태로 전환 |
| 2. 서치콘솔 검사 | URL 검사 도구로 '실제 URL 테스트' 실행 |
| 3. 색인 요청 | 색인 생성 요청 버튼 클릭해 수동 등록 |
주의할 점 및 흔한 실수
-
테마 편집 시
noindex메타태그를 실수로 삽입하지 않도록 주의 -
robots.txt에서
Disallow: /가 들어가면 전체 색인 차단됨 - 클라우드플레어나 CDN의 캐시 정책이 헤더를 자동 조작할 수 있음
HTML이 아닌 서버나 CDN의 응답 헤더에서 설정됩니다. 플랫폼 자동 설정이나 보안 플러그인에서도 삽입될 수 있어요.
아니요. 이 오류는 robots.txt가 아니라 HTTP 응답 헤더에 있는 설정이므로, 별개로 확인해야 해요.
아니요. 워드프레스, Wix, 티스토리, 자체 서버에서도 충분히 발생할 수 있습니다.
robots 메타태그나 외부 위젯에서 자동 삽입된 헤더일 수 있으니 확인 도구로 검토하세요.
보통은 수일 내 반영되지만, 수동 색인 요청으로 빠르게 처리할 수 있어요.
Page Rule, Transform Rule 또는 Security 설정을 검토하고, 헤더 삽입 관련된 옵션을 비활성화하면 됩니다.
사실 이 오류 하나 때문에 멀쩡한 콘텐츠가 검색에서 사라지는 경우가 정말 많아요. 저도 처음엔 단순한 설정 문제겠지 싶었는데, 알고 보니 헤더에서 막고 있던 거더라고요. 만약 지금 여러분 블로그도 비슷한 상황이라면, 꼭 오늘 설명드린 내용 하나하나 점검해보세요. 구글 색인이 안 된다고 당황하지 마시고, 차근차근 원인을 찾다 보면 분명 해결하실 수 있을 거예요. 😊
색인 오류, Google Search Console, X-Robots-Tag, noindex 헤더, 블로그스팟 색인 문제, HTTP 응답 헤더, 워드프레스 SEO, 클라우드플레어 noindex, 검색 색인 해결법, robots.txt 설정
댓글 쓰기