Blogger RSS 피드 noindex 문제 해결 방법
Search Console에서 "색인 생성 안됨" 메시지를 보셨나요? 그 원인, 바로 RSS 피드의 숨겨진 'noindex' 설정일 수 있습니다.
안녕하세요, 블로그 운영하며 SEO에 늘 신경 쓰고 계신 여러분! 저도 최근에 구글 Search Console을 확인하다가 황당한 경험을 했습니다. 열심히 포스팅했는데도 색인이 안 된다는 거예요. 알고 보니 문제가 된 건 바로 Blogger에서 자동으로 설정된 RSS 피드의 X-Robots-Tag: noindex 헤더였어요. 뭔가 고급 기술 같지만, 해결 방법은 생각보다 간단하답니다. 오늘은 그 해결법을 하나하나 차근차근 알려드릴게요.
목차
X-Robots-Tag: noindex란 무엇인가?
웹 페이지에는 검색엔진에 어떤 동작을 하도록 지시하는 메타 태그가 존재하는데, 그중에서도 X-Robots-Tag: noindex는 HTTP 응답 헤더에 포함되는 형태로 등장합니다. 이 태그는 검색엔진에게 해당 페이지를 색인하지 말라고 명령하는 역할을 합니다. 다시 말해, 구글은 해당 페이지의 내용을 검색결과에 포함시키지 않게 되는 거죠. RSS 피드나 비공개 페이지, 혹은 중복 콘텐츠가 많은 경우에 주로 활용됩니다. 하지만 이게 뜻하지 않게 SEO에 악영향을 끼칠 수 있다는 게 문제예요.
Blogger RSS에 noindex가 붙는 이유
많은 블로거들이 RSS 또는 Atom 피드를 사이트맵으로 제출하는데, Blogger는 이 피드 파일들에 X-Robots-Tag: noindex를 자동으로 붙여버립니다. 이유는 명확하죠. 콘텐츠 중복이나 불필요한 페이지가 검색결과에 뜨는 걸 막기 위해서예요. 문제는 이게 사이트맵 주소로 사용될 때 색인에 완전히 방해가 된다는 점이죠.
| 주소 형태 | 색인 여부 |
|---|---|
| /feeds/posts/default?orderby=updated | ❌ X-Robots-Tag: noindex 포함 |
| /sitemap.xml | ✅ 정상 색인 가능 |
피드를 사이트맵으로 쓰면 생기는 문제
처음에는 간편하다는 이유로 많은 사람들이 Blogger의 피드 주소를 사이트맵 대용으로 제출합니다. 하지만 이 방식엔 큰 함정이 숨어 있어요.
- 구글봇이 피드 주소를 색인하려고 시도하지만, noindex 헤더로 인해 차단됨
- Search Console에서 오류 보고 발생 ("색인 생성 안됨")
- 게시글이 정상적으로 색인되지 않아 검색 노출 저하
- 색인 수가 줄어들고 유입 트래픽이 감소
정상 색인되는 sitemap.xml 제출하기
해결책은 간단합니다. Blogger는 자체적으로 색인 가능한 sitemap.xml 파일을 제공하고 있어요. 아래 주소만 Google Search Console에 제출하면 됩니다.
https://your-blog.blogspot.com/sitemap.xml
기존에 제출했던 /feeds/posts/default 주소는 반드시 삭제해 주세요. 그렇지 않으면 오류 메시지가 계속 따라다니니까요. sitemap.xml은 구글이 공식적으로 권장하는 포맷이라 안정성도 높고, 색인 누락 이슈에서도 자유롭습니다.
Blogger 설정에서 noindex 해제 방법
사이트맵 문제만 해결했다고 끝이 아닙니다. Blogger 관리자 페이지의 "크롤러 및 색인 생성" 설정에서도 noindex 태그가 자동으로 활성화되어 있을 수 있어요. 이걸 꼭 체크하고 꺼주는 게 중요합니다. 아래 표를 참고해 설정을 확인해보세요.
| 설정 구역 | 권장 설정 |
|---|---|
| 홈페이지 태그 | all |
| 글 및 페이지 태그 | all |
| 자료실/검색 페이지 | noindex 해제 |
Search Console에서 재제출하는 법
설정을 마쳤다면 이제 구글에 sitemap.xml 주소를 다시 제출해야 해요. 과정은 아주 간단하니 하나씩 따라오세요.
- Google Search Console에 로그인
-
기존에 제출했던
/feeds/posts/default주소 삭제 - 새로운 sitemap 주소 입력: /sitemap.xml
- "제출" 클릭 후 색인 생성 요청
기술적 배경: 왜 구글은 noindex를 해석하는가
구글은 HTTP 응답 헤더에 포함된 X-Robots-Tag를 메타 태그와 동일하게 취급합니다. 즉, HTML 문서 안에 <meta name="robots" content="noindex">가 없어도, 헤더에 설정만 되어 있으면 색인을 하지 않죠. 이는 검색 결과에서 RSS 콘텐츠나 PDF 문서처럼 불필요한 페이지가 올라오는 걸 방지하기 위한 조치입니다. 그러나 이 설정이 사이트맵 제출 주소에 들어가게 되면? 검색 엔진 입장에서는 색인하지 말라는 명령을 받게 되고, 사이트맵 전체가 무효 처리되는 불상사가 발생하는 것이죠.
추가 팁: robots.txt까지 점검하자
robots.txt 파일도 확인해보는 게 좋아요. 기본적으로 Blogger는 자동 생성된 robots.txt 파일을 제공하지만, Disallow: /search 같은 경로 차단 설정이 있을 수 있습니다. 이런 설정이 실제 색인에 영향을 주진 않지만, Googlebot의 접근을 간접적으로 제한할 가능성도 있으니 필요 시 맞춤 설정을 고려해보세요.
기술적으로는 가능하지만, 구글은 해당 피드에 noindex가 걸려 있을 경우 색인을 거부합니다. 따라서 sitemap.xml 사용을 권장합니다.
Blogger에서 제공하는 sitemap.xml 주소는 구글이 의도한 색인 방식에 가장 부합합니다.
기존에 제출한 피드 주소를 삭제하지 않아서일 수 있습니다. "사이트맵 제거"를 통해 해당 주소를 완전히 삭제한 후 다시 제출하세요.
피드 기반 주소는 색인에서 제외되므로 반드시 sitemap.xml 주소만 남겨야 오류가 사라집니다.
가능성은 있지만 희박합니다. 주로 글이 비공개거나 비정상적인 robots.txt 설정 때문입니다.
글 공개 여부와 robots.txt의 Disallow 항목이 색인을 막고 있을 수 있어요.
기본적으로 최근 게시글 중심으로 포함됩니다. 전체 글이 1000개를 넘으면 분할된 sitemap이 생성됩니다.
예: sitemap.xml?page=1, page=2 형태로 나뉘며, 구글은 이를 자동으로 탐색합니다.
색인 생성 요청 후에도 바로 반영되진 않습니다. URL 검사 도구를 활용하거나 외부 트래픽을 유도하는 것이 효과적입니다.
SNS 공유나 백링크도 구글봇을 자극하는 요소 중 하나입니다.
Blogger에서는 기본적으로 피드 색인을 막아놨기 때문에, 별도의 서버 설정 없이 변경하기 어렵습니다.
직접 서버를 제어할 수 없는 이상, 피드는 사이트맵 용도로 사용하지 않는 것이 좋습니다.
솔직히 말해서, 처음엔 저도 이게 뭔 소리인가 했어요. RSS가 왜 문제라는 건지, noindex가 뭔지도 몰랐거든요. 근데 한참 검색하고 삽질한 끝에 결국 알게 됐죠. Blogger는 RSS 피드를 검색엔진에서 일부러 숨기고 있었고, 내가 열심히 제출한 그 주소는 아무짝에도 쓸모가 없었다는 사실을요.
지금 이 글을 읽고 계시다면, 같은 문제로 헤매고 계셨을지도 모르겠네요. 부디 이 포스팅이 실질적인 도움이 되었길 바랍니다.
혹시 아직 해결 안 된 부분이 있다면 댓글로 남겨주세요. 하나하나 직접 확인하고 도와드릴게요. 그리고 이 글이 유익했다면 이웃 추가나 공유도 부탁드릴게요 😊 블로그 SEO는 혼자서 고민하기엔 참 외롭잖아요.
Blogger, RSS 피드, noindex, Search Console 오류, 사이트맵 제출, sitemap.xml, 크롤러 설정, 색인 안됨, 구글봇, 블로그 SEO
댓글 쓰기