문법 오류가 없고 외부에서 접근도 되는 사이트맵인데 Search Console에서 '가져올 수 없음' 상태가 계속 뜬다면, 원인을 XML 파일에서만 찾지 않아도 된다는 구글 측 설명이 나왔다. 구글 검색 관계 팀의 존 뮬러는 구글 시스템이 바쁘거나 해당 사이트의 콘텐츠를 더 가져올 필요를 크게 느끼지 않을 때도 이런 상태가 나타난다고 말했다. 뮬러는 후자를 구글이 그 사이트의 품질을 어떻게 인식하는지와 연결해 설명했다. 사이트맵 상태를 점검하는 국내 마케터와 사이트 담당자라면 점검 순서를 다시 생각해 볼 만하다는 것이 본지의 판단이다.

PPC Land에 따르면 이 발언은 2026년 10월 1일 구글 서치 센트럴 유튜브 채널에 올라온 팟캐스트 'Search Off the Record' 114회에서 나왔다. 구글이 영상과 함께 공개한 녹취록을 인용한 보도이며, 공식 정책 발표가 아니라 구글 직원의 대화 속 설명이라는 점은 구분해서 읽어야 한다.

질문은 스플리트가 던졌다

PPC Land에 따르면 진행자인 구글 검색 관계 팀의 마틴 스플리트는 Search Console 보고서를 보고 걱정하는 사이트 운영자들의 이메일을 받는다며, 파일이 유효하고 공개적으로 접근 가능하며 robots.txt에도 선언돼 있는데 왜 '가져올 수 없음'이 뜨느냐고 물었다. 뮬러는 이 질문에 XML이 아닌 다른 답을 내놓았다. 포럼에서 자주 보이는 현상이고 크게 두 가지 이유가 있다는 것이다.

첫째 원인은 호스트 부하, 둘째는 크롤 수요

첫 번째 원인은 호스트 부하다. 구글 시스템이 한 서버에 요청할 수 있는 양에는 상한이 있는데, 뮬러는 다른 일에 바빠 사이트맵 파일을 크롤할 시간이 없는 경우가 있다고 말했다. 이때도 구글은 같은 '가져올 수 없음'으로 표시한다는 설명이다. 호스트 부하 쪽은 공식 문서에서 일부 맥락을 찾을 수 있다. PPC Land는 구글이 2026년 3월 3일 공개한 크롤링 개요 문서에 서버가 느려지거나 오류를 반환하면 크롤 속도가 자동으로 떨어진다는 내용이 있다고 전했다. 다만 이 문서가 사이트맵의 '가져올 수 없음' 표시를 직접 설명한 것은 아니며, 크롤 수요와 사이트 품질 인식에 관한 설명은 이번 팟캐스트 발언에 의존한다.

두 번째 원인은 크롤 수요다. 구글 시스템이 한 사이트에서 더 가져올 필요가 크지 않다고 판단하면 사이트맵도 건드리지 않는다. 뮬러는 크롤 수요가 아주 자주 사이트의 인식된 품질에 기반하며, 이것이 구글이 사이트에서 얼마나 크롤하고 색인할지에 큰 영향을 준다고 말했다. 그러면서 "순전히 기술적인 문제는 아니다"라고 덧붙였다.

상태 표시가 일종의 판정일 수 있다

뮬러가 설명한 흐름은 이렇다. 사이트 전반의 품질이 "썩 좋지 않다"고 가정하는 시스템은 그 사이트를 크롤하고 색인하는 데 시간을 덜 쓰고, 그 결과 당분간 사이트맵에도 신경 쓰지 않는다. 품질이 시간이 지나며 크게 나아지면 구글이 파일로 돌아오겠지만, "어쩌면 우리가 그냥 원하지 않을 수도 있다"고 했다. 구글 서치 센트럴이 올린 에피소드 설명에도 유효하고 접근 가능한 파일이 가져올 수 없음으로 보고될 때 원인은 호스트 부하 조절이나 인식된 사이트 품질과 연결된 낮은 크롤 수요인 경우가 많다고 적혀 있다.

이 설명이 완전히 새로운 것은 아니다. PPC Land는 뮬러가 2025년 7월 블루스카이에서 한 사이트 운영자에게, 기술적으로 문제가 없는데 색인이 거의 안 되는 사이트는 구글 시스템이 사이트 전체에 의문을 갖고 있는 경우가 많다고 말한 적이 있다고 상기시켰다.

사이트맵 안에서 구글이 읽는 것

에피소드는 사이트맵 안의 필드 이야기도 길게 다뤘다. 뮬러는 우선순위(priority) 필드가 모든 URL을 최우선으로 적는 바람에 쓸모가 없어졌다고 설명했고, 변경 빈도 필드도 이론상 맞지만 유용하지 않다고 했다. 지금 구글이 주로 보는 것은 URL과 변경 날짜라는 말이다. 다만 변경 날짜(lastmod)에 대해서는 "쓰고 싶지만 많은 사이트가 틀리게 적는다"며 애증 관계라고 표현했다. 날짜가 합리적으로 보이면 반영하고, 그렇지 않으면 URL 자체를 보고 새 URL을 처리한다. 모든 URL에 오늘 날짜를 찍어도 스팸 시스템이 나쁜 사이트로 판정하지는 않고, 날짜가 무시될 뿐이라고 했다.

PPC Land는 유튜브 챕터 표기에 한 가지 어긋남이 있다고 짚었다. 04분 46초 챕터가 '지원 중단 필드: 우선순위, 변경 빈도, lastmod'로 돼 있어 lastmod를 두 필드와 같은 묶음에 넣었지만, 대화와 에피소드 설명은 lastmod를 사안별로 평가하는 필드로 설명한다는 것이다.

규모별로는 어떤가

뮬러는 작은 사이트는 구글이 그냥 크롤할 수 있어 사이트맵이 꼭 필요하지는 않다고 하면서도, 대부분의 콘텐츠 관리 시스템이 기본으로 파일을 만들어 주니 켜 둬서 손해 볼 일은 없다고 말했다. 변경이 잦고 콘텐츠가 적지 않은 사이트에는 "매우 유용하다"고 했고, 특히 가격이 바뀌는 이커머스 사이트는 일반 크롤링으로 변경을 알아챌 때쯤이면 늦을 수 있어 사이트맵이 변경된 상품 페이지로 바로 가는 길이 된다고 설명했다.

URL에 타임스탬프를 붙여 최신본을 유도하자는 스플리트의 우회책에는 반대했다. 사이트맵에는 사이트가 정규(canonical) URL로 취급받고 싶은 주소를 색인되길 원하는 형태 그대로 넣어야 한다는 것이다. 사이트맵은 정규 URL 선택에도 쓰이지만 PPC Land는 이것이 여러 입력 중 하나일 뿐 지시가 아니라고 정리했다. 구글이 2026년 7월 10일 갱신한 정규화 문제 해결 가이드 기준으로 정규화 수정이 반영되는 데 2주 안팎이 걸릴 수 있다는 것이다.

RSS 피드에 대한 언급도 있었다. 뮬러는 피드를 URL과 날짜의 목록으로 보면 사이트맵처럼 쓸 수 있고, Search Console에 사이트맵으로 제출할 수도 있다고 했다. 사이트맵이 크기 제한 때문에 수천 개 파일로 쪼개진 대형 사이트라면 피드가 바뀐 페이지를 한눈에 보여 준다는 장점이 있다고 했다.

LLMs.txt는 사이트맵을 대체하지 못한다

뮬러는 LLMs.txt가 구조화된 XML 사이트맵의 필요를 없애느냐는 질문에 "아니다"라고 답했다. 마크다운 형식의 이 파일이 AI 시스템의 사이트 이해를 돕기 위한 것이며, 기능상 XML보다 HTML 사이트맵에 가깝다고 설명했다. 구글 시스템은 엄격한 형식이 없어 이를 사이트맵으로 처리할 수 없고, "지금은 이런 일이 하나도 일어나지 않는다"는 말도 했다. 만들어 보는 것이나 CMS가 자동 생성하는 것은 괜찮지만 의존하거나 우선순위로 삼지는 말라는 입장이다.

PPC Land는 구글 문서가 이미 두 차례, 2026년 5월 15일 AI 검색 가이드와 6월 15일 안내에서 이 파일이 검색에 필요 없고 노출이나 순위에 도움도 해도 되지 않는다고 밝혔다고 전했다. 한편 구글의 또 다른 제품인 크롬은 2026년 5월 5일 라이트하우스에 llms.txt 점검 항목을 추가했고, 뮬러 본인도 7월 말 113회에서 잘 구조화된 사이트가 갖출 수 있는 것으로 LLMs 텍스트 파일을 사이트맵과 함께 열거했다. 구글 안에서도 메시지가 일관되지는 않다는 뜻이다.

국내 사이트 담당자는 무엇을 확인할까

이 보도가 다루는 것은 영어권에서 공개된 팟캐스트 발언이다. 따라서 이 설명을 곧바로 우리 사이트의 진단으로 단정할 수는 없다.

그래도 점검 방향을 잡는 데는 참고가 된다. 파일이 유효하고 접근도 되는데 '가져올 수 없음'이 계속 뜬다면, XML 수정에만 매달리기보다 서버 응답 속도와 오류 여부(호스트 부하 쪽)를 보고, 사이트 전반의 콘텐츠 품질과 색인 상황(크롤 수요 쪽)도 함께 살피는 것을 본지는 제안한다. 이 순서는 뮬러가 권한 것이 아니라 편집 판단이다. 뮬러 설명대로라면 후자는 사이트맵 상태 하나로 고칠 수 있는 문제가 아니다. 구글 공식 문서의 크롤링 개요와 서치 센트럴 에피소드 설명을 함께 확인하고, 사이트맵 외에 LLMs.txt 같은 파일을 대안으로 삼지 않는 것도 기억해 둘 만하다.