구글과 마이크로소프트가 AI 학습 허용 여부를 robots.txt에서 한 번에 밝히는 공통 방식을 지원하겠다고 밝혔다. 다만 구글의 지원 시기는 2027년 초로 예정돼 있고, 빙의 공통 토큰 지원 시점은 원자료에 나와 있지 않다. 같은 날 빙은 AI 학습과 AI 답변 활용을 따로 정하는 설정도 공개했다. robots.txt나 Bing Webmaster Tools(빙 웹마스터 도구)를 관리하는 담당자는 일정부터 확인해야 한다. robots.txt는 검색 로봇에 접근 가능 범위를 알려 주는 텍스트 파일이다.

구글은 2026년 10월 30일 구글 서치 센트럴 블로그에서 계획을 밝혔다. 검색 업계 매체 서치 엔진 라운드테이블과 광고 전문 매체 PPC Land도 이를 전했다. 구글과 빙이 지원하겠다고 밝힌 계획이며, 제안은 인터넷 표준을 논의하는 국제 기구 IETF에서 초안 단계로 논의 중이다. 이 논의에는 구글과 빙 외의 AI 업체도 관련돼 있다.

robots.txt 한 줄로 여러 AI 업체에 거부 의사 전달

지금까지 AI 학습을 막으려면 업체마다 크롤러 이름을 따로 적어야 했다. 구글은 2023년부터 Google-Extended라는 설정을 제공해 왔다. 앞으로는 업체 공통의 정책 토큰(공통 신호를 뜻하는 이름표)을 robots.txt에 적어 넓은 범위의 선호를 한 번에 정할 수 있다. 서치 엔진 라운드테이블과 PPC Land가 전한 토큰 이름은 user-agent 값 `__usage_ai-training`이다. 이 토큰을 막으면 신호를 지원하는 AI 업체에 학습에 쓰지 말라는 뜻이 전달되는 구조다. 다른 업체가 같은 방식으로 처리하는지는 각 업체의 지원 여부에 달려 있다.

구글의 지원 시기는 2027년 초다. 구글은 공용 크롤러 안내 문서에 공통 학습 선호 신호를 2027년 초에 지원할 계획이라고 적었다. 지금 robots.txt를 고쳐도 구글이 그 신호를 읽는 것은 아니다.

기존 Google-Extended 설정은 그대로 작동

이미 Google-Extended를 설정한 사이트가 궁금해할 대목이다. 구글 서치 어드보케이트 존 뮬러의 블로그 글에 따르면 해석 방식은 다음과 같다. 사이트가 새 토큰으로 학습을 거부하고 Google-Extended를 따로 지정하지 않았다면, 구글은 Google-Extended를 막은 것으로 본다. 업체별 기존 설정은 새 공통 신호와 함께 계속 작동한다. 공통 신호로 큰 방향을 정하고, 구글에 한해서는 Google-Extended로 따로 정하는 방식이 가능하다.

구글은 Google-Extended를 명시적으로 허용한 사이트가 제미나이 앱 답변에 나오고 클릭을 받을 수 있다고도 설명했다. 이 답변 연결을 그라운딩이라고 부른다. AI가 답할 때 웹 페이지를 불러와 인용하거나 요약하는 과정이다. 구글 검색의 생성형 AI 기능을 끄는 서치 콘솔 옵트아웃 방식도 그대로 있다.

빙은 학습과 답변 활용을 따로 정하게 했다

마이크로소프트 빙의 수석 제품 관리자 크리슈나 마드하반은 새 AI 콘텐츠 설정을 발표했다. 설정은 세 가지다. AI 학습 설정은 콘텐츠를 AI 모델 학습에 쓸지 정한다. AI 그라운딩 설정은 콘텐츠를 AI 답변 생성에 쓸지 정한다. 제한적 그라운딩 설정은 마이크로소프트 자체 AI 제품에는 콘텐츠를 쓰게 하되 서드파티 그라운딩 서비스에는 쓰지 못하게 한다. 서드파티 서비스는 다른 회사가 사서 자기 챗봇에 웹 접근 능력을 붙이는 서비스다.

학습은 막고 답변에는 나오는 선택이 가능하다. 서치 엔진 라운드테이블은 학습은 막으면서 코파일럿의 기사 인용은 허용하는 퍼블리셔를 예로 들었다. 반대로 AI 답변에서 콘텐츠를 빼면 AI 경험 안에서 노출이 줄 수 있다. 마이크로소프트는 기존 빙 검색 순위는 영향을 받지 않는다고 밝혔다. 빙은 페이지 단위 학습 선호도 새로 지원한다.

빙 일정, 2026년 12월 15일부터 2027년 9월 30일까지

일정은 구체적이다. 2026년 12월 15일부터 예전 방식인 NoArchive나 NoCache 지시어를 쓰는 대상 사이트에 임시 그라운딩 제어가 Bing Webmaster Tools에 열린다. 2027년 2월 1일부터는 마이크로소프트가 크롤링하며 새 선호를 따르기 시작한다. 옛 지시어를 쓰던 사이트가 기존 제한을 유지하려면 2027년 3월 1일까지 새 선호를 설정해야 한다. 임시 그라운딩 선호는 2027년 9월 30일에 끝난다. 임시 설정이 만료된 뒤의 동작은 원자료에 없으므로 빙 공식 문서를 확인해야 한다.

같은 AI 학습 설정이어도 두 회사의 범위는 다르다

PPC Land는 두 발표가 공통 어휘까지 공유하지는 않는다고 짚었다. 구글의 토큰은 학습만 다루고, 빙의 설정은 학습과 답변을 나눈다. AI 모드 인용에는 나오고 제미나이 학습에서는 빠지고 싶은 사이트는 문서를 두 벌 읽어야 한다는 것이다.

초안이 확정된 표준이 아니라는 점도 주의해야 한다. IETF 작업반 AIPREF에 참여해 온 퍼블리셔 네이트 헤이크는 X에서 IETF 단계의 작업이 끝나지 않았고 상당한 쟁점이 남아 있다고 말했다. PPC Land는 초안이 확정되기 전에 문구와 범위, 문법이 바뀔 수 있다고 썼다. 업체들이 약속한 것은 신호를 지원하겠다는 것이지 학습의 고정된 정의가 아니라는 설명이다.

국내 운영자가 먼저 확인할 사항

원자료에는 한국 사이트에 대한 별도 설명이 없다. 다만 설정 대상은 나라와 상관없이 빙을 쓰는 사이트의 robots.txt와 Bing Webmaster Tools이다. 먼저 자사 사이트가 NoArchive나 NoCache를 쓰는지, Google-Extended를 설정했는지 점검하면 된다. 옛 지시어로 제한을 걸어 둔 사이트는 2027년 3월 1일이 지나면 제한이 유지되지 않을 수 있다. NoArchive나 NoCache를 쓰는 대상 사이트라면 12월 15일 이후 Bing Webmaster Tools에 열리는 설정을 먼저 살펴보는 것이 안전하다. 구글의 공통 토큰 지원은 2027년 초로 예정돼 있다. 서둘러 바꾸기보다 AI 학습을 막을지, AI 답변 노출을 어디까지 허용할지 정책부터 정하고 두 회사의 공식 문서를 함께 읽는 순서가 맞다.