"이게 구글 때문이 아니라는 걸 어떻게 압니까?" SEO 성과를 경영진에게 보고해 본 담당자라면 한 번쯤 들어본 질문이다. 스튜디오호크 미국법인 공동창업자 소피 브래넌은 에이전시 관점에서 쓴 기고에서 사례 수치는 예시라고 밝혔다. 변경 효과를 입증하려면 어떤 조건과 순서로 테스트를 짜야 하는지 그의 설명을 따라 정리한다.

전후 비교가 입증이 못 되는 이유

한 묶음의 페이지로 들어오는 오가닉 트래픽은 여러 요인이 동시에 흔든다. 브래넌이 꼽은 요인은 계절과 수요 변화, 알고리즘과 코어 업데이트, 경쟁사의 사이트 개선이나 오류, 브랜드 캠페인과 홍보와 유료 광고가 끌어올리는 브랜드 검색, 그리고 GA4 태그 오류나 동의 배너 도입 같은 측정 문제다. 검색 결과 화면도 변수다. 브래넌은 AI 개요와 AI 모드가 순위가 그대로여도 클릭 빈도를 바꿀 수 있다고 설명했다. 구글은 이런 AI 기능 데이터를 서치 콘솔의 전체 성과 보고서에 함께 집계한다.

그래서 던져야 할 질문은 "트래픽이 올랐는가"가 아니라 "변경하지 않았을 때보다 더 올랐는가"다. 변경이 없었다면 나왔을 값을 추정한 것을 브래넌은 반사실이라 부른다. 신뢰할 만한 SEO 테스트는 결국 이 추정치를 만드는 방법이라는 것이 그의 설명이다.

재무팀 앞에서 버티는 결과의 네 가지 조건

브래넌은 재무팀 앞에서 버틴 결과에는 대체로 네 가지가 있다고 말한다. 첫째는 같은 기간에 변경을 받지 않은 비슷한 페이지와 견주는 공정한 비교다. 둘째는 단일 수치가 아니라 범위다. "클릭이 14% 늘었다"는 논쟁을 부르지만 "모델이 추정한 상승폭은 8%에서 19% 사이"는 반박하기 어렵다고 한다. 셋째는 비즈니스 성과다. 클릭과 순위는 선행 지표이고 경영진이 보는 것은 해당 페이지의 매출이나 리드라는 것이다. 넷째는 테스트 시작 전에 정해 둔 판정 기준이다. 대부분의 팀이 건너뛰는 항목인데, 데이터를 본 뒤에 지표와 승리 조건을 고르면 어떤 결과든 승리로 부를 수 있기 때문이다.

판정 기준을 미리 정하려면 이 변경이 무엇을 위한 것인지부터 정해야 한다. 제목 태그 개편은 검색 클릭을 움직여야 하는 변경이다. 구매자가 선택지를 비교하도록 돕는 레이아웃 변경은 우선 전환 테스트이고, 이때 검색 지표는 안전선 역할을 한다.

변경 전에 쓰는 한 장짜리 테스트 브리프

브래넌이 권하는 장치는 테스트가 시작되기 전에 공유하는 짧은 문서다. 항목은 가설, 주요 지표, 가드레일, 실행할 가치가 있는 최소 상승폭, 분석 시점, 판정 규칙이다. 가설에는 무엇을 왜 바꾸는지를 적는다. 주요 지표는 대부분의 온페이지 변경에서 테스트 대상 페이지의 비브랜드 오가닉 클릭이다. 구글은 서치 콘솔에서 쿼리로 필터를 걸면 익명 처리된 쿼리를 제외한다. 구글 서치센트럴이 2022년 10월 19일 설명한 이 구조 때문에 필터 합계는 차트 전체 합계보다 작아진다. 브래넌은 이 때문에 해당 페이지로 들어온 전체 클릭을 함께 추적하라고 안내한다.

가드레일은 전환율처럼 합의한 한도 아래로 내려가면 안 되는 지표다. 최소 상승폭은 과거 데이터로 검토해, 확보한 기간 안에 그 크기의 상승을 감지할 가능성이 충분한지 분석가나 플랫폼에 확인하는 용도다. 가능성이 낮다면 테스트를 아직 돌리지 말라는 것이 그의 조언이다. 분석 시점은 요일이 고르게 들어가도록 주 단위로 잡는다. 판정 규칙에는 어떤 결과가 나오면 전면 적용, 롤백, 결론 불가 기록 중 무엇을 택할지 적는다. 브래넌은 이 문서가 한 장이면 충분하고, 마지막 논의를 "당신을 믿어야 하나"에서 "합의한 기준을 통과했나"로 바꿔 준다고 말한다.

사람이 아니라 페이지를 나눈다

SEO 스플릿 테스트는 이용자를 나누는 CRO 테스트와 다르다. 구글은 URL 하나당 한 번에 한 버전만 순위에 반영한다. 그래서 이용자를 나누면 순위와 검색 클릭에 대한 영향을 알 수 없다. 구글 봇에게 이용자와 다른 페이지를 보여 주면 클로킹이다. 브래넌은 구글의 웹사이트 테스트 가이드가 이를 "테스트 중이든 아니든" 스팸 정책 위반으로 본다고 인용했다. 대신 상품, 카테고리, 지점 페이지처럼 같은 템플릿으로 만든 페이지를 두 그룹으로 나눠 한쪽에만 변경을 적용하고 다른 쪽은 그대로 둔다.

설계에서 망가지기 쉬운 지점은 네 군데다. 먼저 두 그룹은 시작 전에 비슷하게 움직여야 한다. 같은 쿼리를 놓고 경쟁하는 페이지는 하나의 단위로 묶어야 한다. 묶지 않으면 승리한 변형 페이지가 짝이 되는 대조 페이지의 클릭을 빼앗아 올 수 있다. 그다음 트래픽 규모와 카테고리로 단위를 맞추고 무작위로 배정한다. 두 번째로 두 그룹은 같은 날짜에 돌려서 코어 업데이트나 연휴 급증이 양쪽에 동시에 닿게 한다. 다만 업데이트가 카테고리별로 다르게 작용할 수 있어 동시 진행이 같은 반응을 보장하지는 않는다. 세 번째로 대조 그룹을 이용해 변경이 없었을 때 변형 페이지가 보였을 값을 예측하고, 그 예측과 실제의 차이를 결과로 본다. 네 번째로 시작 전에 과거의 가상 시작일 몇 개를 골라 모델을 학습시키고 이후 몇 주를 얼마나 맞히는지 확인한다. 아무 일도 없었던 기간에서 자꾸 효과를 찾아낸다면 그 모델은 실제 변경의 효과도 가려내지 못한다. 예측 모델로는 구글이 공개한 오픈소스 패키지 코잘임팩트가 가장 널리 알려져 있다.

사이트 규모별로 고르는 방법

모든 사이트가 교과서식 테스트를 돌릴 수는 없다. 서치파일럿은 테스트하려는 섹션이 하루 1,000회 안팎의 오가닉 방문을 받아야 한다는 경험칙을 제시한다. 그보다 적으면 테스트가 길어지거나 끝내 결론이 나지 않기 쉽다. 이때는 설계를 바꾸고 근거의 강도를 솔직하게 밝히라는 조언이다.

브래넌이 정리한 방법은 네 가지다. 페이지 분할은 같은 템플릿의 미변경 페이지를 같은 기간에 비교한다. 이커머스, 마켓플레이스, 퍼블리셔, 다지점 브랜드처럼 규모가 큰 템플릿 사이트에 맞고, 일부 페이지에만 변경을 배포할 수 있어야 한다. 지역 분할은 변경을 적용하지 않은 시장이나 지점과 비교하는 방식이다. 해외 사이트, 프랜차이즈, 로컬 SEO에 맞지만 시장이 똑같이 움직이는 경우는 드물어 과거 추세로 맞춰야 한다. 모델 기반 기준선은 내비게이션 개편처럼 깨끗한 대조군이 없는 사이트 전체 변경에 쓴다. 비교 데이터가 변경의 영향을 받았다면 약해진다. 전후 비교는 소규모 사이트나 단발성 페이지에 쓰지만 계절과 업데이트를 분리하지 못한다.

전후 비교밖에 못 쓴다면 방어력을 높이는 방법이 있다. 비슷한 페이지를 일부러 바꾸지 않고 남겨 두는 홀드아웃을 만들고, 서치 콘솔 브랜드 쿼리 필터가 적용되는 속성이라면 그 필터로 브랜드 수요를 분리하며, 변경 당일에 서치 콘솔 맞춤 주석을 남긴다. 브래넌은 서치 콘솔의 브랜드 쿼리 필터가 일부 쿼리를 잘못 분류할 수 있으므로 브랜드 용어 정규식 필터로 교차 확인하라는 조언도 붙였다. 도구는 서치파일럿과 seoClarity가 배포와 모델링을 맡는 엔터프라이즈형이고, SEOTesting.com은 서치 콘솔 기반으로 소규모 사이트를 겨냥한다. 사내 데이터 인력이 있다면 코잘임팩트는 무료다. CMS가 템플릿 일부 페이지만 바꿀 수 있다면 첫 몇 번의 테스트에는 플랫폼이 필요 없을 수도 있다고 브래넌은 말한다.

보고서에 넣을 숫자와 읽는 법

좋은 보고서에는 숫자 몇 개면 충분하다. 헤드라인은 예측 대비 상승폭이지만 단독으로 쓰면 안 된다. 모델이 그럴듯하다고 보는 효과의 구간이 함께 있어야 하고, 구간이 0을 포함하면 긍정적 효과를 보인 것이 아니다. 긍정 효과의 확률은 비전문가가 이해하기 쉽지만 도구가 무엇을 내는지 확인해야 한다. 브래넌은 코잘임팩트의 "인과 효과 확률"이 방향을 말하지 않아 확실한 손실도 승리만큼 높게 나올 수 있다고 경고했다. 90%의 긍정 확률도 열 번 중 한 번은 변경이 효과가 없거나 오히려 해가 됐다는 뜻이다. 해당 페이지의 매출이나 전환은 SEO 결과를 사업 논리로 바꾸는 숫자지만 클릭보다 잡음이 크므로 물량이 적으면 참고용으로 다룬다. 순위는 클릭이 왜 움직였는지를 설명하는 보조 자료이며, 대조군과 견줘야 하고 단독 증거가 될 수 없다.

가상 사례로 본 테스트의 모양

브래넌은 상품 페이지의 제목 태그와 메타 설명 템플릿을 브랜드명 대신 구매자의 검색 의도로 시작하도록 바꾼 가상의 테스트를 제시하며, 숫자는 예시라고 밝혔다. 주요 지표는 비브랜드 오가닉 클릭이고, 전환율은 대조군 대비 2% 넘게 떨어지면 안 된다. 실행할 가치가 있는 최소 상승폭은 5%이고 분석 시점은 출시 6주 뒤다. 95% 구간이 전부 0 위에 있고, 중심 추정치가 5%를 넘고, 가드레일이 유지될 때만 전면 적용한다. 상품 페이지 400개는 같은 쿼리를 다투는 페이지를 묶은 뒤 트래픽과 카테고리로 맞춰 약 200개씩 무작위로 나눴고 사전 점검을 통과했다.

6주 시점의 결과는 변형 페이지의 비브랜드 오가닉 클릭이 대조군으로 만든 예측보다 14.2% 많았고, 95% 신뢰구간은 8%에서 19%였다. 긍정 효과 확률은 99%를 웃돌았고 전환 데이터는 2% 가드레일 아래로의 하락을 배제했다. 구간은 27일째에 처음 0을 넘어섰지만 테스트는 합의한 6주까지 이어졌고 효과는 유지됐다. 해당 페이지로 들어온 세션의 오가닉 매출은 예측보다 9.6% 높았으나 구간이 클릭보다 훨씬 넓어 참고용으로 보고했다. 목표 검색어의 평균 순위는 대조군이 제자리인 동안 6.4에서 4.8로 올랐다. 결론은 나머지 상품 페이지에 템플릿을 적용하되 이후에는 대조군이 없으므로 이득이 유지되는지 모니터링하는 것이었다.

현실의 테스트는 이렇게 깔끔하지 않다. 브래넌은 서치파일럿이 2024년에 과거 테스트의 대표 표본이라 부른 것을 모델로 다시 돌렸더니 95% 신뢰도에서 긍정으로 나온 비율이 29%였고, 이전 최고 모델에서는 13%였다고 전한다. 전용 모델로도 대부분의 테스트는 유의미한 승리를 보이지 못했다는 뜻이다. 변경이 아무 효과도 없었다는 말은 아니지만 사이트 전체에 적용하기 전에 알아 둘 사실이라는 설명이다.

보고서는 결정으로 시작한다

경영진이 알고 싶은 것은 무엇을 권하는지, 얼마나 확신하는지, 얼마의 가치인지다. 브래넌은 한 장짜리 보고서를 권고(전면 적용, 롤백, 결론 불가), 한 문장짜리 결과("모델은 새 템플릿이 테스트 대상 상품 페이지의 비브랜드 클릭을 8%에서 19% 끌어올렸다고 추정한다"), 해당 페이지의 매출이나 리드와 전제를 밝힌 확대 적용 전망, 페이지와 분할과 기간과 방법과 코어 업데이트 같은 테스트 중 사건, 다음 테스트 순으로 구성하라고 권한다. 전망은 구간의 보수적인 끝에서 출발하고, 나머지 페이지가 테스트 대상과 어떻게 다른지 밝히고 결과가 아니라 시나리오라고 불러야 한다. 낙관적인 수치에서 출발해 빗나가면 신뢰를 잃는다. 실패한 테스트도 기록해야 한다. 승리만 담은 로그는 골라 담기로 보이고, 부정적이거나 결론이 나지 않은 결과를 공유해야 승리가 믿을 만해진다.

조용히 테스트를 무효로 만드는 실수

좋아 보일 때 멈추는 것이 첫 번째 실수다. 구현 문제를 잡으려고 매일 모니터링하는 것은 좋지만 판정은 계획한 분석 시점에 해야 한다. 지속적 모니터링용으로 설계된 방법을 플랫폼이 쓰는 경우는 예외다. 선이 처음 넘어간 순간 결론을 내리면 거짓 양성을 전면 적용할 가능성이 크게 높아진다. 구글이 변경을 봤는지 확인하지 않는 것이 두 번째다. 자바스크립트로 변경을 적용하는 도구라면 서치 콘솔의 URL 검사 도구로 렌더링된 HTML에 변경이 나타나는지, 변형 페이지가 적용 이후 다시 크롤링됐는지 점검해야 한다. 제목 테스트라면 구글이 실제로 보여 주는 제목도 확인해야 한다. 구글은 더 낫다고 판단하면 제목 링크를 다시 쓰므로 테스트하는 제목이 검색자에게 보이는 제목이 아닐 수 있다.

AI 노출을 보조 지표로 붙이는 법

브래넌은 2026년의 새 숫자로 AI 노출을 꼽는다. 구글은 2026년 6월 3일 서치 콘솔에 검색 생성형 AI 성과 보고서를 일부 사이트 대상으로 내놓았고, 8월 31일부터 전 세계 모든 사이트에 제공했다고 공지에 덧붙였다. 보고서는 AI 개요와 AI 모드, 디스커버의 생성형 AI 기능에서 사이트 URL이 몇 번 노출됐는지를 페이지, 국가, 기기, 날짜별로 보여 준다. 다만 AI 노출이 너무 적은 사이트는 보고서를 볼 수 없다고 브래넌은 전한다. 변형 그룹과 대조 그룹의 AI 기능 노출을 클릭처럼 비교할 수 있고, 클릭은 늘었는데 AI 노출이 줄었거나 그 반대라면 전면 적용 전에 원인을 파 볼 만하다. 다만 클릭 데이터는 아직 없어 보조 신호로만 써야 한다. 순위를 보조 증거로 쓸 때도, 구글의 존 뮬러가 확인했다는 것처럼 AI 개요 안의 모든 링크가 AI 개요 자체의 순위를 받는다는 점을 감안해야 한다.

국내 담당자가 먼저 확인할 것

가장 현실적인 첫 걸음은 지금 보고하는 전후 비교 한 건을 골라 같은 템플릿에서 건드리지 않은 페이지를 홀드아웃으로 만들 수 있는지, 그리고 다음 변경 전에 브리프를 쓸 수 있는지부터 따져 보는 일이다.