Cloudflare, AI 크롤러 기본값을 '차단'으로: 한국 브랜드 대응법

핵심 요약

• Cloudflare는 2026년 7월 1일 제2회 'Content Independence Day'를 선언하고, 2026년 9월 15일부터 광고가 표시되는 페이지에서 Training·Agent 범주 크롤러를 기본 차단(Search는 기본 허용)한다.
• 이 기본값은 신규 고객, 기존 고객의 신규 사이트, 모든 기존 무료 계정에 적용되며, 무료 계정은 9월 15일 마감 전에 옵트아웃하지 않으면 자동 전환된다.
• AI 관련 크롤러는 2026년 6월 전체 크롤러 요청의 52%를 차지했으며, 이는 2025년 봄의 22%에서 상승한 수치다(Cloudflare).
• 주요 AI 봇의 크롤 대비 유입(crawl-to-referral) 비율은 118:1에서 거의 50,000:1에 이른다(Cloudflare).
• 2025년 도입된 Pay Per Crawl은 'Pay Per Use'로 전환돼, 크롤링 여부가 아니라 콘텐츠가 AI 챗봇 답변에 등장할 때 사이트 소유자가 보상받는다.

Cloudflare는 정확히 무엇을 바꿨나?

Cloudflare는 AI 크롤러를 세 가지 용례로 분리하고, 광고 페이지의 기본값을 '개방'에서 '차단'으로 뒤집었다. TechCrunch와 Cloudflare 블로그에 따르면 세 범주는 다음과 같다.

용례	정의	9/15 이후 기본값
Search	나중에 질문에 답하기 위한 수집·색인	기본 허용
Agent	사람 대신 실시간 작업 수행	기본 차단
Training	모델 학습·미세조정용 수집	기본 차단

Cloudflare에 따르면 사이트 소유자가 학습 여부를 선택할 수 없게 만드는 '혼합용(mixed-use)' 크롤러도 광고 페이지에서 기본 차단된다. 결제 인프라로는 Monetization Gateway 대기자 명단이 열렸고, 정산은 x402 오픈 프로토콜을 통해 스테이블코인으로 이뤄진다.

왜 지금 '기본값 차단'인가?

지난 30년간의 '크롤하고 트래픽을 돌려준다'는 거래가 붕괴했다는 것이 Cloudflare의 진단이다. 확인된 수치가 이를 뒷받침한다.

• AI 크롤러 요청 비중: 2025년 봄 22% → 2026년 6월 52%(Cloudflare)
• 크롤 대비 유입 비율: 118:1 ~ 약 50,000:1(Cloudflare) — 수만 페이지를 긁고 방문자 1명을 돌려보내는 수준
• AI 크롤 트래픽의 50% 이상이 변경되지 않은 페이지 재수집에 소모(Cloudflare)
• Cloudflare 고객은 이미 매일 10억 건 이상의 402(Payment Required) 응답을 AI 크롤러에 전송

다만 위 수치는 모두 Cloudflare 자사 집계 기준이므로, 다른 기관의 방법론과는 산정 범위가 다를 수 있다.

이번 조치는 왜 사실상 Google을 겨눈 것인가?

검색·AI 크롤러를 분리하지 않은 Google을 압박하는 성격이 강하다. Cloudflare는 발표에서 '가장 큰 검색 엔진'이 다른 AI 기업보다 약 2배 많은 정보에 접근한다고 지적했는데, Googlebot이 검색 색인과 Gemini 학습·AI Overviews·AI Mode용 수집을 동시에 수행하기 때문이다(TechCrunch). Google은 Google-Extended를 제공하지만, 자사 모델 학습은 원치 않으면서 AI Mode 결과에는 포함되고 싶은 퍼블리셔에게는 선택지가 없다.

한국 브랜드·퍼블리셔에 무엇을 의미하나?

인프라 레벨에서 '기본값이 차단'인 세계가 온다는 점이 핵심이다. Cloudflare가 글로벌 웹 트래픽의 20% 이상을 처리하므로, Cloudflare를 쓰는 한국 미디어·커머스·SaaS도 9월 15일 이후 신규 도메인·무료 계정을 중심으로 Training·Agent 봇이 광고 페이지에서 기본 차단된다. AI 답변 노출을 원하는 브랜드는 9월 15일 전에 정책을 점검해야 한다.

국내 분쟁과도 맞물린다. MTN뉴스에 따르면 서울중앙지법은 2026년 4월 9일 네이버 하이퍼클로바X의 지상파 3사 뉴스 학습 관련 4차 변론기일을 열었고, 한국신문협회는 2월 네이버를 공정거래위원회에 제소했다. Cloudflare식 '용례별 분리·과금'은 허용/차단 이분법을 넘어 '어떤 목적에 어떤 대가로'라는 협상 프레임을 뒷받침한다.

TableFlip 관점

이번 변화는 벤더 기능 업데이트가 아니라 AI 시대 웹의 '기본 거래 조건' 재정의다. Search가 기본 허용으로 남는다는 점은 중요한데, AI 검색 노출을 원하는 브랜드는 학습·에이전트 접근을 차단하면서도 검색·색인 경로는 살려두는 '3단계(허용-과금-차단)' 전략을 세워야 한다. robots.txt는 학습/검색/에이전트를 구분하지 못하는 한계가 있어, 용례별 분리 표준과 llms.txt류 관행에 대한 대응이 향후 6~12개월의 관전 포인트다.

TableFlip은 이를 세 단계로 접근한다. 먼저 진단 단계에서 크롤러 정책과 AI 답변 노출 현황을 GEO 진단 방법론으로 점검하고, 구조 개선과 근거 콘텐츠로 검색 경로를 유지하며, 월간 AI 노출 리포트로 실제 답변 등장 여부를 실측한다. 다만 Pay Per Use 단가나 국내 사이트의 Cloudflare 적용 비중 등 한국 특화 정량 데이터는 이번 조사에서 확인되지 않았으므로, 국내 수치는 추가 확인이 필요하다.

9월 15일 전에 자사 크롤러 정책이 AI 노출에 어떤 영향을 주는지 무료 AI Visibility 진단으로 먼저 점검해 보길 권한다.