차단의 역설: 신뢰도 높은 사이트가 AI를 막을수록 답변 품질이 나빠진다

핵심 요약

• 2026년 8월 31일 RMIT 대학 연구자들이 The Conversation에 기고한 분석에 따르면, 최고 품질의 퍼블리셔가 AI 크롤러를 막을수록 AI 답변은 차단하지 않는 저품질·AI 생성 사이트에 더 크게 의존하게 된다('차단의 역설').
• NewsGuard 분석에 따르면 최고 품질로 평가된 뉴스 사이트의 67%가 AI 모델의 접근을 차단하고 있으며, 그 결과 AI는 크롤링을 허용하는 저품질 사이트에 불균형적으로 의존한다.
• Cloudflare는 2026년 6월 5일 자사 네트워크에서 모든 종류의 봇이 HTML 요청의 57.3%를 차지했다고 보고했으며, AI 크롤러 트래픽의 50% 이상이 변경되지 않은 페이지 재크롤링에 쓰인다고 밝혔다.
• TollBit에 따르면 2025년 4분기 전체 AI 봇 스크래핑의 30%가 명시적 robots.txt 권한을 우회했다.
• 2026년 9월 15일부터 Cloudflare 기본 설정은 광고가 있는 페이지에서 '혼합용도' 크롤러를 기본 차단하며, 이는 모든 기존 무료 고객에게도 적용된다.

'차단의 역설'이란 무엇인가?

신뢰도 높은 퍼블리셔가 AI 크롤러를 막을수록 AI 답변 품질이 오히려 하락한다는 학계발 반론이다. 2026년 8월 31일 RMIT 대학의 Dana McKay·Damiano Spina 연구자가 The Conversation에 기고한 분석에 따르면, 평판 좋은 사이트가 문을 닫으면 AI는 차단하지 않는 사이트에 더 크게 의존하게 되는데 이들 중 상당수가 저품질이거나 AI로 생성된 콘텐츠라는 것이다.

이를 뒷받침하는 수치로, NewsGuard 분석은 최고 품질로 평가된 뉴스 사이트의 67%가 AI 모델의 저널리즘 접근을 차단하고 있다고 지적했다. 저자들은 웹의 새로운 경제 구조가 정리되는 동안 적어도 단기적으로 AI 요약 품질이 하락할 가능성이 크다고 봤다.

크롤과 유입의 불균형은 얼마나 심각한가?

크롤링은 비용을 발생시키지만 되돌려주는 방문자는 극히 적다. Technology Checker가 정리한 crawl-to-refer 비율은 다음과 같다.

기업	crawl-to-refer 비율
Anthropic(ClaudeBot)	20,583:1
OpenAI	1,255:1

다만 Anthropic 비율은 6월 3,386:1에서 7월 1,917:1로 다시 하락(개선)했다. Wall Street Journal은 2026년 7월 Semrush 데이터를 인용해 2025년 6월~2026년 6월 사이 일부 매체 트래픽이 40% 이상 감소했다고 보도했다. Cloudflare 데이터에 따르면 AI 크롤러 트래픽의 50% 이상이 변경되지 않은 페이지 재크롤링에 소모돼 비용 부담을 키운다.

robots.txt 차단은 실제로 작동하는가?

부분적으로만 작동한다. TollBit에 따르면 2025년 4분기 전체 AI 봇 스크래핑의 30%가 명시적 robots.txt 권한을 우회했다(Digiday 전달). 즉 robots.txt는 '정중한 요청'에 가까워, 일부 AI 기업은 이를 무시할 수 있다는 것이 저자들의 지적이다.

이 때문에 차단은 개별 robots.txt 편집을 넘어 네트워크 레벨의 디폴트로 굳어지고 있다. 2026년 9월 15일부터 Cloudflare 기본 설정은 광고가 있는 페이지에서 검색·에이전트·학습을 섞어 쓰는 '혼합용도' 크롤러를 기본 차단하며, 신규 고객과 기존 무료(free) 고객 모두에게 적용된다.

한국 브랜드에는 어떤 의미인가?

'무조건 차단'은 한국 브랜드에 특히 위험한 선택이 될 수 있다. 신뢰도 높은 사업자가 크롤러를 막으면 그 자리를 블로그·커뮤니티 재가공·AI 스팸이 채우기 때문이다.

• 한국 공식 브랜드·전문 매체가 전면 차단하면, 자사 관련 AI 답변이 통제 불가능한 소스로 구성될 위험이 커진다.
• 9월 15일 Cloudflare 디폴트 전환으로, 무료 플랜을 쓰는 다수의 국내 중소 퍼블리셔·커머스가 '의식적 선택 없이' 기본값이 차단으로 바뀔 수 있다.
• 신뢰도 높은 한국어 원문이 대거 차단되면 한국어 AI 답변의 사실성 저하가 영어권보다 빠르게 나타날 수 있다(추정 — 국내 실측치는 확인되지 않음).

TableFlip 관점

이번 동향의 핵심은 '차단이 곧 승리'라는 전제가 AI 노출(AI Visibility) 관점에서 무너진다는 점이다. TableFlip은 이분법(차단 vs 개방) 대신 '선택적 개방 + 계측'을 권한다. 유입 수익이 큰 페이지는 AI 검색 크롤러에 열고, 프리미엄 콘텐츠는 계약 없이는 닫는 계층적 봇 정책이 한국 브랜드에 적합하다.

실무적으로는 (1) 진단 단계에서 9월 15일 이전 자사 봇 정책(검색·학습·에이전트 구분)과 CDN 설정을 점검하고, (2) 구조 개선과 근거 콘텐츠로 정확·최신·구조화된 한국어 '팩트 표면'을 열어두며, (3) crawl-to-refer와 AI 인용을 월간 모니터링하는 흐름이 필요하다. TableFlip은 매주 AI 노출 리포트로 실제 AI 답변에서 어떤 소스가 인용되는지 실측하고, GEO 진단 방법론으로 브랜드별 크롤 정책의 트레이드오프를 계산한다.

지금이 자사 크롤 정책이 AI 답변에 어떤 영향을 주는지 확인할 시점이다 — 무료 AI Visibility 진단으로 시작할 수 있다.