IETF 'AIPREF' 표준 임박: robots.txt가 AI 용도별 선호로 진화한다

핵심 요약

• IETF 블로그에 따르면 표준을 논의하는 IETF 126 비엔나 회의가 2026년 7월 18–24일에 열린다.
• AI Search Glossary에 따르면 부착 초안 draft-ietf-aipref-attach는 표준트랙 사양을 IESG에 보내는 2026년 8월 마일스톤을 갖는다.
• 어휘 초안 draft-ietf-aipref-vocab은 Proposed Standard 트랙 문서(리비전 06, 2026년 10월 만료)로 train-ai와 search 카테고리, y/n 값을 정의한다(AI Search Glossary).
• Content-Usage HTTP 응답 헤더(예: Content-Usage: train-ai=n)와 robots.txt 규칙(예: Content-Usage: /ai-ok/ train-ai=y) 두 방식으로 동일 선호를 정의한다.
• 지프 데이비스 대 오픈AI 판결은 robots.txt가 DMCA상 기술적 보호 조치(TPM)에 해당하지 않음을 확인했다.

AIPREF는 기존 robots.txt와 무엇이 다른가?

AIPREF는 '허용/차단'의 이진 규약을 넘어 콘텐츠 접근 후 '무엇을 할 수 있는지'를 지시하는 용도별 선호 표준이다. 기존 robots.txt는 검색 인덱싱 시대에 설계돼 어떤 크롤러가 허용되는지는 지정해도 콘텐츠로 무엇을 할 수 있는지는 알려줄 수 없었다. IETF는 이 공백을 메우기 위해 AI Preferences 워킹그룹(AIPREF)을 신설했고, AI Search Glossary에 따르면 이 그룹은 저작자·퍼블리셔의 선호를 표현하는 공통 어휘와 이를 robots.txt 유사 형식이나 콘텐츠 내 임베딩으로 부착하는 수단을 개발하도록 요청받았다.

표준화는 어느 단계까지 왔나?

결론부터 말하면 아직 '표준'이 아니며 강제력도 없지만, 표준화가 임박한 국면이다. AI Search Glossary에 따르면 두 초안의 상태는 다음과 같다.

초안	정의 내용	상태·마일스톤
draft-ietf-aipref-vocab	train-ai/search 카테고리, y/n 값	리비전 06, 2026년 10월 만료, 완전한 합의 미도달
draft-ietf-aipref-attach	Content-Usage 헤더 + robots.txt 규칙	2026년 8월 IESG 제출 마일스톤

같은 출처는 어휘가 완전한 합의를 결여했고 최신 헤더 사양이 만료된 리비전에 있어, 실무 상태는 '배포'가 아니라 '관찰하며 준비'라고 밝힌다. 또한 헌장의 명시적 범위 제외 항목은 '클라이언트·크롤러의 인증 또는 인가를 위한 프로토콜'로, 이것이 AIPREF(선호)와 Web Bot Auth(신원)를 구분하는 경계다. 참고로 IETF 126에 AIPREF 세션이 공식 편성됐는지는 위 출처만으로 단정할 수 없어 추정으로 남긴다.

한국 브랜드에는 왜 더 절실한가?

한국은 법적 뒷받침이 약해 표준 신호에 대한 의존도가 더 크다. raylogue에 따르면 robots.txt는 미국 법원 판결로 법적 효력이 없음이 확인됐고, 한국엔 AI 학습 관련 저작권 기준(TDM)조차 없어 이 공백이 기업의 협상력을 약화시키는 구조적 요인으로 지적된다. 국내 대응 격차도 이미 드러났다. 한국기자협회 보도에 따르면 네이버는 거의 모든 학습용 봇을 차단하고 주석으로 방침을 밝힌 반면, 다음 뉴스는 robots.txt 파일 자체가 없어 모든 크롤러가 접근 가능했다. 표준화된 선호 문법이 자리 잡으면 이런 개별 대응의 일관성과 감사 가능성이 높아질 것으로 전망된다.

TableFlip 관점

AIPREF의 train-ai/search 분리는 '차단 vs 무조건 개방'의 이분법을 국제 표준 문법으로 대체하는 시도다. TableFlip 관점에서 이는 AI 노출(검색·인용)은 유지하면서 학습 이용만 통제하는 '선택적 개방'이 표준 문법으로 가능해진다는 의미다. 다만 AIPREF는 '의무가 아니라 선호'이므로 표준 신호 세팅과 계약·CDN 차원의 이중 방어가 병행돼야 한다.

실무 우선순위는 다음과 같다. 첫째, 지금은 배포가 아닌 준비 단계이므로 robots.txt에서 GPTBot·ClaudeBot 등 학습봇과 검색봇을 분리해, Content-Usage 문법(train-ai/search)에 즉시 매핑 가능한 구조로 정비한다. 둘째, 어휘 만료(2026년 10월)와 헤더 마일스톤(2026년 8월)을 모니터링한다. 셋째, AIPREF(선호)와 Web Bot Auth(신원 인증)는 별개 레이어이므로 신원 검증 기반 차단은 별도 트랙으로 검토한다. TableFlip은 이 구조 개선과 AI 인용 여부를 AI 노출 리포트로 매주 실측하며, GEO 진단 방법론에 따라 선택적 개방 설계를 점검한다. 지금 자사 크롤러 정책이 표준 전환에 대비돼 있는지 무료 AI Visibility 진단으로 확인해보길 권한다.