llms.txt와 AI 크롤러 제어, AI에게 사이트를 안내하는 법

TableFlip Research Team·2026년 10월 12일· llms.txt· AI 크롤러· GEO· robots.txt· AI 가시성

📋 3줄 요약

llms.txt는 AI 크롤러를 차단하는 파일이 아니라, 사이트의 핵심 페이지를 한 줄 설명과 함께 안내하는 마크다운 '큐레이션 지도'입니다. 접근 차단은 robots.txt의 역할입니다.
2026년 기준 Claude·Cursor 같은 개발자 도구는 llms.txt를 적극 읽지만, ChatGPT·Gemini 등 주요 소비자 AI는 추론 시점에 안정적으로 가져오지 않으며, 대형 AI 제공사 어느 곳도 공식 규범으로 채택하지 않았습니다.
robots.txt로 AI 크롤러를 폭넓게 막으면 방문이 줄 수 있다는 연구가 있어, 학습 봇과 검색·인용 봇을 구분해 설정하는 것이 GEO 관점의 핵심입니다.

llms.txt란 무엇인가

llms.txt는 웹사이트 루트(/llms.txt)에 두는 큐레이션된 마크다운 파일로, LLM에게 사이트의 가장 중요한 콘텐츠를 기계 판독 가능한 형태로 안내합니다. Answer.AI 공동창업자 Jeremy Howard가 2024년 9월 제안했고, 2026년 8월 v2로 업데이트됐습니다.

이 파일이 생긴 이유는 명확합니다. ChatGPT·Claude 같은 LLM은 컨텍스트 윈도가 작아 사이트 전체를 처리하기 어렵고, 내비게이션·광고·JavaScript로 뒤섞인 HTML을 AI 친화적 텍스트로 변환하기도 부정확합니다. llms.txt는 핵심 페이지를 한 줄 설명과 함께 나열해, AI가 전체를 크롤링하지 않고도 '무엇이 왜 중요한지'를 빠르게 파악하도록 돕습니다. 공식 제안상 필수 요소는 H1뿐이며 blockquote·컨텍스트·H2 링크 섹션은 선택입니다. 참조된 페이지의 전문을 한 파일에 담는 /llms-full.txt 변형도 권장됩니다.

llms.txt와 robots.txt는 어떻게 다른가

결론부터 말하면, llms.txt는 '차단'이 아니라 '선택적 안내' 도구입니다. 초기에 robots.txt처럼 AI의 크롤링 권한을 제어한다는 오해가 많았지만, 실제로는 목적상 XML 사이트맵에 가깝습니다. 세 파일의 역할은 다음과 같이 나뉩니다.

파일	대상	역할
robots.txt	크롤러	무엇을 가져올 수 있는가 (접근 제어)
sitemap.xml	검색 크롤러	컨텍스트 없는 전수 URL 목록
llms.txt	언어 모델	무엇이 왜 중요한지 담은 큐레이션된 지도

주의할 점은, 일부 벤더 글이 llms.txt에 user-agent·allow·disallow 지시어가 있다고 서술하지만 이는 공식 제안과 다릅니다. 접근 제어는 어디까지나 robots.txt의 몫입니다. AI 크롤러 종류와 제어 방법은 AI 크롤러 가이드에서 더 자세히 다룹니다.

AI 크롤러를 모두 막으면 안 되는 이유는

학습 봇과 검색·인용 봇을 구분하지 않고 막으면 AI 답변에서 사라질 위험이 있습니다. 예컨대 OpenAI의 GPTBot은 학습용이고 OAI-SearchBot은 검색·인용용으로 별개인데, GPTBot만 막고 OAI-SearchBot을 방치하면 '절반만 차단'한 셈이 됩니다. 실제로 상위 도메인의 24%가 최소 하나의 AI 크롤러를 전면 차단하지만, 다수가 결정을 내리지 않은 상태로 방치돼 있습니다.

비용도 실증됐습니다. Rutgers Business School과 Wharton School 연구진은 robots.txt로 AI 크롤러를 차단한 퍼블리셔가 총 월간 방문 23.1% 감소, 인간 전용 브라우징 13.9% 감소를 겪었다고 보고했습니다. 따라서 라이브 답변·인용 에이전트(OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot)는 허용하고 학습 크롤러만 선별 차단하는 '의도적' 구성이 권장됩니다.

llms.txt는 실제로 AI 인용에 효과가 있나

현재까지 근거는 엇갈립니다. 약 30만 도메인을 분석한 연구에서는 llms.txt 보유율이 10.13%에 그쳤고, AI 인용과 llms.txt 사이에 상관관계가 확인되지 않았습니다. 오히려 John Mueller는 이를 과거의 keywords 메타 태그에 비유했습니다. 반면 Anthropic은 Claude 문서 수집용으로 llms.txt를 권장하고, Cursor·Continue 같은 IDE 에이전트는 적극적으로 읽습니다.

정리하면 llms.txt는 랭킹 레버라기보다 '예의상의 표지판'에 가깝고, 실제 인용을 얻는 것은 그 뒤의 콘텐츠입니다. 프린스턴 GEO 연구(Aggarwal et al., KDD 2024)는 기계 추출 가능한 출처 근거(인용문·통계·참고문헌)를 추가했을 때 각각 약 25~40% 더 높은 가시성을 얻었다고 보고했습니다. 또 다른 연구에서는 주제 관련성과 목록 위치가 최우선 인용의 가장 큰 동인이었습니다. 즉 파일 하나보다 콘텐츠 구조와 근거 설계가 본질입니다. 이 맥락은 스키마 마크업의 AI 인용 효과 분석과도 이어집니다.

TableFlip은 무엇이 AI 가시성인가를 기준으로, 크롤러 접근(robots.txt)·안내(llms.txt)·근거 콘텐츠를 함께 점검해 AI가 브랜드를 정확히 읽고 인용하도록 돕습니다.

자주 묻는 질문

llms.txt만 추가하면 AI가 우리 사이트를 인용하나요?

아닙니다. 30만 도메인 분석에서 llms.txt 존재와 AI 인용 사이 상관관계가 확인되지 않았습니다. 주요 소비자 AI는 추론 시점에 이 파일을 안정적으로 가져오지 않으므로, 실제 인용은 근거가 담긴 콘텐츠에서 나옵니다.

AI 크롤러를 차단하는 건 robots.txt인가요 llms.txt인가요?

접근 차단은 robots.txt의 역할입니다. llms.txt에는 disallow 같은 지시어가 공식적으로 존재하지 않으며, 핵심 페이지를 안내하는 큐레이션 지도에 가깝습니다. 두 파일은 목적이 다르므로 함께 운영하는 것이 좋습니다.

GPTBot을 막으면 ChatGPT에서 완전히 사라지나요?

꼭 그렇지는 않습니다. GPTBot은 학습용, OAI-SearchBot은 검색·인용용으로 별개이기 때문입니다. 검색·인용 봇을 함께 고려하지 않으면 '절반만 차단'되거나 반대로 인용 기회를 잃을 수 있어 봇별 구분 설정이 필요합니다.

그럼 llms.txt는 지금 만들 필요가 없나요?

만들 가치는 있습니다. 비용이 거의 없고 Claude·Cursor 등 개발자 도구가 읽으며, 핵심 페이지를 편집·큐레이션하는 과정 자체가 신호 정리에 도움이 됩니다. 다만 '만들면 인용된다'는 기대보다 콘텐츠 근거 설계를 우선하세요.

빠른 점검이 필요하다면 무료 AI Visibility 진단으로 시작해 보세요.