llms.txt와 AI 크롤러 제어, AI에게 사이트를 안내하는 법

TableFlip Research Team·2026년 7월 31일· llms.txt· robots.txt· AI크롤러· GEO· AI가시성

📋 3줄 요약

llms.txt는 2024년 9월 Jeremy Howard(Answer.AI)가 낸 '제안'일 뿐, 2026년 초 기준 OpenAI·Google·Anthropic 등 어떤 주요 AI 플랫폼도 프로덕션 답변에 쓰겠다고 약속한 적이 없습니다.
AI 인용 가시성에 실제로 영향을 주는 지렛대는 robots.txt입니다 — 훈련 크롤러는 거부하되 검색·인용 크롤러는 허용하는 설정이 핵심입니다.
llms.txt는 '전략'이 아니라 '위생'입니다. 깔아도 손해는 없지만, 도메인 권위·스키마·콘텐츠 품질이 인용을 좌우합니다.

llms.txt란 무엇인가?

llms.txt는 언어 모델이 웹사이트를 더 잘 이해하도록 돕기 위해 도메인 루트(/llms.txt)에 두는 마크다운 파일입니다. 사이트명을 담은 H1 하나가 유일한 필수 항목이고, 한 문단 요약(blockquote)과 중요한 페이지 링크 목록(H2 섹션)은 선택이지만 권장됩니다. 현대 웹페이지는 내비게이션·광고·스크립트에 정작 필요한 텍스트가 파묻히고 컨텍스트 윈도우는 유한하기 때문에, 3만 토큰짜리 홈페이지가 겨우 두 문단의 유용한 정보만 주는 문제를 해결하려는 시도입니다. 링크된 문서 전문을 인라인으로 담는 llms-full.txt라는 동반 파일도 스펙에 정의되어 있습니다.

llms.txt만 깔면 AI가 우리를 인용하나?

결론부터 말하면 아닙니다. 여러 실증 연구가 직접 효과를 부정합니다. OtterlyAI의 90일 실험에서 총 6만 2,100건의 AI 봇 히트 중 /llms.txt 방문은 단 84건으로, 같은 기간 평균 콘텐츠 페이지(약 265회)보다 3배 낮았습니다. SE Ranking이 2025년 말 약 30만 도메인을 분석한 결과 가장 많이 인용된 상위 50개 도메인 중 이 파일을 가진 곳은 단 1개였고, XGBoost 모델에서 이 변수를 제거하자 오히려 정확도가 개선됐습니다. Ahrefs의 13만 7천 도메인 연구(2026-06)에서도 유효 파일을 가진 약 3만 8천 도메인 중 97%가 2026년 5월에 요청을 0건 받았습니다. Google의 John Mueller는 "어떤 AI 시스템도 현재 llms.txt를 사용하지 않는다"며 이를 조작이 쉬워 폐기된 keywords 메타 태그에 비유했습니다.

robots.txt로 AI 크롤러를 어떻게 제어하나?

진짜 지렛대는 robots.txt에서 봇을 목적별로 구분하는 것입니다. AI 기업은 두 종류의 크롤러를 운영합니다. 모델 학습용 '훈련 크롤러'와, 사용자 질의에 답하려 실시간으로 페이지를 가져오는 '검색 크롤러'입니다. 훈련 봇을 차단하면 내 콘텐츠가 학습 코퍼스에 들어가는 것을 막고, 검색 봇을 차단하면 지금 당장 AI 답변 노출에서 사라집니다. 2026년 권장 전략은 "훈련은 거부, 검색·인용은 허용"입니다.

크롤러	목적	권장 처리
GPTBot (OpenAI)	모델 훈련	차단 검토
OAI-SearchBot	ChatGPT 검색 인용	허용
ClaudeBot (Anthropic)	모델 훈련	차단 검토
Claude-SearchBot	검색 인덱싱	허용
Google-Extended / CCBot	훈련 데이터	차단 검토
PerplexityBot	실시간 검색	허용

주의할 점은 기존 anthropic-ai·Claude-Web은 이미 deprecated되어 그것만 차단하면 실효가 없다는 것, 그리고 robots.txt에 AI 규칙이 없으면 대부분 봇이 User-agent: *를 따르므로 각 user-agent에 명시적 규칙을 두는 편이 안전하다는 점입니다. 검색·사용자 에이전트를 무심코 막으면 가장 빠르게 성장하는 발견 채널에서 스스로를 배제하게 됩니다.

그럼 GEO의 본체는 무엇인가?

학술적 근거는 콘텐츠 자체를 가리킵니다. Princeton 등이 KDD'24에 발표한 원논문 GEO: Generative Engine Optimization은 생성 엔진 응답에서 콘텐츠 가시성을 최대 40%까지 높일 수 있음을 입증했습니다(GEO 원논문). 즉 오늘날 인용을 좌우하는 것은 도메인 권위, 스키마 마크업, 페이지 수준의 GEO 콘텐츠 품질, 서드파티 인용입니다. llms.txt는 백링크 캠페인보다 '깔끔한 robots.txt'에 가깝습니다 — 저위험·저비용·실험적 위생 요소죠. 다만 개발자 중심·문서 풍부·통합 지향 사이트라면 에이전트가 사이트에 들어와 탐색·작업을 완료할 때 도움이 되는 nice-to-have로 둘 가치는 있습니다. 실제 읽히는지 궁금하면 파일 안에 유니크 허니팟 링크를 심고 Cloudflare Analytics로 user-agent별 트래픽을 확인하면 됩니다.

질문형 제목과 서술형 본문으로 AI가 발췌하기 좋게 쓰는 방법은 GEO 콘텐츠 작성법에서 더 자세히 다룹니다. TableFlip은 이런 크롤러 접근성 점검과 콘텐츠 구조 설계를 진단 방법론에 함께 담아, 봇이 실제로 읽는 경로부터 확인합니다.

자주 묻는 질문

llms.txt를 지금 만들어도 의미가 없나요?

손해는 거의 없지만 AI 검색 가시성의 즉각적 상승도 기대하기 어렵습니다. 어떤 주요 AI 플랫폼도 공식 채택하지 않았고 실증 데이터도 직접 효과를 부정합니다. 개발 문서가 풍부한 사이트라면 실험적 위생 요소로 두는 정도가 적절합니다.

AI에 인용되려면 무엇부터 해야 하나요?

robots.txt에서 검색·인용 크롤러(OAI-SearchBot, PerplexityBot 등)를 허용하는지부터 점검하세요. 이들을 막으면 AI 답변 노출 자체가 차단됩니다. 그 다음 콘텐츠 품질과 스키마, 서드파티 인용을 강화하는 것이 GEO의 본체입니다.

훈련 크롤러를 차단하면 인용도 사라지나요?

아닙니다. 훈련 크롤러(GPTBot 등)와 검색 크롤러(OAI-SearchBot 등)는 별개입니다. 훈련만 거부하고 검색을 허용하면, 학습 코퍼스로 넘기지 않으면서도 AI 답변이 나를 인용하고 독자가 클릭해 들어오는 경로는 열어둘 수 있습니다.

Google은 llms.txt를 어떻게 보나요?

Google은 검색 순위나 AI 결과에 영향이 없다고 가장 단호하게 안내합니다. 다만 2026년 6월 업데이트에서 '필요 없음'을 Google 검색으로 한정하고, 이를 활용할 수 있는 다른 AI 서비스가 존재함은 인정했습니다.

브랜드의 크롤러 접근성과 AI 인용 상태가 궁금하다면 무료 AI Visibility 진단으로 시작해 보세요.