CiteRev
CiteRev · 아티클

robots.txt가 AI 크롤러를 차단하는 방식과 확인하는 방법

2026년 11월 20일 게시

AI 검색은 질문에 답하기 전에 보통 참고할 페이지를 먼저 크롤링해야 합니다. robots.txt가 해당 크롤러를 막고 있다면, 페이지가 아무리 좋아도 AI는 그 페이지를 보지 못할 수 있습니다. 많은 사이트의 robots.txt가 이런 크롤러가 생기기 전, 몇 년 전에 작성된 것이라 놓치기 쉬운 부분입니다.

주요 AI 크롤러

주요 AI 서비스가 사용하는 크롤러 이름입니다. 정확한 이름은 각 회사의 공식 문서가 기준이므로, 규칙을 쓰기 전에 꼭 확인하세요.

학습과 검색은 보통 서로 다른 크롤러가 맡습니다. AI가 우리 페이지를 인용하기를 원한다면 검색용 크롤러가 더 중요하며, 학습용 크롤러를 차단한다고 해서 인용에 꼭 영향이 있는 것은 아닙니다.

와일드카드 규칙 하나가 모두를 막습니다

User-agent: *
Disallow: /

이 두 줄은 따로 규칙이 없는 모든 크롤러를 막습니다. 위의 크롤러도 모두 포함됩니다. 스팸성 트래픽을 막으려고 이 규칙을 넣었다가 AI 검색까지 막아 버린 사이트가 많습니다.

이름을 지정한 규칙이 우선합니다

대부분의 크롤러는 자기 이름이 지정된 규칙 그룹을 따르고, 그런 그룹이 없을 때만 * 규칙을 따릅니다. 그래서 아래 규칙은 ClaudeBot은 허용하고 나머지는 모두 차단합니다.

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

모든 AI 검색 크롤러를 허용하고 싶다면, 와일드카드 규칙에 기대지 말고 이름마다 Allow: /가 들어간 그룹을 따로 만드세요.

확인하는 방법

  1. yourdomain/robots.txt를 열어 파일이 있는지, 200을 반환하는지 확인합니다.
  2. AI 크롤러마다 해당 규칙 그룹을 찾아 Disallow에 /가 들어 있는지 봅니다.
  3. 경로에 주의합니다. Disallow: /private는 /private로 시작하는 페이지만 막을 뿐, 루트를 막지는 않습니다.
  4. 파일이 404를 반환하면 기본적으로 모든 크롤러가 허용됩니다. 파일에 아예 접속할 수 없다면, 확인 결과를 “접속 불가”로 처리합니다.

CiteRev 무료 점검은 이 절차를 자동으로 진행하고 크롤러별 결과를 정리해 드립니다.

이 아티클은 규칙의 작동 방식과 확인 방법만 설명합니다. robots.txt가 크롤러를 허용하면 AI가 우리 가게를 인용한다고 약속하지 않습니다. 인용 여부는 여러 요인에 달려 있으며, 알 수 있는 유일한 방법은 AI가 실제로 어떻게 답하는지 보는 것입니다.

관련 아티클

지금 우리 robots.txt가 AI 크롤러를 들여보내는지 막고 있는지 궁금하신가요? 무료 점검에서 크롤러별 결과를 정리해 드립니다.

무료 점검 신청하기