robots.txt가 AI 크롤러를 차단하는 방식과 확인하는 방법
AI 검색은 질문에 답하기 전에 보통 참고할 페이지를 먼저 크롤링해야 합니다. robots.txt가 해당 크롤러를 막고 있다면, 페이지가 아무리 좋아도 AI는 그 페이지를 보지 못할 수 있습니다. 많은 사이트의 robots.txt가 이런 크롤러가 생기기 전, 몇 년 전에 작성된 것이라 놓치기 쉬운 부분입니다.
주요 AI 크롤러
주요 AI 서비스가 사용하는 크롤러 이름입니다. 정확한 이름은 각 회사의 공식 문서가 기준이므로, 규칙을 쓰기 전에 꼭 확인하세요.
GPTBot: OpenAI의 학습 데이터용 크롤러.OAI-SearchBot: OpenAI의 ChatGPT 검색 결과용 크롤러.PerplexityBot: Perplexity의 검색 인덱스용 크롤러.ClaudeBot: Anthropic의 크롤러.
학습과 검색은 보통 서로 다른 크롤러가 맡습니다. AI가 우리 페이지를 인용하기를 원한다면 검색용 크롤러가 더 중요하며, 학습용 크롤러를 차단한다고 해서 인용에 꼭 영향이 있는 것은 아닙니다.
와일드카드 규칙 하나가 모두를 막습니다
User-agent: * Disallow: /
이 두 줄은 따로 규칙이 없는 모든 크롤러를 막습니다. 위의 크롤러도 모두 포함됩니다. 스팸성 트래픽을 막으려고 이 규칙을 넣었다가 AI 검색까지 막아 버린 사이트가 많습니다.
이름을 지정한 규칙이 우선합니다
대부분의 크롤러는 자기 이름이 지정된 규칙 그룹을 따르고, 그런 그룹이 없을 때만 * 규칙을 따릅니다. 그래서 아래 규칙은 ClaudeBot은 허용하고 나머지는 모두 차단합니다.
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
모든 AI 검색 크롤러를 허용하고 싶다면, 와일드카드 규칙에 기대지 말고 이름마다 Allow: /가 들어간 그룹을 따로 만드세요.
확인하는 방법
yourdomain/robots.txt를 열어 파일이 있는지, 200을 반환하는지 확인합니다.- AI 크롤러마다 해당 규칙 그룹을 찾아
Disallow에/가 들어 있는지 봅니다. - 경로에 주의합니다.
Disallow: /private는/private로 시작하는 페이지만 막을 뿐, 루트를 막지는 않습니다. - 파일이 404를 반환하면 기본적으로 모든 크롤러가 허용됩니다. 파일에 아예 접속할 수 없다면, 확인 결과를 “접속 불가”로 처리합니다.
CiteRev 무료 점검은 이 절차를 자동으로 진행하고 크롤러별 결과를 정리해 드립니다.
이 아티클은 규칙의 작동 방식과 확인 방법만 설명합니다. robots.txt가 크롤러를 허용하면 AI가 우리 가게를 인용한다고 약속하지 않습니다. 인용 여부는 여러 요인에 달려 있으며, 알 수 있는 유일한 방법은 AI가 실제로 어떻게 답하는지 보는 것입니다.
지금 우리 robots.txt가 AI 크롤러를 들여보내는지 막고 있는지 궁금하신가요? 무료 점검에서 크롤러별 결과를 정리해 드립니다.
무료 점검 신청하기