CiteRev
CiteRev · 아티클

학습용, 검색용, 사용자 요청용: AI 크롤러의 세 가지 종류

2026년 11월 21일 게시

“AI가 내 콘텐츠를 학습에 쓴다”는 말을 듣고, robots.txt에서 이름에 “AI”가 들어간 크롤러를 모조리 차단하는 사장님이 많습니다. 그 결과 학습은 막았지만 AI 검색도 웹사이트를 볼 수 없게 되어, 고객이 AI에게 물어도 당연히 추천되지 않습니다. 문제는 크롤러를 하는 일에 따라 구분하지 않았다는 데 있습니다.

세 가지 역할

종류하는 일차단하면 생기는 일
학습용 크롤러향후 모델을 학습시키기 위해 웹페이지를 수집합니다.콘텐츠가 학습 데이터에 들어가지 않습니다. AI 검색에서 인용되는 데에는 보통 영향이 없습니다.
검색용 크롤러AI 검색용 인덱스를 만듭니다. AI는 답할 때 이 인덱스에서 페이지를 찾아 링크를 겁니다.AI 검색 답변에 우리 페이지가 거의 나오지 않게 됩니다.
사용자 요청에 따른 가져오기사용자가 채팅에 우리 URL을 붙여 넣거나, AI가 질문에 답하려고 그 자리에서 페이지를 엽니다.AI가 우리 페이지를 읽지 못해, 다른 곳에서 찾은 정보로 답해야 합니다.

회사별 크롤러 이름

아래 표는 작성 시점에 각 회사의 공개 문서에 나와 있는 이름입니다. 이름은 추가되거나 없어지기도 하므로, 규칙을 쓰기 전에 공식 문서를 꼭 확인하세요.

회사학습용검색용사용자 요청용
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

흔히 오해하는 두 가지:

흔히 택하는 절충안

목표가 “콘텐츠가 학습에 쓰이는 건 싫지만, AI 검색에서는 추천받고 싶다”라면, 학습용 크롤러만 차단하고 검색용 크롤러는 허용하면 됩니다.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

학습에 쓰여도 상관없고 최대한 많이 노출되기만 바란다면, AI 전용 Disallow 규칙은 필요 없습니다. 와일드카드 규칙 User-agent: *가 사이트 전체를 막고 있지 않은지만 확인하세요.

robots.txt 말고도 확인할 것

robots.txt에서 크롤러를 허용했다고 해서 실제로 들어올 수 있는 것은 아닙니다. 다른 두 곳에서도 크롤러를 막을 수 있습니다.

확인하려면 서버 접속 로그에서 이 크롤러들의 요청을 찾아, 상태 코드가 200인지 403인지 보세요.

검색용 크롤러를 허용하면 AI가 페이지를 읽을 수 있게 될 뿐, AI가 우리 가게를 인용하거나 추천한다는 보장은 없습니다. 추천되는지 알려면 실제 고객 질문을 여러 번씩 물어본 뒤 결과를 보세요.

관련 아티클

지금 우리 robots.txt가 AI 크롤러를 허용하는지 차단하는지 궁금하신가요? 무료 점검에서는 GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot 네 가지 크롤러별로 결과를 정리해 드립니다.

무료 점검 신청하기