학습용, 검색용, 사용자 요청용: AI 크롤러의 세 가지 종류
“AI가 내 콘텐츠를 학습에 쓴다”는 말을 듣고, robots.txt에서 이름에 “AI”가 들어간 크롤러를 모조리 차단하는 사장님이 많습니다. 그 결과 학습은 막았지만 AI 검색도 웹사이트를 볼 수 없게 되어, 고객이 AI에게 물어도 당연히 추천되지 않습니다. 문제는 크롤러를 하는 일에 따라 구분하지 않았다는 데 있습니다.
세 가지 역할
| 종류 | 하는 일 | 차단하면 생기는 일 |
|---|---|---|
| 학습용 크롤러 | 향후 모델을 학습시키기 위해 웹페이지를 수집합니다. | 콘텐츠가 학습 데이터에 들어가지 않습니다. AI 검색에서 인용되는 데에는 보통 영향이 없습니다. |
| 검색용 크롤러 | AI 검색용 인덱스를 만듭니다. AI는 답할 때 이 인덱스에서 페이지를 찾아 링크를 겁니다. | AI 검색 답변에 우리 페이지가 거의 나오지 않게 됩니다. |
| 사용자 요청에 따른 가져오기 | 사용자가 채팅에 우리 URL을 붙여 넣거나, AI가 질문에 답하려고 그 자리에서 페이지를 엽니다. | AI가 우리 페이지를 읽지 못해, 다른 곳에서 찾은 정보로 답해야 합니다. |
회사별 크롤러 이름
아래 표는 작성 시점에 각 회사의 공개 문서에 나와 있는 이름입니다. 이름은 추가되거나 없어지기도 하므로, 규칙을 쓰기 전에 공식 문서를 꼭 확인하세요.
| 회사 | 학습용 | 검색용 | 사용자 요청용 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
흔히 오해하는 두 가지:
Google-Extended는 사이트를 방문하는 별도의 크롤러가 아닙니다. Google이 크롤링한 콘텐츠를 Gemini 관련 용도에 쓸 수 있는지를 정하는 robots.txt의 스위치입니다. Google 검색 색인 여부에는 영향을 주지 않습니다. Google 검색 결과에 나오는 AI 요약은 일반Googlebot이 크롤링한 내용을 사용합니다.- 사용자 요청에 따른 가져오기는 특정 사용자를 대신해 페이지를 여는 것이고, 이것이 robots.txt를 따르는지에 대해서는 회사마다 설명이 다릅니다. robots.txt로 이런 접근을 항상 통제할 수 있다고 생각하지 마세요.
흔히 택하는 절충안
목표가 “콘텐츠가 학습에 쓰이는 건 싫지만, AI 검색에서는 추천받고 싶다”라면, 학습용 크롤러만 차단하고 검색용 크롤러는 허용하면 됩니다.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
학습에 쓰여도 상관없고 최대한 많이 노출되기만 바란다면, AI 전용 Disallow 규칙은 필요 없습니다. 와일드카드 규칙 User-agent: *가 사이트 전체를 막고 있지 않은지만 확인하세요.
robots.txt 말고도 확인할 것
robots.txt에서 크롤러를 허용했다고 해서 실제로 들어올 수 있는 것은 아닙니다. 다른 두 곳에서도 크롤러를 막을 수 있습니다.
- CDN이나 방화벽의 “AI 봇 차단” 설정. 기본으로 켜져 있거나 업데이트 후 자동으로 켜지는 서비스도 있습니다.
- 웹 호스팅 업체나 보안 플러그인이 User-Agent 또는 IP 대역을 기준으로 차단하는 경우.
확인하려면 서버 접속 로그에서 이 크롤러들의 요청을 찾아, 상태 코드가 200인지 403인지 보세요.
검색용 크롤러를 허용하면 AI가 페이지를 읽을 수 있게 될 뿐, AI가 우리 가게를 인용하거나 추천한다는 보장은 없습니다. 추천되는지 알려면 실제 고객 질문을 여러 번씩 물어본 뒤 결과를 보세요.
지금 우리 robots.txt가 AI 크롤러를 허용하는지 차단하는지 궁금하신가요? 무료 점검에서는 GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot 네 가지 크롤러별로 결과를 정리해 드립니다.
무료 점검 신청하기