Training, Suche, nutzerausgelöst: die drei Arten von KI-Crawlern
Viele Unternehmer hören, dass „die KI meine Inhalte fürs Training verwendet“, und sperren in robots.txt jeden Crawler, der „AI“ im Namen trägt. Das Ergebnis: Das Training ist blockiert, aber auch die KI-Suche kann die Website nicht mehr sehen, und so wird das Unternehmen natürlich nicht empfohlen, wenn Kunden die KI fragen. Das Problem ist, dass die Crawler nicht nach ihrer Aufgabe unterschieden werden.
Drei Aufgaben
| Art | Was er tut | Was passiert, wenn Sie ihn blockieren |
|---|---|---|
| Trainings-Crawler | Sammelt Webseiten, um künftige Modelle zu trainieren. | Ihre Inhalte bleiben aus den Trainingsdaten heraus. In der Regel kein Einfluss darauf, ob Sie in der KI-Suche zitiert werden. |
| Such-Crawler | Baut den Index für die KI-Suche auf. Beim Antworten findet die KI Seiten in diesem Index und verlinkt sie. | Ihre Seiten erscheinen nur noch selten in Antworten der KI-Suche. |
| Nutzerausgelöster Abruf | Ein Nutzer fügt Ihre URL in den Chat ein, oder die KI öffnet Ihre Seite direkt, um die Frage zu beantworten. | Die KI kann Ihre Seite nicht lesen und muss mit Informationen antworten, die sie anderswo gefunden hat. |
Die Crawler-Namen der einzelnen Anbieter
Die folgende Tabelle zeigt die Namen aus der öffentlichen Dokumentation der Anbieter zum Zeitpunkt des Schreibens. Namen kommen hinzu und fallen weg, prüfen Sie daher die offizielle Dokumentation, bevor Sie Regeln schreiben.
| Anbieter | Training | Suche | Nutzerausgelöst |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
Zwei Punkte, die oft missverstanden werden:
Google-Extendedist kein eigener Crawler, der Ihre Website besucht. Es ist ein Schalter in robots.txt, der festlegt, ob von Google gecrawlte Inhalte für Gemini-bezogene Zwecke verwendet werden dürfen. Er beeinflusst nicht, ob Sie in der Google-Suche indexiert werden. Die KI-Zusammenfassungen in den Google-Suchergebnissen nutzen das, was der normaleGooglebotcrawlt.- Ein nutzerausgelöster Abruf öffnet eine Seite im Auftrag eines bestimmten Nutzers, und die Anbieter machen nicht alle dieselben Angaben dazu, ob dabei robots.txt beachtet wird. Gehen Sie nicht davon aus, dass robots.txt diese Art immer steuert.
Ein häufiger Kompromiss
Wenn Ihr Ziel lautet „Ich möchte nicht, dass meine Inhalte fürs Training verwendet werden, aber die KI-Suche soll mich empfehlen“, können Sie nur die Trainings-Crawler sperren und die Such-Crawler zulassen:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Wenn Ihnen das Training nichts ausmacht und Sie einfach so sichtbar wie möglich sein möchten, brauchen Sie keine eigenen Disallow-Regeln für KI-Crawler. Achten Sie nur darauf, dass die Platzhalter-Regel User-agent: * nicht Ihre gesamte Website sperrt.
Was Sie über robots.txt hinaus prüfen sollten
Wenn robots.txt Crawler zulässt, heißt das nicht, dass sie tatsächlich hineinkommen. Zwei weitere Stellen können sie ebenfalls aussperren:
- Eine Einstellung „KI-Bots blockieren“ in Ihrem CDN oder Ihrer Firewall. Manche Dienste haben sie standardmäßig aktiviert oder schalten sie nach einem Update automatisch ein.
- Sperren durch Ihren Webhoster oder ein Sicherheits-Plugin anhand des User-Agents oder eines IP-Bereichs.
Zur Prüfung suchen Sie in den Zugriffsprotokollen Ihres Servers nach Anfragen dieser Crawler und sehen nach, ob sie den Statuscode 200 oder 403 erhalten haben.
Verwandte Artikel
Sie möchten wissen, ob Ihre robots.txt KI-Crawler derzeit zulässt oder sperrt? Der kostenlose Check zeigt das Ergebnis für jeden der vier Crawler GPTBot, OAI-SearchBot, PerplexityBot und ClaudeBot.
Kostenlosen Check anfragen