CiteRev
CiteRev · Artikel

Training, Suche, nutzerausgelöst: die drei Arten von KI-Crawlern

Veröffentlicht am 21. November 2026

Viele Unternehmer hören, dass „die KI meine Inhalte fürs Training verwendet“, und sperren in robots.txt jeden Crawler, der „AI“ im Namen trägt. Das Ergebnis: Das Training ist blockiert, aber auch die KI-Suche kann die Website nicht mehr sehen, und so wird das Unternehmen natürlich nicht empfohlen, wenn Kunden die KI fragen. Das Problem ist, dass die Crawler nicht nach ihrer Aufgabe unterschieden werden.

Drei Aufgaben

ArtWas er tutWas passiert, wenn Sie ihn blockieren
Trainings-CrawlerSammelt Webseiten, um künftige Modelle zu trainieren.Ihre Inhalte bleiben aus den Trainingsdaten heraus. In der Regel kein Einfluss darauf, ob Sie in der KI-Suche zitiert werden.
Such-CrawlerBaut den Index für die KI-Suche auf. Beim Antworten findet die KI Seiten in diesem Index und verlinkt sie.Ihre Seiten erscheinen nur noch selten in Antworten der KI-Suche.
Nutzerausgelöster AbrufEin Nutzer fügt Ihre URL in den Chat ein, oder die KI öffnet Ihre Seite direkt, um die Frage zu beantworten.Die KI kann Ihre Seite nicht lesen und muss mit Informationen antworten, die sie anderswo gefunden hat.

Die Crawler-Namen der einzelnen Anbieter

Die folgende Tabelle zeigt die Namen aus der öffentlichen Dokumentation der Anbieter zum Zeitpunkt des Schreibens. Namen kommen hinzu und fallen weg, prüfen Sie daher die offizielle Dokumentation, bevor Sie Regeln schreiben.

AnbieterTrainingSucheNutzerausgelöst
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

Zwei Punkte, die oft missverstanden werden:

Ein häufiger Kompromiss

Wenn Ihr Ziel lautet „Ich möchte nicht, dass meine Inhalte fürs Training verwendet werden, aber die KI-Suche soll mich empfehlen“, können Sie nur die Trainings-Crawler sperren und die Such-Crawler zulassen:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Wenn Ihnen das Training nichts ausmacht und Sie einfach so sichtbar wie möglich sein möchten, brauchen Sie keine eigenen Disallow-Regeln für KI-Crawler. Achten Sie nur darauf, dass die Platzhalter-Regel User-agent: * nicht Ihre gesamte Website sperrt.

Was Sie über robots.txt hinaus prüfen sollten

Wenn robots.txt Crawler zulässt, heißt das nicht, dass sie tatsächlich hineinkommen. Zwei weitere Stellen können sie ebenfalls aussperren:

Zur Prüfung suchen Sie in den Zugriffsprotokollen Ihres Servers nach Anfragen dieser Crawler und sehen nach, ob sie den Statuscode 200 oder 403 erhalten haben.

Wenn Sie Such-Crawler zulassen, kann die KI Ihre Seiten nur lesen. Das garantiert nicht, dass die KI Sie zitiert oder empfiehlt. Ob Sie empfohlen werden, erfahren Sie nur, wenn Sie echte Kundenfragen in mehreren Durchläufen stellen und dann die Ergebnisse ansehen.

Verwandte Artikel

Sie möchten wissen, ob Ihre robots.txt KI-Crawler derzeit zulässt oder sperrt? Der kostenlose Check zeigt das Ergebnis für jeden der vier Crawler GPTBot, OAI-SearchBot, PerplexityBot und ClaudeBot.

Kostenlosen Check anfragen