Wie robots.txt KI-Crawler aussperrt und wie Sie Ihre Datei prüfen
Bevor die KI-Suche eine Frage beantwortet, muss sie in der Regel die Seiten crawlen, auf die sie sich stützt. Sperrt Ihre robots.txt den falschen Crawler aus, sieht die KI Ihre Seite womöglich nie, egal wie gut sie ist. Das wird leicht übersehen, weil viele Websites eine robots.txt haben, die vor Jahren geschrieben wurde, als es diese Crawler noch gar nicht gab.
Gängige KI-Crawler
Hier sind die Crawler-Namen der großen KI-Dienste. Maßgeblich für die genauen Namen ist die offizielle Dokumentation des jeweiligen Anbieters, prüfen Sie sie also, bevor Sie Regeln schreiben.
GPTBot: der Crawler von OpenAI für Trainingsdaten.OAI-SearchBot: der Crawler von OpenAI für die Suchergebnisse von ChatGPT.PerplexityBot: der Crawler von Perplexity für den eigenen Suchindex.ClaudeBot: der Crawler von Anthropic.
Training und Suche werden meist von zwei verschiedenen Crawlern übernommen. Wenn die KI Ihre Seiten zitieren soll, ist der Such-Crawler wichtiger; das Sperren des Trainings-Crawlers wirkt sich nicht unbedingt auf Zitierungen aus.
Eine Platzhalter-Regel sperrt alle aus
User-agent: * Disallow: /
Diese zwei Zeilen sperren jeden Crawler aus, für den es keine eigene Regel gibt, einschließlich aller oben genannten. Viele Websites haben sie eingefügt, um unerwünschten Traffic fernzuhalten, und dabei auch die KI-Suche ausgesperrt.
Benannte Regeln haben Vorrang
Die meisten Crawler folgen der Regelgruppe, die sie namentlich nennt, und greifen nur dann auf * zurück, wenn es keine solche gibt. Die folgenden Regeln lassen also ClaudeBot zu und sperren alle anderen aus:
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
Wenn Sie alle KI-Such-Crawler zulassen möchten, geben Sie jedem Namen eine eigene Gruppe mit Allow: /, statt sich auf die Platzhalter-Regel zu verlassen.
So prüfen Sie es
- Öffnen Sie
yourdomain/robots.txtund vergewissern Sie sich, dass die Datei existiert und 200 zurückgibt. - Suchen Sie die Regelgruppe für jeden KI-Crawler und sehen Sie nach, ob ihr
Disallowden Pfad/enthält. - Achten Sie auf die Pfade:
Disallow: /privatesperrt nur Seiten, die mit/privatebeginnen, nicht die Startseite. - Gibt die Datei 404 zurück, sind standardmäßig alle Crawler zugelassen. Ist sie gar nicht erreichbar, werten Sie das bei der Prüfung als „nicht erreichbar“.
Der kostenlose Check von CiteRev geht diese Schritte automatisch durch und listet das Ergebnis für jeden Crawler auf.
Verwandte Artikel
Sie möchten wissen, ob Ihre robots.txt KI-Crawler derzeit hereinlässt oder aussperrt? Der kostenlose Check listet das Ergebnis für jeden Crawler auf.
Kostenlosen Check anfragen