CiteRev
CiteRev · Artikel

Wie robots.txt KI-Crawler aussperrt und wie Sie Ihre Datei prüfen

Veröffentlicht am 20. November 2026

Bevor die KI-Suche eine Frage beantwortet, muss sie in der Regel die Seiten crawlen, auf die sie sich stützt. Sperrt Ihre robots.txt den falschen Crawler aus, sieht die KI Ihre Seite womöglich nie, egal wie gut sie ist. Das wird leicht übersehen, weil viele Websites eine robots.txt haben, die vor Jahren geschrieben wurde, als es diese Crawler noch gar nicht gab.

Gängige KI-Crawler

Hier sind die Crawler-Namen der großen KI-Dienste. Maßgeblich für die genauen Namen ist die offizielle Dokumentation des jeweiligen Anbieters, prüfen Sie sie also, bevor Sie Regeln schreiben.

Training und Suche werden meist von zwei verschiedenen Crawlern übernommen. Wenn die KI Ihre Seiten zitieren soll, ist der Such-Crawler wichtiger; das Sperren des Trainings-Crawlers wirkt sich nicht unbedingt auf Zitierungen aus.

Eine Platzhalter-Regel sperrt alle aus

User-agent: *
Disallow: /

Diese zwei Zeilen sperren jeden Crawler aus, für den es keine eigene Regel gibt, einschließlich aller oben genannten. Viele Websites haben sie eingefügt, um unerwünschten Traffic fernzuhalten, und dabei auch die KI-Suche ausgesperrt.

Benannte Regeln haben Vorrang

Die meisten Crawler folgen der Regelgruppe, die sie namentlich nennt, und greifen nur dann auf * zurück, wenn es keine solche gibt. Die folgenden Regeln lassen also ClaudeBot zu und sperren alle anderen aus:

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

Wenn Sie alle KI-Such-Crawler zulassen möchten, geben Sie jedem Namen eine eigene Gruppe mit Allow: /, statt sich auf die Platzhalter-Regel zu verlassen.

So prüfen Sie es

  1. Öffnen Sie yourdomain/robots.txt und vergewissern Sie sich, dass die Datei existiert und 200 zurückgibt.
  2. Suchen Sie die Regelgruppe für jeden KI-Crawler und sehen Sie nach, ob ihr Disallow den Pfad / enthält.
  3. Achten Sie auf die Pfade: Disallow: /private sperrt nur Seiten, die mit /private beginnen, nicht die Startseite.
  4. Gibt die Datei 404 zurück, sind standardmäßig alle Crawler zugelassen. Ist sie gar nicht erreichbar, werten Sie das bei der Prüfung als „nicht erreichbar“.

Der kostenlose Check von CiteRev geht diese Schritte automatisch durch und listet das Ergebnis für jeden Crawler auf.

Dieser Artikel erklärt nur, wie die Regeln funktionieren und wie Sie sie prüfen. Er verspricht nicht, dass die KI Sie zitiert, sobald robots.txt Crawler hereinlässt. Zitierungen hängen von vielen Faktoren ab, und Gewissheit gibt nur ein Blick darauf, was die KI tatsächlich antwortet.

Verwandte Artikel

Sie möchten wissen, ob Ihre robots.txt KI-Crawler derzeit hereinlässt oder aussperrt? Der kostenlose Check listet das Ergebnis für jeden Crawler auf.

Kostenlosen Check anfragen