Wie funktioniert die robots.txt für KI-Crawler?
Die robots.txt ist die Textdatei im Stammverzeichnis einer Domain, die Crawlern sagt, welche Pfade sie abrufen dürfen (RFC 9309). Jeder KI-Anbieter nennt eigene Crawler, sodass du Such-Bots erlauben und Trainings-Bots sperren kannst. Eine Regel, die einen Bot sperrt, kann dich aus den Antworten dieses Assistenten entfernen.
Wie schreibst du die Regeln?
Setze pro Bot eine User-agent-Zeile mit Allow- oder Disallow-Regeln darunter. Trainings- und Such-Bots haben verschiedene Namen, etwa GPTBot und OAI-SearchBot bei OpenAI, also entscheide für jeden einzeln. Die Regeln sind Bitten, an die sich seriöse Crawler halten; sie schützen keine Inhalte.
Beispiel: User-agent: GPTBot mit Disallow: / hält diesen Trainings-Bot fern, während User-agent: OAI-SearchBot mit Allow: / dem Such-Bot deine Seiten erlaubt.
Häufige Fehler
Ein pauschales Disallow für alle Bots, eine kopierte Sperrliste mit Such-Bots und eine Firewall, die Bots blockiert, obwohl die robots.txt sie erlaubt. Teste die Live-Datei nach jeder Änderung.
Wie hilft Nodpick?
Der kostenlose KI-Crawler-Checker liest die robots.txt einer Website und zeigt, welche KI-Bots sie erlaubt. Mach den kostenlosen KI-Sichtbarkeitscheck, um deine eigenen Zahlen zu sehen; die Methode zeigt, wie sie entstehen, und die Preise nennen die Pläne.
Prüfe, welche KI-Crawler deine Website zulässtKostenloser KI-Crawler-Check (auf Englisch): GPTBot, ClaudeBot, PerplexityBot und mehr.Weiterlesen (auf Englisch): llms.txt: was sie kann und wie du sie anlegst