Was ist ClaudeBot?
ClaudeBot ist der Web-Crawler von Anthropic. Er sammelt öffentliche Webinhalte, die zum Training der Claude-Modelle von Anthropic beitragen können. Website-Betreiber steuern ihn mit einer ClaudeBot-Regel in der robots.txt. Anthropic betreibt außerdem Claude-SearchBot, der Suchergebnisse in Claude unterstützt, und einen von Nutzern ausgelösten Fetcher.
Training oder Suche?
Wie bei OpenAI übernehmen unterschiedliche User-Agents Training und Suche. Du kannst das Training ausschließen und den Such-Crawler trotzdem erlauben, damit Claude deine Seiten finden und zitieren kann.
Die drei Anthropic-Bots
- ClaudeBot sammelt Webinhalte, die zum Modelltraining beitragen könnten.
- Claude-User ruft Seiten ab, wenn eine Person Claude eine Frage stellt. Laut Anthropic kann das Deaktivieren die Sichtbarkeit in der nutzergesteuerten Websuche verringern.
- Claude-SearchBot verbessert die Qualität der Suchergebnisse. Laut Anthropic kann das Deaktivieren die Sichtbarkeit in Suchergebnissen verringern.
Anthropic gibt an, dass seine Bots die robots.txt beachten und auch die nicht standardisierte Crawl-delay-Erweiterung unterstützen. Das Unternehmen veröffentlicht seine IP-Bereiche, weist aber darauf hin, dass das Sperren per IP als Opt-out womöglich nicht zuverlässig funktioniert. Empfohlen wird deshalb die robots.txt.
Prüfe dein Setup
Sieh in deiner robots.txt nach ClaudeBot und Claude-SearchBot oder nach einer allgemeinen Regel, die beide abdeckt. Der kostenlose Checker prüft beide.
Prüf, welche KI-Crawler deine Website zulässtKostenloser KI-Crawler-Check (auf Englisch): GPTBot, ClaudeBot, PerplexityBot und mehr.