Was ist der Unterschied zwischen Trainings- und Such-Crawlern?
Trainings- und Such-Crawler sind die zwei Arten von KI-Bots: Trainings-Crawler wie GPTBot und ClaudeBot sammeln Inhalte für das Modelltraining, Such-Crawler wie OAI-SearchBot und PerplexityBot bauen den Index auf, aus dem Antworten schöpfen. Wer das Training sperrt, bleibt in Suchantworten, wer den Such-Bot sperrt, kann verschwinden.
Warum ist die Trennung wichtig?
Viele Websites wollen ihre Inhalte aus dem Modelltraining heraushalten und trotzdem in Antworten empfohlen werden. Mit getrennten User-Agents geht das: Trainings-Bot sperren, Such-Bot erlauben. Eine pauschale Regel kann beides nicht.
Beispiel: Ein Verlag sperrt GPTBot, um aus dem Training herauszubleiben, erlaubt aber OAI-SearchBot, damit die ChatGPT-Suche seine Artikel weiter zitieren kann.
Prüfe, bevor du eine Sperrliste kopierst
Listen aus dem Netz mischen oft beide Arten. Jeder Anbieter dokumentiert, welcher Bot was tut: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Googlebot, Google-Extended). Prüfe die aktuellen Namen in den Dokus.
Prüfe, welche KI-Crawler deine Website zulässtKostenloser KI-Crawler-Check (auf Englisch): GPTBot, ClaudeBot, PerplexityBot und mehr.