Was ist ein KI-Crawler?
Auch: KI-Bot, AI Crawler, LLM-Crawler
Ein KI-Crawler ist ein automatisches Programm, das Webseiten für ein KI-Unternehmen abruft: um Modelle zu trainieren, einen Suchindex für einen Assistenten aufzubauen oder eine Seite zu öffnen, wenn ein Nutzer danach fragt. Jeder meldet sich mit einem User-Agent-Namen, den du in der robots.txt erlauben oder sperren kannst.
Drei Zwecke
- Training: Inhalte sammeln, die zum Training von Modellen verwendet werden können (zum Beispiel GPTBot, ClaudeBot, CCBot).
- Suche: Seiten indexieren, damit ein Assistent sie abrufen kann (zum Beispiel OAI-SearchBot, PerplexityBot).
- Nutzeranfragen: eine Seite abrufen, die ein Nutzer den Assistenten zu öffnen bat (zum Beispiel ChatGPT-User).
Sperren und Sichtbarkeit
Training-Crawler zu sperren ist eine unternehmerische Entscheidung über deine Inhalte. Wer Such-Crawler sperrt, kann aus den Ergebnissen des Assistenten herausfallen. Viele Websites sperren aus Versehen alles, prüfe also deine robots.txt.
Prüf, welche KI-Crawler deine Website zulässtKostenloser KI-Crawler-Check (auf Englisch): GPTBot, ClaudeBot, PerplexityBot und mehr.Verwandte Begriffe
Tools vergleichen
Sei dabei, wenn Nodpick startet
Nodpick startet bald. Trag dich auf die Warteliste ein: früher Zugang und der Startpreis.