Was sind nutzerausgelöste Abrufe?
Ein nutzerausgelöster Abruf ist ein Bot, der eine Seite nur öffnet, weil jemand einen Assistenten danach gefragt hat, etwa ChatGPT-User, Claude-User oder Perplexity-User. Er baut keinen Index auf wie ein Crawler. Die Anbieter geben an, dass robots.txt-Regeln für diese Anfragen anders behandelt werden können, prüfe also jeweils die Dokumentation.
Warum unterscheiden?
In deinen Logs heißt ein Anstieg von ChatGPT-User, dass gerade Leute nach deinen Seiten fragen. Ein Anstieg eines Index-Bots heißt, dass gecrawlt wird. Beides verlangt andere Entscheidungen: Vielleicht willst du, dass nutzerausgelöste Besuche klappen, auch wenn du Training einschränkst.
Beispiel: Jemand fügt deine Preis-URL in ChatGPT ein und bittet um eine Zusammenfassung; deine Logs zeigen eine Anfrage von ChatGPT-User, keinen Crawl.
Wo du Details liest
OpenAI dokumentiert seine Bots unter platform.openai.com/docs/bots, Anthropic in einem Hilfeartikel zu Crawlern und Perplexity in seiner Bot-Dokumentation. Namen und Verhalten ändern sich, prüfe sie also vor dem Schreiben von Regeln neu.
Prüfe, welche KI-Crawler deine Website zulässtKostenloser KI-Crawler-Check (auf Englisch): GPTBot, ClaudeBot, PerplexityBot und mehr.