Was ist OAI-SearchBot?
OAI-SearchBot ist der Crawler von OpenAI für die ChatGPT-Suche. OpenAI dokumentiert ihn als Bot für die Suche und sagt, dass eine Website, die ihn in der robots.txt erlaubt, in Antworten der ChatGPT-Suche erscheinen kann. Er ist getrennt vom GPTBot, der das Training abdeckt, und von ChatGPT-User, der eine Seite öffnet, wenn ein Nutzer danach fragt.
Drei Bots, drei Einstellungen
Die Bot-Dokumentation von OpenAI nennt drei User-Agents und sagt, jede Einstellung sei unabhängig: OAI-SearchBot für die Suche, GPTBot für Inhalte, die zum Training der Modelle genutzt werden können, und ChatGPT-User für Seiten, die besucht werden, wenn ein Nutzer ChatGPT darum bittet. Erlaubt eine Website sowohl OAI-SearchBot als auch GPTBot, kann OpenAI laut Dokumentation die Ergebnisse eines Crawls für beide Zwecke nutzen.
Was bewirkt das Sperren?
Websites, die OAI-SearchBot ausschließen, werden laut OpenAI nicht in Antworten der ChatGPT-Suche angezeigt, können aber weiterhin als Navigationslinks auftauchen. Den GPTBot zu sperren ist eine andere Entscheidung und bestimmt laut Dokumentation nicht, ob du in der Suche erscheinst. ChatGPT-User wird nicht herangezogen, um zu entscheiden, ob Inhalte in der Suche erscheinen dürfen. Weil seine Besuche von Nutzern ausgelöst werden, gelten robots.txt-Regeln für ihn laut OpenAI womöglich nicht.
Praktische Prüfpunkte
- Erlaube OAI-SearchBot ausdrücklich, wenn du in der ChatGPT-Suche gefunden werden willst. Ein pauschales Disallow für alle User-Agents deckt ihn ebenfalls ab.
- Rechne mit Verzögerung: Laut OpenAI kann es nach einer Änderung der robots.txt etwa 24 Stunden dauern, bis sich seine Systeme anpassen.
- OpenAI veröffentlicht die IP-Bereiche von OAI-SearchBot, GPTBot und ChatGPT-User als JSON-Dateien. So kannst du prüfen, ob eine Anfrage, die diesen Namen trägt, echt ist.
- Mit dem kostenlosen Checker siehst du, welche KI-Crawler deine robots.txt erlaubt.
Das größere Bild dazu, was entscheidet, ob ChatGPT eine Marke nennt, findest du in wie ChatGPT entscheidet, welche Marken es empfiehlt.
Prüf, welche KI-Crawler deine Website zulässtKostenloser KI-Crawler-Check (auf Englisch): GPTBot, ClaudeBot, PerplexityBot und mehr.Weiterlesen (auf Englisch): How ChatGPT chooses which brands to recommend