Was ist GPTBot?
GPTBot ist der Web-Crawler von OpenAI. Er sammelt öffentlich verfügbare Seiten, die zum Training der OpenAI-Modelle verwendet werden können. Website-Betreiber können ihn mit einer GPTBot-Regel in der robots.txt erlauben oder sperren. Er ist getrennt vom OAI-SearchBot, der die ChatGPT-Suche unterstützt, und von ChatGPT-User.
Was bewirkt das Sperren?
Eine Disallow-Regel für GPTBot sagt OpenAI, diese Pfade nicht für das Training zu crawlen. Allein nimmt sie dich nicht aus der ChatGPT-Suche, denn die nutzt einen eigenen Crawler, den OAI-SearchBot.
Beispiel: Training ausschließen, in der Suche bleiben
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
OpenAI sagt, seine Crawler-Einstellungen seien voneinander unabhängig, deshalb ist diese Kombination zulässig. Änderungen können etwa 24 Stunden brauchen, bis sie für die Suche wirken. Ob du Training erlaubst, ist eine unternehmerische Entscheidung. Wer den OAI-SearchBot sperrt, taucht in Antworten der ChatGPT-Suche nicht auf.
Prüfe dein Setup
Ein pauschales Disallow für alle User-Agents gilt auch für GPTBot und die übrigen KI-Crawler. Mit dem kostenlosen Checker siehst du, welche KI-Crawler deine robots.txt erlaubt.
Prüf, welche KI-Crawler deine Website zulässtKostenloser KI-Crawler-Check (auf Englisch): GPTBot, ClaudeBot, PerplexityBot und mehr.