Kostenloser KI-Crawler-Checker
Gib deine Domain ein und sieh, welche von 11 KI-Crawlern deine robots.txt erlaubt oder blockiert, darunter GPTBot, ClaudeBot, PerplexityBot und Google-Extended, und wofür jeder davon da ist.
Häufige Fragen
Verschwinde ich aus ChatGPT, wenn ich GPTBot blockiere?
Nicht dadurch allein. GPTBot ist für das Training da. Die ChatGPT-Suche nutzt OAI-SearchBot, und ChatGPT-User ruft Seiten ab, wenn jemand darum bittet. Laut OpenAI gelten robots.txt-Regeln für diese vom Nutzer ausgelösten Abrufe unter Umständen nicht. GPTBot und OAI-SearchBot haben jeweils eine eigene Regel in der robots.txt (ChatGPT und seine Crawler).
Wirkt sich Google-Extended auf die Google-Suche aus?
Nein. Google-Extended ist ein Steuer-Token dafür, ob Google deine Inhalte für Gemini nutzen darf. Das Crawling für die Suche durch den Googlebot ist davon getrennt und bleibt unberührt (Gemini und Google-Extended).
Soll ich KI-Crawler zulassen?
Das kommt darauf an. Wenn du Such-Crawler zulässt, können Assistenten deine Seiten finden und zitieren. Wenn du Trainings-Crawler zulässt, können deine Inhalte für das Training von Modellen verwendet werden, was manche Anbieter lieber verhindern. Entscheide pro Crawler.
Hält die robots.txt einen Bot sicher fern?
Nein. Sie ist eine freiwillige Vereinbarung, an die sich seriöse Crawler halten. Firewalls und Bot-Management sind eigene Werkzeuge, und dieses Tool prüft sie nicht.
Wird die Prüfung gespeichert?
Über deine Domain und das Ergebnis speichern wir nichts. Wir rufen deine öffentliche robots.txt einmal ab und werten sie aus. Gegen Missbrauch speichern wir einen gesalzenen Hash deiner IP-Adresse mit Zeitstempel für die Ratenbegrenzung.
Mehr dazu
Crawler pro KI-Suchmaschine
Die robots.txt zeigt nur, wer vorbeikommen darf. Nodpick zeigt, ob Assistenten dich tatsächlich nennen. Auf die Warteliste.