Was sind Content Signals?
Auch: Content-Signal robots.txt-Direktive
Content Signals ist eine robots.txt-Erweiterung, die Cloudflare 2025 eingeführt hat und mit der eine Website angibt, wie ihre Inhalte genutzt werden dürfen: search, ai-input (Antworten) und ai-train (Training), jeweils ja oder nein. Sie drückt Präferenzen zusätzlich zu Crawler-Regeln aus. Es ist ein junger Vorschlag, nicht jeder Crawler beachtet ihn.
Beispiel
Eine Zeile wie Content-Signal: search=yes, ai-input=yes, ai-train=no sagt, dass du Suche und Antwortnutzung akzeptierst, Training aber nicht. Prüfe in der Dokumentation jedes Anbieters, ob er das Signal liest.
Beispiel: Content-Signal: search=yes, ai-input=yes, ai-train=no akzeptiert Suche und Antwortnutzung, lehnt aber Training ab.
Prüfe, welche KI-Crawler deine Website zulässtKostenloser KI-Crawler-Check (auf Englisch): GPTBot, ClaudeBot, PerplexityBot und mehr.