KI-Crawler-Zugriff prüfen — ChatGPT, Claude & Perplexity

KI-Crawler-Zugriffs-Checker

Können ChatGPT, Claude und Perplexity Ihre Website überhaupt lesen? Prüfen Sie, welche Such- und KI-Crawler Ihre robots.txt erlaubt — getrennt nach Trainings-Bots und den Live-Agenten, die entscheiden, ob KI-Antworten Sie zitieren.

Crawler	Betreiber	Zugriff

Trainings-Crawler

GPTBot, ClaudeBot, Google-Extended, CCBot und andere sammeln Inhalte für künftige Modelle. Sie zu blockieren ist eine Lizenzentscheidung.

Antwort-Crawler

OAI-SearchBot, ChatGPT-User, Claude-SearchBot und PerplexityBot holen Ihre Seite, wenn ein Nutzer fragt — so zitieren KI-Assistenten Sie.

Such-Crawler

Googlebot und Bingbot bleiben das Fundament. Sie versehentlich zu blockieren ist fatal — dieser Check zeigt es sofort in Rot.

Häufige Fragen

Was unterscheidet GPTBot von ChatGPT-User?

GPTBot sammelt Seiten fürs Training künftiger Modelle. ChatGPT-User und OAI-SearchBot holen und zitieren Ihre Seiten live. GPTBot zu blockieren betrifft nur das Training.

Verschwinde ich aus KI-Antworten, wenn ich Trainings-Crawler blockiere?

Nein. Trainings- und Antwort-Crawler sind getrennte User-Agents mit eigenen robots.txt-Regeln. Viele Verlage blockieren Training und bleiben zitierbar.

Was passiert ohne robots.txt?

Ohne robots.txt ist jeder Crawler erlaubt — kein Fehler. Ernst ist ein Serverfehler der Datei: Google wertet ihn als „nicht crawlen“.

Stoppt robots.txt Crawler wirklich?

Es ist eine Konvention, kein Schloss. Die großen Betreiber halten sich öffentlich daran; einen Scraper, der Regeln ignoriert, stoppt es nicht.

Das ganze Bild sehen?

Führen Sie den vollständigen SEO-Checker aus — zehn bewertete Kategorien, eine priorisierte To-do-Liste und ein teilbarer Bericht.

Kostenlosen SEO-Check starten