Trainingscrawlers
GPTBot, ClaudeBot, Google-Extended, CCBot en andere verzamelen content om toekomstige modellen te trainen. Ze blokkeren is een licentiekeuze.
Gratis tool van TK WebHosts
AI-crawlertoegangschecker
Kunnen ChatGPT, Claude en Perplexity uw website eigenlijk lezen? Controleer welke crawlers uw robots.txt toestaat — gesplitst in trainingsbots en de live agents die bepalen of AI-antwoorden u citeren.
| Crawler | Beheerder | Toegang |
|---|
Wilt u dat AI-antwoorden u citeren?
Voeg dit toe aan uw robots.txt om de antwoordcrawlers te openen (trainingsbots kunnen geblokkeerd blijven):
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Antwoordcrawlers
OAI-SearchBot, ChatGPT-User, Claude-SearchBot en PerplexityBot halen uw pagina op wanneer een gebruiker iets vraagt — zo citeren AI-assistenten u.
Zoekcrawlers
Googlebot en Bingbot blijven het fundament. Ze per ongeluk blokkeren is fataal — deze checker toont het direct in rood.
Veelgestelde vragen
Wat is het verschil tussen GPTBot en ChatGPT-User?
GPTBot verzamelt pagina’s om toekomstige modellen te trainen. ChatGPT-User en OAI-SearchBot halen en citeren uw pagina’s live. GPTBot blokkeren raakt alleen training.
Verdwijn ik uit AI-antwoorden als ik trainingscrawlers blokkeer?
Nee. Trainings- en antwoordcrawlers zijn aparte user-agents met aparte robots.txt-regels. Veel uitgevers blokkeren training en blijven citeerbaar.
Wat gebeurt er zonder robots.txt?
Zonder robots.txt is elke crawler toegestaan — geen fout. Een serverfout op het bestand is wél ernstig: Google behandelt die als "niet crawlen".
Stopt robots.txt crawlers echt?
Het is een conventie, geen slot. De grote partijen houden zich er publiekelijk aan; een scraper die regels negeert stopt het niet.
Het volledige beeld zien?
Voer de volledige SEO-checker uit — tien beoordeelde categorieën, een geprioriteerde takenlijst en een deelbaar rapport.
Start een gratis SEO-check