Hoe je GPTBot, ClaudeBot en PerplexityBot je site laat lezen
Een praktische gids over de user-agents van AI-crawlers, hoe je ze elk toestaat of blokkeert in robots.txt, en hoe je controleert of ze je content echt kunnen bereiken.
Als je wilt dat AI-antwoorden je site noemen en linken, hebben de crawlers erachter toestemming nodig om die op te halen. Elke grote assistent gebruikt een eigen user-agent, en robots.txt is de plek waar je ze verwelkomt of weigert.
De bots die je moet kennen
- GPTBot — de crawler van OpenAI voor training en browsen.
- ClaudeBot — de crawler van Anthropic.
- PerplexityBot — de antwoordmachine-crawler van Perplexity.
Ze toestaan in robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBlokkeren doe je op dezelfde manier met Disallow: / onder de user-agent van een bot als je hem liever buiten houdt. Wees bewust: een crawler blokkeren betekent dat die assistent je niet kan citeren.
Controleer of het echt werkt
Een regel die er goed uitziet, kan alsnog falen — een verdwaalde Disallow hogerop, een framework dat robots.txt als HTML serveert, een ontbrekende sitemaplink. Haal je URL door de AI Crawlbaarheid-checker om bot voor bot te zien wat toegestaan is en wat stilletjes wordt geblokkeerd, en laat de skill de gaten daarna ter plekke dichten.