Cómo dejar que GPTBot, ClaudeBot y PerplexityBot lean tu sitio
Una guía práctica sobre los user-agents de los rastreadores de IA, cómo permitir o bloquear cada uno en robots.txt y cómo verificar que realmente pueden acceder a tu contenido.
Si quieres que las respuestas de IA mencionen y enlacen tu sitio, los rastreadores que las alimentan necesitan permiso para descargarlo. Cada asistente importante trae un user-agent con nombre, y robots.txt es donde los das la bienvenida o los rechazas.
Los bots que debes conocer
- GPTBot: el rastreador de OpenAI para entrenamiento y navegación.
- ClaudeBot: el rastreador de Anthropic.
- PerplexityBot: el rastreador del motor de respuestas de Perplexity.
Cómo permitirlos en robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlBloquéalos de la misma forma con Disallow: / bajo el user-agent de un bot si prefieres que se quede fuera. Sé deliberado: bloquear un rastreador significa que ese asistente no puede citarte.
Verifica que de verdad funciona
Una regla que parece correcta puede fallar igualmente: un Disallow perdido más arriba, un framework que sirve robots.txt como HTML, un enlace al sitemap que falta. Pasa tu URL por el verificador de Rastreabilidad por IA para ver, bot a bot, qué está permitido y qué está bloqueado en silencio, y luego deja que la skill corrija los huecos ahí mismo.