Как разрешить GPTBot, ClaudeBot и PerplexityBot читать ваш сайт
Практическое руководство по user-agent'ам ИИ-краулеров: как разрешить или заблокировать каждого из них в robots.txt и как убедиться, что они действительно могут добраться до вашего контента.
Если вы хотите, чтобы ответы ИИ упоминали ваш сайт и ссылались на него, стоящим за ними краулерам нужно разрешение на его загрузку. У каждого крупного ассистента есть именованный user-agent, и именно в robots.txt вы их приветствуете или отказываете им.
Боты, которые нужно знать
- GPTBot — краулер OpenAI для обучения и просмотра.
- ClaudeBot — краулер Anthropic.
- PerplexityBot — краулер поискового движка Perplexity.
Как разрешить их в robots.txt
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yoursite.com/sitemap.xmlЗаблокировать можно точно так же — директивой Disallow: / под user-agent'ом бота, если вы предпочитаете держать его подальше. Действуйте осознанно: заблокировав краулер, вы лишаете соответствующий ассистент возможности на вас ссылаться.
Проверьте, что всё действительно работает
Правило, которое выглядит корректно, всё равно может не сработать — лишний Disallow где-то выше, фреймворк, отдающий robots.txt как HTML, отсутствующая ссылка на карту сайта. Прогоните свой URL через чекер «AI Crawlability» и посмотрите, бот за ботом, что разрешено, а что молча заблокировано, — а затем позвольте навыку устранить пробелы прямо на месте.