← 記事一覧へ
読了 5 分

GPTBot、ClaudeBot、PerplexityBot にサイトを読ませる方法

AI クローラーのユーザーエージェント、robots.txt での個別の許可・ブロック方法、そして実際にコンテンツへ到達できるかを検証する方法を実践的に解説します。

AI の回答にあなたのサイトを言及・リンクしてほしいなら、その裏側にいるクローラーに取得の許可を与える必要があります。主要な各アシスタントは名前の付いたユーザーエージェントを持っており、robots.txt こそが彼らを歓迎するか拒否するかを決める場所です。

知っておくべきボット

  • GPTBot — OpenAI の学習・ブラウジング用クローラー。
  • ClaudeBot — Anthropic のクローラー。
  • PerplexityBot — Perplexity の回答エンジン用クローラー。

robots.txt で許可する

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://yoursite.com/sitemap.xml

締め出したい場合は、同じようにボットのユーザーエージェントの下に Disallow: / を書けばブロックできます。ただし慎重に。クローラーをブロックするということは、そのアシスタントがあなたを引用できなくなるということです。

実際に機能しているか検証する

正しく見えるルールでも失敗することがあります。上位に紛れ込んだ Disallow、robots.txt を HTML として配信してしまうフレームワーク、抜け落ちた sitemap のリンクなど。あなたの URL を「AI クローラビリティ」チェッカーに通せば、ボットごとに何が許可され、何が黙ってブロックされているかが分かります。あとはスキルにその隙間をその場で修正させましょう。

GPTBot、ClaudeBot、PerplexityBot にサイトを読ませる方法