AIクローラーアクセス & 表示制御
ウェイト: 22点 / 100点 | 根拠レベル: 🔴 公式明言
AIクローラーアクセスは、いまや「学習に使われるかどうか」だけの話ではありません。ChatGPT、Claude、PerplexityのようなAIサービスでは、検索表示用のクローラー、学習用クローラー、ユーザー操作に応じてページを取得するエージェントが分かれており、どれを許可・制御するかで「見つかるか」「引用されるか」「学習対象になるか」が変わります。
実データでも重要性は増しています。Cloudflareの2025年データでは、AI・検索クローラー全体のクロール量は前年比+24〜32%で推移。GPTBotの構成比は2024年7月の11.9%から2025年7月に28.1%、ClaudeBotは15.0%から23.3%へ伸びています。
だからこそ、「全部許可」か「全部拒否」ではなく、ページ種別ごとに、検索表示は取りに行くのか、学習は止めるのかを分けて考える必要があります。このカテゴリは全7カテゴリ中最大の22点配点で、AI検索に表示されるための最も基本的な条件です。
公式見解・研究データ
“For your site to be discoverable in ChatGPT, make sure you aren't blocking OAI-SearchBot.”
“Disabling Claude-SearchBot on your site prevents our system from indexing your content for search optimization.”
“To ensure your site appears in search results, we recommend allowing PerplexityBot in your site's robots.txt file.”
評価項目
Googlebotアクセス許可
4点チェック方法: robots.txtでGooglebotがDisallowされていないか確認
根拠: Google公式: AI OverviewはGooglebotベース
💡 改善: robots.txtでGooglebotをブロックしないでください。Google-Extendedのブロックは学習のみに影響し、AI Overviewには影響しません。
User-agent: Googlebot
Allow: /OAI-SearchBotアクセス許可
3点チェック方法: robots.txtでOAI-SearchBotの許可状況を確認
根拠: OpenAI公式FAQ
💡 改善: ChatGPT検索に表示されたい場合はOAI-SearchBotを許可してください。GPTBotのブロックは検索表示に影響しません。
User-agent: OAI-SearchBot
Allow: /Claude-User / Claude-SearchBot許可
3点チェック方法: robots.txtで各ボットの許可状況を確認
根拠: Anthropic公式クローラーポリシー
💡 改善: Claude-UserとClaude-SearchBotを許可すると、Claudeの検索機能で表示されます。ClaudeBotは学習用なので別途判断可能です。
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /PerplexityBot許可
3点チェック方法: robots.txtでPerplexityBotの許可状況を確認
根拠: Perplexity公式ドキュメント
💡 改善: PerplexityBotを許可すると、Perplexityの回答で引用されやすくなります。
User-agent: PerplexityBot
Allow: /noindex未使用
3点チェック方法: meta robotsタグとX-Robots-Tagヘッダーを確認
根拠: Google公式: noindexならAI featuresに表示不可
💡 改善: noindexを設定するとすべての検索エンジン・AI機能から除外されます。意図的でない場合は削除してください。
<meta name="robots" content="index,follow">スニペット制御
2点チェック方法: nosnippet/max-snippet/data-nosnippet属性を検出
根拠: Google公式: AI Overviews/AI Modeに影響
💡 改善: nosnippetはAI Overviewでの引用を防ぎます。部分的に制御したい場合はdata-nosnippet属性を使用してください。
<meta name="robots" content="max-snippet:200">robots.txt正常性
2点チェック方法: robots.txtの存在とパース可能性を確認
根拠: 全AI企業共通
💡 改善: robots.txtが存在し、構文エラーがないことを確認してください。
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlよくある間違い
❌ GPTBotを許可すればChatGPT検索にも載る
OpenAIでは学習用のGPTBotと検索表示用のOAI-SearchBotは別です。検索露出だけ取りたいなら、この区別を理解して制御する必要があります。
❌ robots.txtで拒否すればAI上に完全に出なくなる
OpenAIは、禁止されたページでも第三者経由でURLを把握した場合、リンクとタイトルだけ表示することがあると案内しています。完全に出したくないなら noindex も必要です。
❌ AIクローラーは全部同じなので一括対応でよい
学習用、検索用、ユーザー指示で取得する用で役割が違います。許可・拒否の判断基準もページごとに変えるほうが合理的です。
ページ種別ごとの注意点
ブランドの一次情報として参照されやすいページ。主要Botから読める状態にし、提供価値・主サービスへの導線を明確に。
AI検索で引用・要約されやすい主戦場。結論、定義、手順、根拠を本文で明確にし、1記事1テーマを徹底。
AIが短く答えを返すときの抽出元になりやすい。質問文を自然文で書き、答えを1ブロックで完結させると拾われやすい。
E-E-A-T的な信頼補強に効く基礎ページ。法人名、事業内容、責任主体を公開しておくとAI側の出典評価でも有利。