AIクローラー一覧表【2026年最新】ChatGPT・Perplexity・Geminiのrobots.txt設定

AIクローラーの種類が増え続けており、「どのボットを許可すべきか」「robots.txtにどう書けばいいか」が分かりにくくなっています。

この記事では、主要なAIクローラーの用途・robots.txtでの制御方法を一覧表にまとめました。ブックマークして定期的に確認することをおすすめします。

自社サイトのAIクローラー対応状況を確認したい方は、無料のAI検索対応度診断をお試しください。各AIクローラーの許可/ブロック状況を自動チェックします。

---

AIクローラー一覧表

AIクローラーには「検索用」と「学習用」の2種類があります。検索用はユーザーの質問に答えるためにリアルタイムでページを取得するもの、学習用はAIモデルの訓練データとしてページを収集するものです。

Google関連

robots.txtトークン	種別	用途	備考
Googlebot	検索	Google検索・AI Overviewのクロール	ブロックするとGoogle検索にも表示されなくなる
Google-Extended	学習	Gemini等のAI学習用データ収集	独自のHTTP User-Agentを持たず、Googlebotとして巡回する。robots.txt制御トークンとしてのみ機能
Google-CloudVertexBot	その他	サイトオーナー自身がVertex AI Agentsを構築するためのクロール	サイトオーナーが明示的にリクエストした場合のみ巡回

ポイント: AI学習だけを拒否したい場合はGoogle-Extendedのみブロックしてください。GooglebotをブロックするとGoogle検索・AI Overviewの両方に表示されなくなります。

• Google公式: クローラー一覧
• Google公式: Google-Extended

OpenAI関連

robots.txtトークン	種別	用途	備考
OAI-SearchBot	検索	ChatGPT検索のリアルタイムクロール	ChatGPT検索に表示されたい場合はこれを許可
ChatGPT-User	検索	ChatGPTのブラウジング（ユーザー起動）	ユーザーが明示的にURLを指定した場合のフェッチ。robots.txtが適用されない場合がある
GPTBot	学習	AI学習用データ収集	ブロックしてもChatGPT検索の表示には影響しない
OAI-AdsBot	その他	広告コンテンツの検証	広告主向け

ポイント: ChatGPT検索への表示を制御するにはOAI-SearchBotを使ってください。ChatGPT-Userはユーザー起動のため、robots.txtが適用されない場合があります。

• OpenAI公式: ボット一覧

Anthropic（Claude）関連

robots.txtトークン	種別	用途	備考
ClaudeBot	学習	AI学習用データ収集
Claude-User	検索	Claudeのウェブ検索機能
Claude-SearchBot	検索	Claude検索のリアルタイムクロール

ポイント: Claude検索に表示されたい場合はClaude-UserとClaude-SearchBotの許可が必要です。

• Anthropic公式: クローラー情報

Perplexity

robots.txtトークン	種別	用途	備考
PerplexityBot	検索	Perplexity検索のクロール
Perplexity-User	検索	ユーザーリクエスト時のフェッチ	ユーザー起動のため、robots.txtが適用されない場合がある

• Perplexity公式: クローラー情報

Apple

robots.txtトークン	種別	用途	備考
Applebot	検索	Siri・Apple Intelligenceの検索
Applebot-Extended	学習	Apple生成AIモデルの学習用	robots.txt制御トークンとしてのみ機能

• Apple公式: Applebot

Microsoft

robots.txtトークン	種別	用途	備考
bingbot	検索	Bing検索のクロール	Microsoft Copilotの検索結果もBingのインデックスを使用

• Microsoft公式: Bing クローラー

その他

robots.txtトークン	種別	用途	備考
Bytespider	学習	ByteDance（TikTok）のAI学習
CCBot	学習	Common Crawl（多くのAIの学習データ源）
cohere-ai	学習	Cohere AIの学習用

• Common Crawl公式: CCBot

---

robots.txtの設定例

すべてのAIクローラーを許可する場合

User-agent: *
Allow: /

特別な設定は不要です。デフォルトですべてのクローラーが許可されます。

AI検索は許可、AI学習は拒否する場合

# AI学習用クローラー（拒否）
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: cohere-ai
Disallow: /

AI検索用クローラー（OAI-SearchBot、PerplexityBot等）はデフォルトで許可されるため、明示的なAllowは不要です。

注意: ChatGPT-UserとPerplexity-Userはユーザー起動のフェッチャーであり、robots.txtの制御が適用されない場合があります。

すべてのAIクローラーをブロックする場合

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: cohere-ai
Disallow: /

注意: Googlebotとbingbotはブロックしないでください。通常の検索結果にも表示されなくなります。また、ChatGPT-UserとPerplexity-Userはrobots.txtでブロックしても、ユーザー起動のリクエストでは無視される場合があります。

---

判断ガイド

AI検索（ChatGPT検索、Perplexity等）に表示されたい場合: → OAI-SearchBot、Claude-User、Claude-SearchBot、PerplexityBotを許可（デフォルトで許可済み）

AIの学習データとして使われたくない場合: → GPTBot、Google-Extended、ClaudeBot、Applebot-Extended、CCBot、Bytespider、cohere-aiをブロック

Google AI OverviewやBing Copilotに表示されたい場合: → Googlebot、bingbotを許可（デフォルトで許可済み）。表示を拒否したい場合はnosnippetメタタグで制御

自分で確認するのが面倒な方は、AEO Checkの無料診断でAIクローラーの許可/ブロック状況を自動チェックできます。

---

まとめ

• AIクローラーは「検索用」と「学習用」の2種類がある
• AI検索に表示されたいなら、検索用クローラーの許可が必須
• AI学習だけを拒否することも可能（検索表示には影響しない）
• ChatGPT-UserとPerplexity-Userはユーザー起動のため、robots.txtが適用されない場合がある
• robots.txtの設定は定期的に見直すことを推奨（新しいクローラーが増え続けているため）

この一覧表は新しいAIクローラーが確認され次第、更新します。（最終確認日: 2026年4月27日）