ChatGPTに表示されるrobots.txt設定｜GPTBotではなくOAI-SearchBotが重要【2026年版】

robots.txtでGPTBotをブロックしたのに、ChatGPT検索に表示されない——それは設定するボットを間違えています。

ChatGPT検索での表示を担当するのはGPTBotではなくOAI-SearchBotです。OpenAI公式ドキュメントによると、各ボットは独立した設定で、役割が明確に分かれています。同様に、Anthropicも3つ、Googleも複数のボットを使い分けています。

この記事では、主要AI企業の全クローラーの役割と、目的に応じたrobots.txtの正しい設定方法を解説します。

自社サイトのAIクローラー対応状況を確認したい方は、無料診断ツールで自動チェックできます。

---

AIクローラー全一覧（2026年4月時点）

OpenAI（ChatGPT）

公式ドキュメント

ボット名	役割	ブロック時の影響
OAI-SearchBot	ChatGPT検索での表示	検索結果に表示されなくなる（ただしnavigational linksとしては出る場合あり）
GPTBot	モデル学習用データ収集	学習データから除外される。検索表示には直接影響しない
ChatGPT-User	ユーザーが指示したWebアクセス	ユーザー起点のため、robots.txtが適用されない場合がある

重要: ChatGPT検索に表示されたい場合、許可すべきはOAI-SearchBotです。GPTBotだけ許可しても検索表示には影響しません。robots.txt変更の反映は約24時間です。

Google（AI Overview）

公式ドキュメント

ボット名	役割	ブロック時の影響
Googlebot	検索インデックス + AI Overview	検索結果・AI Overviewの両方に表示されなくなる
Google-Extended	Gemini系の学習・grounding制御用	Geminiの学習データから除外される。Google Search・AI Overviewには影響しない

重要: AI OverviewはGooglebotベースです。Google公式は「AI機能に表示されるための追加要件はない」と明記しています。Googlebotを許可していれば、AI Overviewの候補になります。Google-ExtendedはGemini系の学習・grounding用であり、Search/AI Overviewとは別目的です。

Anthropic（Claude）

公式ドキュメント

ボット名	役割	ブロック時の影響
ClaudeBot	モデル学習用データ収集	学習データから除外される
Claude-User	ユーザー起点のWebアクセス	ユーザーの質問に対するコンテンツ取得が制限される。検索可視性が低下する可能性
Claude-SearchBot	検索インデックス用	検索最適化のためのインデックスから除外される。検索結果での可視性・正確性が低下する可能性

重要: Claude検索での可視性を高めたい場合、Claude-SearchBotの許可が最も重要です。Claude-Userはユーザー起点の取得に影響しますが、検索インデックスの主担当はClaude-SearchBotです。

Perplexity

公式ドキュメント

ボット名	役割	ブロック時の影響
PerplexityBot	検索結果にサイトを表示するためのクローラー	回答に引用されにくくなる（ただしドメイン・見出し・短い事実要約は残る場合あり）

重要: Perplexity公式によると、robots.txt変更の反映は最大24時間です。ブロック後もドメインや見出しレベルの情報は表示される場合があります。

Meta（Meta AI）

ボット名	役割	ブロック時の影響
Meta-ExternalAgent	モデル学習用データ収集	Meta AIの学習データから除外される
Meta-ExternalFetcher	ユーザー起点のWebアクセス	Meta AIがユーザーの質問に対してコンテンツを取得できなくなる

ByteDance（Doubao等）

ボット名	役割	ブロック時の影響
Bytespider	学習用データ収集	ByteDanceのAIモデルの学習データから除外される

注意: Bytespiderはrobots.txtを無視するという報告が複数あります。ブロック設定は入れておくべきですが、完全な制御は保証されません。

Apple

ボット名	役割	ブロック時の影響
Applebot-Extended	Apple Intelligence学習用	Apple AIの学習データから除外される。通常のApplebot（Siri/Spotlight検索用）には影響しない

---

ChatGPT検索に表示されるためのrobots.txt設定

「ChatGPTに自社サイトを表示させたい」という方向けに、最低限必要な設定をまとめます。

許可すべきボット

ボット	必須度	理由
OAI-SearchBot	★★★ 必須	ChatGPT検索の表示を直接担当
ChatGPT-User	★★ 推奨	ユーザーが「このURLを見て」と指示した場合のアクセス
GPTBot	★ 任意	学習用。検索表示には直接影響しないが、モデルの理解度向上に寄与する可能性

最小構成（ChatGPT検索だけ許可）

User-agent: OAI-SearchBot
Allow: /

これだけでChatGPT検索への表示が可能になります。反映は約24時間です。

よくある誤解

• ❌ 「GPTBotを許可すればChatGPT検索に出る」→ GPTBotは学習用。検索表示はOAI-SearchBot
• ❌ 「GPTBotをブロックすればChatGPTに一切出ない」→ OAI-SearchBotが許可されていれば検索には表示される

---

目的別robots.txtテンプレート

パターン1: 全AI検索に表示されたい（推奨）

ほとんどのサイトにはこの設定を推奨します。

# AI検索ボット: 全許可
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Applebot-Extended
Allow: /

パターン2: 検索表示は許可、学習には使わせたくない

自社コンテンツがAI検索に表示されることは許可するが、モデルの学習データとしては使われたくない場合。

# 検索表示: 許可
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

# 学習用: 拒否
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

パターン3: 特定ディレクトリのみ許可

ブログ記事はAI検索に表示したいが、会員限定コンテンツは除外したい場合。

User-agent: OAI-SearchBot
Allow: /blog/
Allow: /services/
Disallow: /members/
Disallow: /admin/

User-agent: GPTBot
Allow: /blog/
Disallow: /

---

よくある間違いと注意点

間違い1: GPTBotをブロックすればChatGPTに表示されないと思っている

事実: GPTBotは学習用です。ChatGPT検索での表示はOAI-SearchBotが担当します。GPTBotをブロックしても、OAI-SearchBotが許可されていればChatGPT検索に表示されます。

間違い2: Google-Extendedをブロックすれば AI Overviewに出ないと思っている

事実: Google-ExtendedはGemini系の学習・grounding制御用であり、Google Search/AI Overviewとは別目的です。AI OverviewはGooglebotベースで動作するため、Google-Extendedの設定はAI Overviewに影響しません。

間違い3: robots.txtの変更が即座に反映されると思っている

事実: OpenAI公式によると、検索結果への反映は約24時間です。Googleの場合はクロール頻度に依存し、数日〜数週間かかる場合があります。

間違い4: OAI-SearchBotをブロックすれば完全に非表示になると思っている

事実: OAI-SearchBotをブロックしても、「navigational links」（ナビゲーション用リンク）としては表示される場合があります。完全な非表示を保証するものではありません。

間違い5: ChatGPT-Userをブロックすれば効果があると思っている

事実: OpenAI公式によると、ChatGPT-Userはユーザー起点のアクセスであるため、「robots.txt rules may not apply」（robots.txtルールが適用されない場合がある）と明記されています。

---

設定後の確認方法

1. robots.txtの確認: https://あなたのドメイン/robots.txt にブラウザでアクセスして内容を確認
2. Google Search Console: robots.txtテスターでGooglebotの動作を確認
3. AEO Check診断: 無料診断ツールでAIクローラーの許可状況を自動チェック

---

関連記事

• AI検索とは？仕組みと対策の全体像
• AIクローラー一覧表
• llms.txtの設定方法
• ChatGPTに自社サイトを推薦させる方法

まとめ

目的	許可すべきボット
ChatGPT検索に表示	OAI-SearchBot
Google AI Overviewに表示	Googlebot
Claude検索での可視性向上	Claude-SearchBot（主）+ Claude-User（補助）
Perplexityに引用	PerplexityBot
学習データとして提供	GPTBot + ClaudeBot
Meta AIの学習を拒否	Meta-ExternalAgentをDisallow
Apple AIの学習を拒否	Applebot-ExtendedをDisallow

最も重要なのは「検索表示用ボット」と「学習用ボット」を区別することです。検索に表示されたいなら検索用ボットを許可し、学習に使われたくないなら学習用ボットだけをブロックしてください。

自社サイトのAIクローラー対応状況を確認したい方は、無料診断ツールで7カテゴリの自動診断ができます。

---

よくある質問

GPTBotを許可すればChatGPT検索に表示されますか？

いいえ。GPTBotはモデル学習用のクローラーです。ChatGPT検索での表示を担当するのはOAI-SearchBotです。ChatGPT検索に表示されたい場合は、OAI-SearchBotを許可してください。

OAI-SearchBotとGPTBotの違いは？

OAI-SearchBotはChatGPT検索の表示用、GPTBotはモデル学習用です。役割が完全に分かれており、robots.txtでも独立して制御できます。検索表示だけ許可して学習は拒否する、という設定が可能です。

AIクローラーをrobots.txtで完全にブロックできますか？

主要なAIクローラー（OAI-SearchBot、ClaudeBot、PerplexityBot等）はrobots.txtを尊重します。ただしBytespider等、robots.txtを無視するという報告があるクローラーも存在します。robots.txtは「お願い」であり、技術的な強制力はありません。

robots.txtを変更したらどのくらいで反映されますか？

OpenAIの場合は約24時間です。Googleの場合はクロール頻度に依存し、数日〜数週間かかる場合があります。Perplexityはリアルタイム取得のため比較的早く反映されます。

学習には使わせたくないが検索には表示されたい場合はどうすればいいですか？

GPTBotとClaudeBotをDisallowし、OAI-SearchBotとClaude-SearchBotをAllowしてください。これにより、検索表示は許可しつつ学習データとしての利用を拒否できます。

robots.txtを設定していない場合はどうなりますか？

robots.txtが存在しない、または該当ボットへの指定がない場合、全てのAIクローラーがアクセス可能です。つまり、検索表示も学習利用も許可された状態になります。

一度学習に使われたデータを削除してもらうことはできますか？

robots.txtでの拒否は「今後のクロールを停止する」指示であり、過去に収集されたデータの削除を保証するものではありません。データ削除を希望する場合は、各社に個別に連絡する必要があります。