ChatGPT検索にサイトを見つけてもらうには？OAI-SearchBotとrobots.txtの確認手順

「ChatGPT検索で自社サイトが見つからない」「AIの学習は止めたいが、検索結果には掲載されたい」と考えたとき、最初に確認したいのがクローラーの設定です。結論からいえば、ChatGPT検索用のクローラーと、モデル学習用のクローラーは分けて設定できます。ただし、アクセスを許可しても、回答への表示・引用・順位が保証されるわけではありません。

OAI-SearchBotとGPTBotの違い

OpenAIのクローラー公式資料では、OAI-SearchBotはChatGPTの検索機能でWebサイトを検索結果に表示するためのクローラー、GPTBotは生成AI基盤モデルの改善・学習に利用される可能性があるコンテンツを巡回するクローラーとして説明されています。両者のrobots.txt設定は独立しており、検索用のOAI-SearchBotを許可しながらGPTBotを拒否する方針も選べます。

識別名	主な役割	判断のポイント
OAI-SearchBot	ChatGPT検索でWebサイトを見つけ、検索結果へ表示するための自動巡回	ChatGPT検索での発見を望むなら、アクセスを妨げていないか確認する
GPTBot	生成AI基盤モデルの改善・学習に使われる可能性があるコンテンツの巡回	検索掲載とは分けて、事業者のコンテンツ方針に沿って許可・拒否を決める
ChatGPT-User	利用者の操作をきっかけにWebページへアクセスする場合の識別	自動巡回や検索掲載の可否を管理する用途ではない

OpenAIは、OAI-SearchBotを拒否したサイトはChatGPTの検索回答には表示されない一方、ページ名とリンクだけが案内される場合はあると説明しています。また、パブリッシャー・開発者向けFAQでも、要約やスニペットへの掲載を希望する場合はOAI-SearchBotをブロックしないよう案内しています。

robots.txtで確認すること

robots.txtは、通常「https://自社ドメイン/robots.txt」で確認できます。まずブラウザーで開き、OAI-SearchBotに対するDisallow: /がないか、すべてのクローラーを対象にした設定が意図せず広すぎないかを確認します。

サイト全体についてOAI-SearchBotの巡回を許可したい場合の最小例は、次のような形です。

User-agent: OAI-SearchBot
Allow: /

検索用の巡回は許可し、GPTBotによる学習用途の巡回は拒否する方針なら、別のグループとして次の指定を検討できます。

User-agent: GPTBot
Disallow: /

ただし、既存のrobots.txtにはGooglebotなど他のクローラー向けルールやサイトマップの記述が含まれることがあります。上の例だけをそのまま上書きせず、現在の内容を保存してから、CMSやサーバーの仕様に沿って編集してください。

Googleのrobots.txt公式ガイドが説明するように、robots.txtは機密情報を守る認証機能ではありません。非公開ページや顧客情報はrobots.txtに頼らず、認証・アクセス制限など別の方法で保護する必要があります。

CloudflareなどのCDN・WAFも確認する

WordPressやサーバー側のrobots.txtが正しくても、CDNやWAF（Webアプリケーションファイアウォール）がクローラーを遮断している場合があります。実務上は「管理画面で設定した内容」ではなく、外部からアクセスしたときに返るrobots.txtとHTTP応答を確認することが重要です。

CloudflareのManaged robots.txt公式資料では、この機能を有効にすると、既存のrobots.txtがある場合はCloudflareの管理内容を前に追加して配信し、ファイルがない場合は新しく生成すると説明されています。そのため、WordPress内だけを見ても、公開中の最終状態と一致しないことがあります。

1. CloudflareのAIクローラー関連設定とManaged robots.txtの状態を確認する
2. WAFカスタムルール、Bot対策、国・IP・User-Agent条件でブロックやチャレンジが発生していないか確認する
3. Security Eventsなどのログで、OAI-SearchBotとみられるアクセスが拒否されていないか調べる

Cloudflareは、認証済みボットを判定する仕組みと、認証済みボットを妨げないWAFルールの例を公開しています。一方で、User-Agentの文字列だけは第三者も名乗れるため、許可ルールを作る場合は、OpenAIが公開しているOAI-SearchBotのIP範囲や利用中サービスの認証済みボット判定を参照し、固定値を自己判断で長期間放置しないほうが安全です。

小規模事業者向けの確認手順

これらを踏まえ、本記事では次の順番で確認することを推奨します。技術担当者がいない場合でも、手順1〜3まで整理しておくと、制作会社やサーバー会社へ相談しやすくなります。

1. 利用方針を決める：ChatGPT検索への掲載と、モデル学習への利用について、同じ判断にせず個別に決めます。
2. 公開中のrobots.txtを見る：ブラウザーから実際のURLを開き、OAI-SearchBot、GPTBot、User-agent: *の各ルールを確認します。
3. 代表ページの公開状態を見る：トップ、サービス、店舗情報、FAQなど、検索で見つけてほしいURLがログイン不要で表示できるか、noindexになっていないかを確認します。
4. CDN・WAFを確認する：AIボット制御、Managed robots.txt、Bot対策、カスタムルール、セキュリティイベントを確認します。
5. 変更前後を記録する：変更日、変更箇所、対象URL、確認した画面を残し、後から表示状況と照合できるようにします。

この順番はAI BRAND CHECK運営者による実務上の提案です。クローラーの許可だけでは、ページ内容の正確性、検索意図との一致、外部情報との整合までは改善されません。アクセス経路を整えた後に、公式ページの情報そのものを見直す必要があります。

変更後の確認と判断方法

OpenAIのクローラー公式資料では、robots.txtの変更がシステムに反映されるまで約24時間かかる場合があると案内されています。これは設定認識までの目安であり、24時間後に必ずクロールされる、検索回答に出る、引用されるという意味ではありません。

実務上は、反映時間を置いたうえで「社名だけ」「地域＋業種」「課題＋おすすめ」など複数種類の質問を試し、回答本文、候補一覧、引用元、誤情報を分けて記録すると整理しやすくなります。1回の回答だけで成否を決めず、日を変えて同じ質問を確認してください。

OpenAIのパブリッシャー向けFAQによると、ChatGPT検索からの参照URLにはutm_source=chatgpt.comが付くため、実際に流入が発生した場合はアクセス解析で確認できます。ただし、流入がないことだけで「クロールされていない」とは判断できません。検索で表示されてもクリックされない場合があるためです。

よくある誤解と注意点

• 「GPTBotを許可しないとChatGPT検索に出ない」：OpenAIはOAI-SearchBotとGPTBotを独立した設定として説明しています。
• 「robots.txtで許可すれば掲載される」：許可はアクセスの入口を整えるものであり、表示・引用・順位を保証しません。
• 「WordPress側だけ確認すればよい」：CDNがrobots.txtを追加・生成したり、WAFがアクセスを止めたりする可能性があります。
• 「robots.txtはアクセス制限になる」：機密情報の保護には向きません。非公開情報は認証などで保護します。
• 「一度設定すれば終わり」：CDNやクローラーの仕様は変わり得るため、サイト移行やセキュリティ設定変更後に再確認します。

クローラー設定に問題がないのに自社名がAI回答へ出にくい場合は、技術設定以外の要因も確認が必要です。AI検索で自社名が出ないときの確認ポイントでは、公開情報やコンテンツ側の確認項目を整理しています。

まとめ

ChatGPT検索で自社サイトを見つけてもらう準備は、OAI-SearchBotのrobots.txt確認だけでは完了しません。検索と学習の方針を分け、公開中のrobots.txt、CDN・WAF、代表ページの公開状態、変更後のログを順に確認することが大切です。

まずは現在の設定を記録し、意図しない拒否があれば最小限の範囲で修正してください。その後、AI回答での言及、引用元、誤情報を継続的に確認すると、技術設定の問題とコンテンツ内容の問題を切り分けやすくなります。