GEO（AI にあなたのコンテンツを引用させる）の第一歩は、コンテンツ作成ではなくまず、AI クローラーを誤ってブロックしていないか確認してください多くの CDN、WAF、フレームワークのデフォルト robots.txt テンプレートは、AI クローラーを直接 block してしまいます。どれほど優れたコンテンツを書いても、誰もクロールしなければ意味がありません。このツールでは、40種類以上の主要な AI クローラーおよび検索クローラーを一覧表示し、個別に選択できます。さらに、バックエンドやコンソールへのアクセスも自動的にブロックします。
デフォルトではすべて許可されています。ブロックしたいものがあれば、チェックを外してください
—
1 · デフォルトテンプレートでは、すべての AI クローラーが block されます。多くの CDN／WAF やウェブサイト構築フレームワークの robots.txt テンプレートでは、AI クローラーがデフォルトで拒否されています。その結果、コンテンツはすべて公開されたままですが、GEO はまったく効果を発揮しません——なぜなら、そもそも誰もクロールに来ないからです。
2 · GPTBot と OAI-SearchBot は、異なるユーザーエージェント（UA）です。GPTBot のみを許可しても、OpenAI の検索クローラー（OAI-SearchBot）は依然としてアクセスできません。同様に ClaudeBot / Claude-User / Claude-SearchBot それぞれがそれぞれです。
3 · robots.txt は単なる「紳士協定」です。これは、ルールを守らないクローラーを防ぐことはできません。バックエンドを本当に保護したい場合は、robots.txt ではなく認証（Basic Auth／ログイン）を使用してください。
4 · robots.txt のみを変更しても不十分です。純フロントエンドレンダリング（SPA）のサイトでは、クローラーが取得するのは空のシェルです。当社が Vue サイトに外部リンクを追加した際に経験しました：必ず同時にJS 配列（人間が閲覧）と 387 個の事前レンダリング済みスナップショットページ（クローラーが閲覧）の両方を変更してください。片方だけ変更しても無意味です。