見出し画像

AIによって「読めるURL」が違った話

paluck│生成AIゆるく検証

はじめに

ある日、同じnoteのURLをClaudeとChatGPTに投げてみた。
Claudeは記事本文を読み込み、内容を整理して返してきた。
一方、ChatGPTは「取得できません」と返した。

同じURL。同じ指示。なのに結果が違う。

最初は「AIの性能差かな」と思った。
でも調べていくと、原因はもっと単純だった。

AIごとに、"見えているWeb"そのものが違ったのだ。

この記事では、Claude・GPT・Gemini・Grok・Perplexityに同じURLを投げて比較した実験結果をもとに、「なぜAIによって読めるサイトが違うのか」を整理していく。

まとめ（先に結論を読みたい方へ）

  • AIがURLを読めるかどうかは、「ページの作り方」と「サイト側のアクセス制限」でほぼ決まる

  • noteはSSR（サーバーサイドレンダリング）で作られているため、Claude・Grok・Geminiは読める。ChatGPTは読めない

  • XはGrokだけが読める。X社内のデータに直接アクセスできる強みがある

  • AmazonとGoogleマップはどのAIも全滅。ボット対策とURL長すぎが主な原因

  • ClaudeはURL長すぎを「URL_TOOL_LONG」として明示する。他AIは黙って失敗することが多い

  • Geminiは複数URLを一括で投げると失敗しやすく、1つずつ投げると成功する

注意点・免責

  • この実験は2026年5月に実施した。AI各社の仕様は変更が速く、現時点では挙動が変わっている可能性がある

  • 実験はn=1（1回の試行）であり、再現性を保証するものではない

  • 各AIの仕様はすべて公式に公開されているわけではない。「公式明記あり」の情報と「実験から推測」の情報を区別して記載する

  • 本記事はどのAIが優れているかを評価するものではなく、仕組みを理解するための解説記事である

AIごとに"読めるWeb"が違う理由

① 早見表：5大AI × 6サイト

実験条件は「カスタム指示オフ・新規チャット・同一プロンプトで6URLを一括投げ」。

$$
\begin{array}{|l|c|c|c|c|c|c|c|}
\hline
\text{URL} & \text{Claude} & \text{Grok} & \text{GPT} & \text{Gemini一括} & \text{Gemini個別} & \text{Perplexity} & \text{Space} \cr
\hline
\text{note} & \text{✅} & \text{✅} & \text{❌} & \text{❌} & \text{✅} & \text{❌} & \text{✅} \cr
\hline
\text{Wikipedia} & \text{✅} & \text{✅} & \text{❌} & \text{✅} & \text{✅} & \text{✅} & - \cr
\hline
\text{Amazon} & \text{❌} & \text{❌} & \text{❌} & \text{❌} & \text{❌} & \text{❌} & \text{❌} \cr
\hline
\text{YouTube} & \text{✅} & \text{✅} & \text{❌} & \triangle & \text{✅} & \text{✅} & \text{✅} \cr
\hline
\text{Google Map} & \text{❌} & \text{❌} & \triangle & \text{❌} & \text{❌} & \text{❌} & \text{❌} \cr
\hline
\text{X} & \text{❌} & \text{✅} & \text{❌} & \text{❌} & \text{❌} & \text{❌} & \text{❌} \cr
\hline
\end{array}
$$

△は「何らかの反応（タイトルの取得）はあったが、本文取得とは言えない状態」を指す。

② なぜ結果が違うのか──3つの壁

URLを貼ったAIが「読める」かどうかは、主に3つの要因で決まる。 重要なのは、これはAIの性能差ではない。"見える条件"が違うだけだ。

壁1：ページの作り方（SSRかSPAか）

Webページには大きく2つの作り方がある。

SSR（サーバーサイドレンダリング）
サーバー側でHTMLを組み立ててから返す方式。
AIのクローラーはHTMLを読むので、SSRなら本文を取得しやすい。
noteがClaude・Grok・Geminiで読めたのはこれが理由。

SPA（シングルページアプリケーション）
ブラウザ側でJavaScriptを実行して画面を描画する。
AIのクローラーはJavaScriptを実行しないため、ページが「空」に見える。
GoogleマップはSPAの典型例で、クローラーには「JavaScriptを有効にしてください」という一行しか見えない。

NG例： 「動的サイトはAIで読めない」は半分正確で半分誤りだ。動的かどうかより、「サーバー側で本文を組み立てているか」が重要になる。

壁2：サイト側のアクセス制限

ページの作り方がSSRでも、サイト側がAIのアクセスを意図的に遮断している場合は読めない。

代表的なのが robots.txt による制限だ。
これはサイト運営者がクローラーに「このページには来ないでください」と伝えるファイルで、Xはこれを使ってAIのアクセスを禁止している。
ClaudeがXを読めなかった理由は「ROBOTS_DISALLOWED」、つまりrobots.txtで明示的に拒否されていたためだ。

Amazonのボット対策はさらに強固で、アクセス自体をはじく仕組みになっている。全AIが取得に失敗した唯一のサイトだ。

壁3：URL長すぎ問題

意外と見落とされがちなのが、URLそのものの長さだ。

ClaudeはURLの処理に 250文字の上限 を持つ（Anthropic公式ドキュメントに明記）。

AmazonのURLはトラッキングパラメータが多く、300〜500文字を超えることが珍しくない。

GoogleマップのURLも座標データで長くなりやすい。

この2つがClaudeで「URL長すぎ（URL_TOOL_LONG）」エラーになった直接の原因だ。

他のAIの上限は公式非公開だが、同様の制限がある可能性は高い。

③ AIごとに"読めるサイト"が違った

Grokだけ、Xが読める

Grokは唯一、X（旧Twitter）の投稿を全文取得できた。
GrokはX社が開発したAIで、X内部のデータに直接アクセスできる仕組みを持つ。

他AIはrobots.txtまたはログイン制限で全滅した。

特定のプラットフォームの情報を扱いたい場合、そのプラットフォームが作ったAIを使うのが有効な選択肢になりうる。

Gemini：一括投げと個別投げで結果が変わる

Geminiに6つのURLを一括で投げると、noteの取得に失敗した。
ところが1つずつ投げると、同じnoteのURLを問題なく取得できた。
（Youtubeをチャット内に貼り付けてそこで動作が終了した）

Geminiは複数URL処理時に優先度をつけており、一部のURLが後回しになる可能性がある。（一次資料なし・実験から推測）

さらに興味深いのは、失敗の際にGeminiが「ツールの競合」「最適化アルゴリズム」という言葉を使って詳細な技術的説明を返してきた点だ。

これが内部仕様の正確な記述なのか後付けの推論なのかは判断できない。

「失敗の説明もそれらしく作る」という、AIの得意技が出た可能性がある。

ClaudeはURL長すぎを正直に言う

AmazonとGoogleマップで、Claudeは「URL_TOOL_LONG」というエラーを明示した。GPT・Gemini・Grokの多くは黙って失敗するか、別の理由を返してきた。

失敗理由を明示することは、ユーザーが対処できる可能性を残す。

AmazonのURLから?以降のトラッキングパラメータを削ると、250文字以内に収まるケースが多い。

Claudeのエラーメッセージはその判断を可能にする情報だ。

PerplexityはSpace登録で突破できる壁がある

通常のPerplexityでは読めなかったnoteが、Space機能を使うと取得できた。

SpacesはURLを事前にインデックス化しておく機能で、リアルタイムのフェッチ制限を回避できる可能性がある。

おわりに

「AIはWebを自由に検索できる」と思っていたとすれば、この記事でその認識が少し変わったかもしれない。

実際には、ページの作り方・サイトの制限・URLの長さという3つの壁があり、AIによってどの壁を越えられるかが違う。

Grokだけが読めるX、ClaudeとGrokが読めるnote、どのAIも全滅するAmazon──同じURLを投げても、見えている世界は5つ存在していた。

ここで重要なのは、「どのAIが優れているか」ではない。
用途や目的に応じて、適切なAIを選ぶ判断軸を持つことだ。

Xの情報を収集したいならGrok、noteを読み込みたいならClaude・Grok・Gemini個別、URLが長くて困ったらパラメータを削ってから試す。

──そういった小さな知識の積み重ねが、AIの使い方を一段上げてくれる。

AIは同じインターネットを見ているわけではない。
それを知っているだけで、使い方は変わる。

出典

  • Anthropic公式ドキュメント：ClaudeのURL処理上限（250文字）の記載

  • 実験実施日：2026年5月

  • 実験条件：カスタム指示オフ・新規チャット・同一プロンプトによる6URL一括投げ（n=1）

  • 各AI自己申告仕様：Claude.txt・Grok.txt・GPT.txt・Gemini.txt・Perplexity.txt（同実験内で取得）

いいなと思ったら応援しよう！