メインコンテンツへスキップ
見出し画像

Claude CodeのWebFetch、実はHaikuが要約している。全文を取得する2つの回避策

    Claude CodeのWebFetchでWebページを読み込んだとき、「全文が取れている」と思っていませんか。実は内部でHaikuモデルが要約処理を行っており、元ページの数百文字程度の要約しかOpus/Sonnetに届いていません。

    この記事では、WebFetchの内部動作を解説し、全文を正確に取得する2つの回避策を紹介します。

    WebFetchの内部で何が起きているか

    Claude CodeでWebFetchを実行すると、以下の処理が走ります。

    • HTMLの先頭1MiBを取得

    • Markdown形式に変換

    • 10万文字で再度切り詰め

    • Haikuモデルに送信して要約を生成

    • その要約だけがOpus/Sonnetに渡される

    ターミナルには「Received 204.4KB」のように表示されますが、これはダウンロードしたHTMLサイズです。実際にメインモデルが受け取るのは、Haikuが生成した数百文字の要約のみ。

    さらに、Haikuの内部プロンプトには「125文字以内の引用上限」「歌詞出力禁止」といった著作権保護のルールが設定されています。つまり、正確な引用や長文の取得は構造的に不可能です。

    要約がバイパスされる条件

    以下の3条件を「すべて」満たすときだけ、Haikuを通さず全文がメインモデルに到達します。

    • 信頼ドメインリスト(約80件)に含まれるURL

    • レスポンスの`Content-Type`が`text/markdown`

    • コンテンツが10万文字以下

    GitHub READMEやnpmのドキュメントなど、一部のサイトだけが該当します。一般的なWebページはほぼすべてHaiku経由になります。

    確認方法

    `/config`からVerboseモードをONにしてWebFetchを実行すると、リクエストに`prompt`パラメータが付いているのが確認できます。このパラメータが存在する=Haikuに要約させている証拠です。

    試しにWikipediaの長い記事で「最後の段落を全文取得して」と指示してみてください。途中で切れた内容が返ってくるはずです。

    回避策1: curl + defuddle

    最も確実な方法です。Bashツールでcurlを使い、HTMLを直接ダウンロードしてからMarkdownに変換します。

    curl -s "https://example.com/article" | npx defuddle --format md

    defuddleはkepano氏が開発したHTML→Markdown変換ツールです。npmでインストールできます。

    npm install -g defuddle

    この方法なら全文がそのままメインモデルのコンテキストに入ります。

    回避策2: 専用MCPツールを使う

    対象がGitHub、AWS、Slack等の場合は、それぞれの公式MCPを使ったほうが認証済みのフルデータが取得できます。

    • GitHub → gh CLIまたはGitHub MCP

    • AWS → AWS MCP

    • Google Docs → Google Docs MCP

    WebFetchの前に「そのサービス専用のツールがないか」を確認する習慣をつけると、意図しない情報欠落を防げます。

    まとめ

    • WebFetchは内部でHaikuが要約しており、全文は取得できない

    • curl + defuddleなら確実に全文をコンテキストに入れられる

    • 特定サービスは専用MCPを優先する

    WebFetchが「読んでいるように見えて、実は要約の要約を読まされている」ことを知っているだけで、Claude Codeの出力精度は確実に変わります。心当たりのある方は、まずVerboseモードで一度確認してみてください。

     
     
    AI×開発の実験日記。Claude / Ollama / MLX を Mac で動かしたり自動化したり。SaaS勤務の30代、本業の合間に検証してnoteに書いてます。たまにやりすぎて寝不足。

    あなたへのおすすめ