
AIエージェントはウェブを読む~推論時の「情報収集・読み取り層」という新しいインフラ~
最近、Shayon Sengupta(@shayonsengupta)さんの「The Read Layer for Machine Intelligence」を読みました。投資会社 Multicoin Capital のブログ記事のクロスポストで、同社が Grass というネットワークに投資したことを伝える内容です。
投資の発表ですが、エージェントを作る人にも関わる内容でした。エージェントがタスクのたびに行う「ウェブを読む」処理を、誰がどんな仕組みで支えるのか、という内容です。
この記事では、元記事を読んでいなくても追えるように、次の三つを順に整理します。
「読む」処理が、なぜ独立した層として語られるのか
学習用のデータ収集と、何が違うのか
AIエージェントを見直すときの観点
※この記事は技術の整理です。投資の助言ではありません。
【発端】 AIエージェントの「Webを読む」処理

元記事の主役は Grass という家庭のインターネット回線のうち、使われていない帯域(回線の通信容量)を提供してもらい、その回線経由でウェブの公開ページを取得するネットワークです。
回線の持ち主は自分で参加申込し、提供の対価として報酬を受け取ります。こうした「個人が持つ物理的な資源を、トークンの報酬で束ねるネットワーク」は DePIN(分散型の物理インフラネットワーク)と呼ばれます。
元記事によれば、Grass はこれまで AI ラボ向けの事前学習データを主な事業にしてきました。著者は、次に大きくなる市場を「モデルが回答のたびにウェブを検索し、ページを読む」場面と想定しています。
ここで出てくる Grass の数字や計画は、Grass 自身の報告や見通しに基づいています。元記事も、投資家が自社の投資先を紹介する文章です。
この記事では数字の当否を判断しません。代わりに「なぜその構造が成り立つのか」を解説します。
【そもそも】 モデルの知識と「いま読む情報」は別物

結論から言うと、モデルの重み(学習で調整されたパラメータ)に入っている知識は、学習した時点のスナップショットです。今朝の発表、電車の遅延、サイトの現在の表示は、その場で取りに行くしかありません。
取りに行く流れは単純です。検索で候補のページを探し、ページを開き、中身を読んで回答に使います。
複雑なタスクなら、エージェントはこれを何度も繰り返してから答えます。
この「外部の情報を取りに行って答えに混ぜる」考え方は、RAG(検索拡張生成)の論文が示した枠組みと同じです。モデル内部の記憶と、外部の索引という二つの記憶を組み合わせます。
Webデータの収集を難しくしているのは、Webサイト側に依存します。元記事は、サイトが自動アクセスの頻度を制限すること、地域ごとに表示を変えること、普通のブラウザでの描画を求めることを挙げています。
さらに、動画、画像、表計算、PDF、動的なページが増えていきます。HTML の文字列を取ってくるだけでは、中身が読めない場面が増えるということです。
【違い】 一括提示から、使うたび取得へ

学習用データは、モデルを訓練する回ごとにまとめて取得します。推論時の取得は、モデルやエージェントが動くたびに発生します。
元記事の見立てでは、後者の市場は前者より桁違いに大きくなり得ます。ただし、これは著者の予測であり、検証済みの事実ではありません。
二つを軸ごとに並べると、次のようになります。
必要なタイミング
学習用データの収集:学習の実行ごとに発生
推論時の取得:タスクのたびに発生する
データの鮮度(最新の情報か)
学習用データの収集:取得した時点のスナップショット
推論時の取得:「いま」の状態
重い制約
学習用データの収集:大量のデータを期日までに、学習で使える形式で
推論時の取得:回答までのコストと遅延を枠内に収める
この仕組みの需要
学習用データの収集:訓練の回に合わせて発生する
推論時の取得:モデルが使われ続ける限り、繰り返し発生する
設計を分けるのは「鮮度」と「重い制約」の二つです。学習用は、正確さと量を期日までに満たせば足ります。
推論時は、ユーザーが待っている間に、安く速く読む必要があります。
【仕組み】 取得・索引・配信の改善は、さらなる循環を生む

元記事は、コストと遅延の条件を満たすには、ウェブの索引を作り直す必要があると書いています。これまで Google や Microsoft のような企業だけが担ってきた、大資本でのコストがかかる仕事です。
土台になるのは、検索エンジンが昔から使ってきた三段構えです。Google の公式ドキュメントは、検索を次の三段階で説明しています。
クロール:自動のプログラム(クローラー)がページをダウンロードする
インデックス:内容を解析して、大きなデータベースに蓄える
レスポンス:検索の問い合わせに合う結果を返す
元記事が「索引を作り直す」と言うのは、エージェント向けにこの三段を組み直すという意味です。Grass の構想では、ページを開いて描画する Contents API が取得をし、どのページを開くかを決める Search API とウェブ索引が検索を受け持ちます。
どちらも、元記事の時点では提案中・計画中の位置づけです。
学習データで対象ページの網羅度が上がり、網羅度が索引を良くするイメージです。
索引が良ければ、最新の情報が正しく取得しやすくなります。正しく取得できれば、顧客はまた使いたくなります。
元記事は、Grass が解決してきた課題として四つを挙げています。
どの回線なら、その情報源に届くか
返ってきた応答は完全か
その情報源を、どの頻度で読み直すか
結果を、モデルのコストと遅延の条件に合わせて返せるか
情報収集を一つの層として見ると、この四つがそのままこの層の要件としてみれます。
【具体例】 「今朝のニュース」を聞かれたエージェント

ユーザーが「この会社が今朝発表した内容を教えて」と尋ねたとします。モデルの重みには答えがないので、エージェントは検索し、候補を選び、ページを開いて読みます。
1回の検索で終わらず、関連するページを追うこともあります。元記事の脚注は、この繰り返しがどれだけの量になるかを試算しています。
前提(引用された数字):ChatGPT のターン(1回のやり取り)の約22%が外部ツールを呼ぶ。出典は OpenAI の Codex の利用データを分析した論文で、2026年6月11日までの1週間で21.9%と書かれています
仮定(著者):そのうち、検索APIへの課金が発生する呼び出しは10%だけとする
結果(著者の試算):年間約1,280億リクエスト。Brave の検索API価格(1,000件あたり5ドル)なら約6億4,000万ドル
エージェント自体の上乗せ(著者の試算):Gemini Deep Research の典型的な1タスクは約80回検索する。Codex と ChatGPT Work の週約1,000万人が、週5タスク・各20検索をすると、さらに520億リクエスト(約2億6,000万ドル)
これは仮定を置いた試算です。この記事でも、結果を保証する数字としては扱いません。
読みどころは金額ではなく構造です。情報収集の回数は「人が質問した数」ではなく「エージェントが動いた数」に比例して増えます。
【関連概念】 情報の読み取りを構成するパーツ

情報収集・読み取り層を自分の仕事に当てはめる際には、次の四つの概念が役に立ちます。
RAG:外部の情報を取得して回答に混ぜる枠組みです。情報収集・読み取り層は、その「取得」の品質と速度を受け持ちます。
robots.txt:サイトが自動アクセスのルールを示すファイルで、RFC 9309 で標準化されています。クローラーに守るよう求める取り決めであり、アクセスの許可や制御そのものではありません。
MCP のツール:Model Context Protocol(MCP)の仕様では、サーバーが公開したツールを、モデルが見つけて呼び出せます。検索やページ取得も、この形でエージェントに差し込めます。
しきい値規模(threshold scale):Multicoin が 2023年の DePIN 設計論で使った言葉です。分散した供給が、商用として役に立ち始める点を指します。
AI のクローラーをどう扱うかは、まだ標準化が進んでいません。インターネットの技術方針を扱う IAB(Internet Architecture Board)が開いた会合の報告(RFC 9969)は、robots.txt を含む意思表示の仕組みの課題を整理しています。
元記事の論旨は、トークンの報酬で回線を集めてしきい値規模を越え、その後は売上で供給者に払えるかが本当の関門になる、というものです。Grass がそのゲートを通ったという評価は、Grass の報告と著者の見解に基づいています。
Grass チームの Andrej Radonjic さんは、Abundant Intelligence で、学習データは最初の製品にすぎず、AI に世界の情報へのライブな接続を与えることが長期の目標だと書いています。
注意点もあります。ネットワークの収益見通しは自己申告を含みます。
また、ウェブ側のルールに沿って取得するかどうかは、エージェント側の運用方針で決まる問題です。
参考書籍・情報
本記事の理解のために概念マップ資料を作成しました。こちらもよろしければご覧ください。
RAG とエージェントの「取得して回答に使う」部分を実装の側から学べる。
クロール、索引、検索という「情報収集・読み取り層」の土台を体系的に学べる。
保存・配信を支えるデータシステム設計の基礎が、読み取り層の設計論点と重なる。
エージェントに「何を読ませるか」を設計する観点で、読み取り層の話を補える。
【まとめ】 自分のエージェントの「情報収集・読み取り」を三つに分けて考えて見る

最初の一歩は、新しい基盤を選ぶことではありません。今動かしているエージェントが、1回の回答のために何を読んでいるかを数えることです。
私自身がこれを試して効果を確かめたわけではありません。観点の提案として読んでください。
□ 1回の回答で、検索が何回、ページ取得が何回走っているか
□ 取得に失敗した理由は何か(拒否された、表示が動的だった、PDF や動画で本文が取れなかった、など)
□ 失敗したとき、エージェントが黙って推測で埋めていないか
この三つを見ると、元記事の言う「情報収集・読み取りの難しさ」が、自分の現場のどこに出ているかが見えてくるかと思います。
参考情報
The Read Layer for Machine Intelligence(Shayon Sengupta/X):この記事の起点。
The Read Layer for Machine Intelligence(Multicoin Capital ブログ):原文の掲載元。脚注と免責事項を確かめるための資料。
In-Depth Guide to How Google Search Works(Google 公式):クロール・インデックス・提供の三段構えを理解するための資料。
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(Lewis ほか):外部情報を取得して生成に使う RAG の原典論文。
RFC 9309: Robots Exclusion Protocol(IETF):robots.txt の標準仕様。
RFC 9969: Report from the IAB Workshop on AI-CONTROL:AI のクローラーと robots.txt をめぐる課題を知るための資料。
MCP Tools 仕様(Model Context Protocol):モデルが外部ツールを見つけて呼び出す仕組みの公式仕様。
The Shift to Agentic AI: Evidence from Codex(Johnston ほか):ChatGPT のターンのうち外部ツールを呼ぶ割合など、元記事の脚注が引いた利用データの出典。
Exploring The Design Space Of DePIN Networks(Multicoin Capital):しきい値規模と DePIN の設計の考え方。
What Does Grass Actually Do With Your Connection?(Grass):Grass 自身による仕組みの説明。事業者の解説として読む。
Abundant Intelligence(Andrej Radonjic):Grass チームが書いた長期の構想。事業者側の見通しとして読む。
Introduction to Information Retrieval(Manning ほか):索引と検索の基礎を体系的に学べる教科書の公式サイト。