NVIDIA GPUより低電圧、チップ間レイテンシは5分の1以下へ ― Etchedが挑む「低電圧推論」と「クラスタースケールメモリ」という2つの技術的賭け
推論(インファレンス)市場は、AIの普及とともに今後最大の産業になると多くの関係者が予測している。その最前線で、まだ20代の創業者2人が率いる半導体スタートアップ「Etched」が、NVIDIAをはじめとする巨大企業に挑んでいる。本記事では、共同創業者のギャビン・ウー(Gavin Uberti)氏とロブ・ウォシック(Rob Wachen)氏へのインタビューをもとに、同社がどのような技術的な賭けをし、どのように資金と人材を集め、どのように製品を市場に送り出したのかを詳しく整理する。
1. 二人の原体験 ― がん闘病とロボティクス世界大会
1-1. ロブ・ウォシック氏:GPT-4Vが照らした過去の写真
ロブ氏は、高校2年生の終わりに武道の大会で負傷し、翌日から歩けなくなった。検査の結果、ステージ4の骨肉腫と診断され、生存確率は30%未満と告げられたという。約2年間の化学療法と手術、リハビリを経て回復した同氏は、この経験について次のように語る。
「こうした経験を通ると、人間の経験のオーバートンウィンドウが変わり、本当に大事なことが見えてくる」
大学時代にGPT-3に触れて衝撃を受けた同氏は、GPT-4Vの画像認識機能が公開された際、自分が診断前に撮っていた背中の腫瘤の写真をAIに見せて診断を依頼した。AIは即座に「これは腫瘍の可能性がある。すぐにMRIを受けるべき」と回答したという。この体験がきっかけとなり、AIを大規模に提供するためのハードウェアインフラの重要性を実感したと同氏は振り返る。
1-2. ギャビン・ウー氏:17歳でのカーネル開発とロボット世界大会
ギャビン氏は、17歳のとき、半導体企業Exnordでカーネル開発の仕事に就いた(未成年のため正式な契約ではなく、機密保持の口約束のみで採用されたという)。その後、同氏が関わった技術は、Apple(Exnord、2億ドルで買収)やNvidia(Octo、数億ドルで買収)にも渡っている。
また高校時代、ギャビン氏はパートナーのサンフォード氏と共に、20人規模が標準のロボティクス競技(FTC)に2人だけで参戦し、世界最高得点の記録を打ち立てたこともある。この経験について同氏は次のように語る。
「アウトリーチや文書の質で勝つのではなく、製品そのもので勝つ。それがEtchedの企業文化そのものだ」
2. なぜ誰もEtchedの成功を信じなかったのか
業界の常識では、半導体企業は、「40〜50代でキャリアを積んだ人材」が興すものとされてきた。ウー氏は当時の状況を次のように振り返る。
「基本的にコンセンサスは、こうした企業は若者によって作られるものではないというものだった」
しかし、同社は、既存の半導体設計における前提の多くが「バッファ(余裕)」に基づいていることに着目した。たとえば、EDAツールの初期設定は氷点下でも動作することを前提にしているが、実際のAIデータセンターに氷が張ることはない。こうした「使われない前提」を洗い出すことで性能を大きく引き上げる余地を見出したという。
初期の支援者の一人は、Cypress Semiconductorの元CTOであるマーク・ロス氏だった。当初は懐疑的だったロス氏だが、シミュレーションを提示されたことで態度を変え、最終的には正社員のCTOとして参画している。
3. 技術的な賭け:低電圧推論とクラスタースケールメモリ
3-1. 低電圧化という発想
推論処理には、「プリフィル」(テキストを読み込んでモデルの記憶状態=KVキャッシュを構築する工程)と「デコード」(そのKVキャッシュを使って新しいトークンを生成する工程)の2段階がある。Etchedは、これらを分離する「PD分離」を採用している。
プリフィル側で重要なのはFLOPS密度だが、GPUは熱の問題で実際の性能(MFU=モデルFLOPS利用率)がピーク性能の20〜50%程度に留まる。ウー氏は、ビットコインマイニング機がGPUの4分の1以下の電圧で動作している事実を指摘し、次のように語る。
「GPUアーキテクチャに、これより低い電圧で動けない構造的な問題があるのではないか」
この問いから生まれたのが「低電圧推論」という独自技術で、他社製品の半分以下の電圧で動作するとされる。ウー氏は、Dennard則(電圧の2乗に消費電力が比例するという法則)を根拠に、電圧を半分にすれば消費電力は4分の1になると説明している。
3-2. クラスタースケールメモリという発想
デコード側で重要なのはメモリ帯域だが、Etchedは、「チップ単体の帯域」ではなく「スケールアップクラスタ全体の帯域」に注目した。既存のインターコネクトでは、チップ間のホップに約4,000ナノ秒かかることがあり、8チップ構成でも理論上の8倍性能向上を得られないという課題がある。同社は独自のインターコネクトスタックを構築し、レイテンシとバンド幅を5倍以上改善したと説明している。
4. 採用哲学:「レジェンド」と「肩に殻を持つ者」
Etchedの採用戦略は二極型だという。一つは、「レジェンド」と呼ばれる、各分野で世界トップクラスの経験者。もう一つは、経験は浅いが第一原理から考え抜くタイプの人材だ。
同社はNVIDIAでラック開発チームを率いたブライアン・カタンザーロ氏(NVIDIAのHGX/DGXシステム開発チームを率い、同社収益の約8割を支えた部門出身)を、退職を検討していた3人のうちの1人として口説き落とし、CTOとして招いている。ウー氏は次のように語る。
「彼のような人は、何が“良い”ものかを本当に理解している。何度も“これは10億ドル分の教訓だ”と言われた」
一方で、若手人材については、「プロジェクトベース・リクルーティング」という独自の仕組みを持つ。業界の困難な技術課題を洗い出し、その課題を最初に解決した人物を特定して、繰り返しアプローチをかけるという地道な手法だ。
5. カーネルファーストというソフトウェア戦略
Etchedは汎用グラフコンパイラを開発せず、カーネル(低レベルの演算処理)を人手で最適化する路線を選んだ。一見非効率に思えるこの選択について、ウー氏は次のように説明する。
「コーディングAIが進化するほど、カーネル生成もAIが担うようになる。我々は世界がどこに向かうかに合わせて技術を築いている」
同社は汎用PyTorchやCUDA、ONNXグラフのサポートを見送り、「今後、実質的に重要になるモデルは100種類未満」と想定して、その数理的特徴に最適化したハードウェアを設計する方針を取った。この判断に最初に賛同したのは、意外にも高頻度取引(HFT)業界だったという。HFT企業もコンパイラを避け、自前でカーネルを書く文化があるためだ。
6. 資金調達の危機:わずか30万ドルから1億ドルへ
2024年初頭、Etchedは、シリーズAの直前で、チップだけでなくラック全体・基板・冷却プレートまで自社で開発する必要があると判断した。当時の銀行残高は約1,500万ドルだったが、必要な資金は「今後12ヶ月で約1億ドル」と見積もられた。
ウォシック氏は当時の心境を次のように語る。
「正直に言うと、ハーバードに戻るのがどれくらい大変か調べ始めていた」
大手投資家からはことごとく断られたという。「ハーバードを出たばかりの2人、テープアウト経験なし、テストチップもない」という評価だった。そこで2人は、最低限の資金でチップのマスク作成だけを行う「約3,000万ドル」のプランを描き、負債による資金調達で最初の壁を突破。そこから小口の出資が積み重なり、最終的に「約1.03億ドル」のソフトコミットを取締役会で確認し、シリーズAとして確定させたという経緯がある。
TSMCも、資金調達前の段階からエミュレーターを有利な条件で提供するなど支援した。この背景には、ウー氏が22歳の頃、TSMCの上級副社長と半導体イベントの晩餐会で偶然隣席になり、AIモデルのテンソル演算について深く議論したことがきっかけになったという逸話がある。翌日、TSMCから「一緒に仕事をしたい」というメールが届いたと同氏は振り返る。
7. 生産の壁:40日でチップからラックへ
同業他社がシリコンの完成からラック搭載まで10ヶ月かかったとされる中、Etchedはこれを40日で実現したという。その要因は「プリフェッチ」という考え方だ。チップの完成前に、ソフトウェアスタック・データセンターのネットワーク構成・電源系統・冷却プレートなど、チップ以外の全工程を並行して仕上げておくアプローチである。
具体的には、700台以上のFPGAクラスタでチップ全体をエミュレートし、実際のチップ到着前に十数種類のモデルを推論スタック上で動作させていたという。また、開発期間中には、ベンダーの遅延という危機に対応するため、エンジニアをバンガロールに6ヶ月間派遣し、米国側と12時間交代のシフトで24時間開発体制を敷いた。
8. 技術的な難題:50ピコ秒のクロック同期
チップの初期テストでは、アテンション処理で誤った結果が出るという問題が発生した。原因は、クロックドメインをまたぐ信号のタイミングが、50ピコ秒(1兆分の50秒)以内でずれる必要があるという、極めて精密な同期の問題だった。
ウー氏はこの局面を次のように述懐する。
「多くの人がこれは不可能だと言った。実際に会社を辞めた人もいた」
チームは2つのクロック信号をわずかにずらして配置し、位相をロックする独自の仕組みを開発。約2週間でこの問題を解決したという。
9. 垂直統合の境界線とNVIDIAとの構造的な違い
Etchedは、チップ・基板・冷却プレート・インターコネクト・生産ラインまでを自社で担う一方、データセンター自体の建設は行っていない。ウー氏はこの線引きについて次のように説明する。
「我々にとって、これは本業そのものだ。GoogleはTPUが失敗しても検索収益で会社は潰れない。Metaも、OpenAIも同様だ」
同氏は、GoogleのTPU、MetaのMTIA、OpenAIの「Jalapeno」などハイパースケーラー各社の自社チップ開発について、「そのチップの成功が各社にとって存続を左右するものではない」という点で、Nvidiaや自社との構造的な違いを指摘している。
10. 今後の展望:トークン生産という新しい経済圏
両氏は、推論のコストが下がり供給量が増えることで、社会全体の生産性の単位が「GDP per capita」から「メガワット当たりのエージェント数」に変化していく可能性を示唆している。ウー氏は次のように述べる。
「2027年には、知的労働をこなすエージェントの数が人間を上回ると考えている」
Etchedは、チップと同時にラック・インターコネクト・生産ラインまでを垂直統合することで、量産スピードと性能の両方を追求する戦略を取っている。同社の主張が正しければ、推論チップ市場は今後も大きな資本と人材を吸収し続けることになるだろう。
