NVIDIAを超える企業

Etched.aiというベンチャー企業は、トランスフォーマー系モデル（LLMなどのTransformerアーキテクチャ）専用のASIC（Sohuチップ）を開発しています。

Etchedは2024年6月にシリーズAで1億2000万ドルを調達し、TSMCの4nmプロセスでこのSohuチップを製造する計画です。

このSohuチップは「Transformer専用」に最適化されており、CNNやRNNなど他のニューラルネットワークには対応していません。

Etchedの主張によると、Sohuチップ8個構成のサーバーは、NVIDIAのH100 GPU 160台分に相当する性能を持つとされています。

性能面では、「Llama‑70Bモデルで500,000トークン／秒」を処理できるとし、H100 8基構成での処理（約23,000トークン／秒）と比較して大きな差を出しており、20倍以上の速度向上をうたっています。